### 金蝶云星空数据集成案例分享：GYY查询金蝶生产用料清单-好-物料为空
在企业的数据治理和应用场景中，系统间的数据集成和流转往往是确保业务高效运作的关键环节。本文将重点介绍一个实际的系统对接集成案例——如何通过轻易云数据集成平台，将金蝶云星空系统中的生产用料清单数据有效地集成为可操作的信息。
#### 方案概述
此次项目旨在以“GYY查询金蝶生产用料清单-好-物料为空”为具体实例，实现从金蝶云星空到轻易云平台的数据移植与处理。此方案涵盖了API调用、批量数据写入、异常处理及监控等一系列技术要点，以确保数据准确无误地传输并最终达到预期状态。
#### 技术实现细节
**1. API接口调用**
首先，我们需要通过调用金蝶云星空提供的`executeBillQuery`接口来获取相关的生产用料清单信息。这个过程包括设置必要的请求参数，进行分页管理，并处理可能遇到的限流问题。在每次请求成功后，会返回相应的数据包，这些数据需要实时解析并转换为适合后续处理格式。
```python
# 示例代码片段：调用executeBillQuery API
import requests
url = "https://api.kingdee.com/executeBillQuery"
params = {
"filter": "{your_filter_criteria}",
"pageSize": 100,
"currentPage": 1
}
response = requests.get(url, params=params)
data = response.json()
```
**2. 数据快速写入**
获得原始数据后，需要利用轻易云平台高吞吐量的数据写入能力，将大量数据信息迅速导入至目标数据库或存储架构。这一步骤通过轻易云提供的API `写入空操作` 完成，能够显著提升整个流程中的时效性。
```python
# 示例代码片段：使用‘写入空操作’将数据批量导入轻易云平台
write_url = "https://api.qingyiyun.com/writeData"
headers = {'Content-Type': 'application/json'}
write_response = requests.post(write_url, headers=headers, json=data)
```
**3. 数据格式转换**
针对不同系统之间可能存在的数据结构差异，通过自定义逻辑对字段和内容进行映射和转换。例如，从长文本类型切换为定长字符串，又或者是在数量单位上做进一步标准化，这些都依赖于灵活配置和脚本开发，以适应特定业务需求。
**4. 实时监控与告警**
采用集中式监控以及告
### 调用金蝶云星空接口executeBillQuery获取并加工数据
在数据集成过程中，调用源系统的API接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用金蝶云星空的`executeBillQuery`接口，以获取生产用料清单的数据，并进行必要的加工处理。
#### 接口配置与请求参数
首先，我们需要配置调用金蝶云星空接口的元数据。以下是关键的元数据配置参数：
- **api**: `executeBillQuery`
- **effect**: `QUERY`
- **method**: `POST`
- **number**: `FBillNo`
- **id**: `FID`
- **name**: `FBillNo`
- **idCheck**: `true`
这些基本配置确保我们能够正确地调用金蝶云星空的API，并且能够唯一标识和查询所需的数据。
#### 请求字段说明
在请求中，我们需要传递多个字段以获取详细的数据。以下是主要字段及其描述：
1. **FEntity_FEntryID** (id): 实体分录ID
2. **FMoEntrySeq** (生产订单号): 生产订单号
3. **FID** (实体主键): 实体主键
4. **FBillNo** (单据编号): 单据编号
5. **FInventoryDate** (日期): 库存日期
6. **FPrdOrgId.FNumber** (生产组织): 生产组织编码
7. **FSupplyOrg.FNumber** (发料组织): 发料组织编码
8. **FWorkshopID.FNumber** (生产车间): 生产车间编码
9. **FMoBillNo** (生产订单编号): 生产订单编号
10. **FMaterialId.FNumber** (产品编码): 产品物料编码
11. **FMaterialName** (产品名称): 产品物料名称
这些字段涵盖了从实体主键到具体物料信息的各个方面，确保我们能够全面获取所需的数据。
#### 其他请求参数
为了实现分页查询和过滤条件，我们还需要配置以下参数：
1. **Limit**: 最大行数（分页参数）
2. **StartRow**: 开始行索引（分页参数）
3. **TopRowCount**: 返回总行数（分页参数）
4. **FilterString**: 过滤条件，例如：`FModifyDate>='{{LAST_SYNC_TIME|dateTime}}' and FPrdOrgId.FNumber='T04'`
5. **FieldKeys**: 查询字段key集合，例如：`["FPOOrderEntry_FEntryId", "FPurchaseOrgId.FNumber"]`
这些参数帮助我们控制查询结果的范围和精度，确保只返回符合条件的数据。
#### 数据请求与清洗
在实际操作中，我们通过POST方法发送请求，轻易云平台会根据配置的元数据自动生成请求报文并发送至金蝶云星空API。返回的数据将包含多个记录，每条记录对应一个生产用料清单项。
为了进一步处理和清洗数据，我们可以利用轻易云平台提供的可视化工具，对返回的数据进行筛选、转换。例如，可以根据业务需求过滤掉某些不必要的字段或记录，或者对某些字段进行格式转换，以便后续处理和存储。
#### 示例代码片段
以下是一个示例代码片段，用于展示如何构建和发送请求，以及处理返回的数据：
```json
{
"FormId": "PRD_PPBOM",
"FieldKeys": ["FID", "FBillNo", "FMaterialId.FNumber", "FMaterialName"],
"FilterString": "FModifyDate>='2023-01-01' and FPrdOrgId.FNumber='T04'",
"Limit": "100",
"StartRow": "0"
}
```
通过上述配置，我们可以获取到符合条件的前100条记录，并提取其中的重要字段如`FID`, `FBillNo`, `FMaterialId.FNumber`, 和`FMaterialName`。
#### 数据转换与写入
在完成数据请求与清洗后，下一步是将处理后的数据转换并写入目标系统。这一步通常包括将数据格式转换为目标系统所需的格式，并通过API或其他方式写入目标数据库或应用系统。
轻易云平台提供了丰富的数据转换工具，可以根据预定义规则自动完成数据转换，并支持多种异构系统之间的数据写入，确保不同系统间的数据无缝对接。
通过以上步骤，我们实现了从调用金蝶云星空接口获取生产用料清单，到对数据进行清洗、转换和写入目标系统的一整套流程。这不仅提高了数据处理效率，也确保了数据的一致性和准确性。
### 使用轻易云数据集成平台进行ETL转换并写入目标平台
在数据集成生命周期的第二步中，关键任务是将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，使其符合目标平台API接口所能够接收的格式，并最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台进行这一过程，特别是通过API接口实现数据写入。
#### 数据提取与清洗
在ETL流程中，首先需要从源系统提取数据，并对其进行必要的清洗操作。假设我们从金蝶生产用料清单系统中提取了相关数据，这些数据可能包含多种字段和格式，需要根据目标系统的要求进行清洗和转换。
例如，原始数据可能如下：
```json
[
{"number": "001", "id": "A1", "name": "物料A"},
{"number": "002", "id": "", "name": "物料B"},
{"number": "003", "id": "A3", "name": ""}
]
```
在这个例子中，我们需要处理`id`为空的情况，以及确保`name`字段不为空。这些清洗操作可以通过轻易云提供的可视化界面或编写自定义脚本来完成。
#### 数据转换
接下来是数据转换阶段，根据元数据配置，我们需要将清洗后的数据转换为目标平台API接口能够接受的格式。以下是元数据配置示例：
```json
{
"api":"写入空操作",
"effect":"EXECUTE",
"method":"POST",
"number":"number",
"id":"id",
"name":"编码",
"idCheck":true
}
```
根据上述配置，我们需要确保每条记录都包含有效的`id`，并且将`name`字段映射为`编码`。具体转换逻辑如下：
1. **字段映射**：将源数据中的`name`字段映射为目标API中的`编码`字段。
2. **空值处理**：检查每条记录的`id`是否为空，如果为空则跳过该记录或进行特定处理。
转换后的数据示例如下：
```json
[
{"number": "001", "id": "A1", "编码": "物料A"},
{"number": "002", "id": "", "编码": ""},
{"number": "003", "id": "", "编码": ""}
]
```
#### 数据加载
最后一步是将转换后的数据通过API接口写入目标平台。根据元数据配置，我们使用HTTP POST方法来执行这一操作。以下是一个简单的Python代码示例，展示如何使用requests库实现这一过程：
```python
import requests
url = 'https://api.qingyiyun.com/execute'
headers = {'Content-Type': 'application/json'}
data = [
{"number": "001", "id": "A1", "编码": 物料A},
]
for record in data:
if record['id']: # 确保ID不为空
response = requests.post(url, headers=headers, json=record)
if response.status_code == 200:
print(f"Record {record['number']} written successfully.")
else:
print(f"Failed to write record {record['number']}. Status code: {response.status_code}")
```
在这个示例中，我们遍历每条记录，并检查其ID是否为空。如果ID不为空，则通过POST请求将记录发送到目标API接口。
#### 实时监控与日志记录
为了确保整个ETL过程顺利进行，可以利用轻易云平台提供的实时监控功能，对每个环节的数据流动和处理状态进行监控。此外，还可以启用日志记录功能，捕捉和分析任何可能出现的问题。
通过上述步骤，我们成功地将从金蝶生产用料清单系统提取的数据进行了ETL转换，并通过轻易云集成平台API接口写入了目标系统。这一过程不仅提高了业务透明度和效率，还确保了不同系统间的数据无缝对接。
