### 销售出库单数据集成案例：金蝶云星空的双向对接
在现代企业的数据管理中，实现系统间的数据无缝对接是保持业务连续性和提高运营效率的关键。本文将聚焦于一个具体的技术案例——如何通过轻易云数据集成平台，将销售出库单的数据从一个金蝶云星空实例高效、实时地集成到另一个金蝶云星空实例。
#### 案例背景与目标
本次实施方案名为“销售出库单-销售出库单（虚拟客户金额为1）_za”，主要目的是确保两个金蝶云星空系统之间的数据同步，特别是在处理大量销售出库单时，实现数据不漏单、高吞吐量以及可靠性。这不仅关系到数据库的一致性，更涉及到业务流程的准确性和及时性。
#### 技术要点概述
1. **API接口调用**：
- 获取源系统中的销售出库单数据，我们使用executeBillQuery API进行定时抓取；
- 将获取的数据写入目标系统，则调用batchSave API实现批量提交。
2. **支持高吞吐量**：
利用平台所提供的大数据处理能力设计并配置了相关任务流，使得大量销售订单能够快速且稳定地传输至目标系统内。此过程需特别关注API响应时间和限流设置，以达到最佳性能。
3. **可视化数据流设计工具**：
平台提供了拖拽式操作界面，让复杂的数据流转变得直观明了。从连接配置、过滤条件设置，到最终映射规则的定义，都能以图形化方式完成。这大幅提升了部署效率，并显著降低人为错误几率。
4. **集中监控与告警机制**：
对整个集成流程建立了一套完整的实时监控体系，从任务启动、执行进度到结果统计都可一览无余。一旦检测到异常情况，立即触发告警通知相关人员排查问题，有效保证数据传输不中断、不丢失。
5. **自定义转换逻辑及分页处理**:
数据迁移过程中不可避免会遇上格式差异，通过自定义转换函数，我们可以灵活调整字段匹配规则。而对于超大规模订单列表采用分页策略，有助于分段拉取，提高整体吞吐率并降低接口压力。
继续阅读下文，将详细阐述每个步骤的具体实现方法，以及过程中遇见的问题和解决方案。
### 调用金蝶云星空接口executeBillQuery获取并加工数据
在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的`executeBillQuery`接口来获取销售出库单的数据，并进行必要的加工处理。
#### 接口配置与请求参数
首先，我们需要配置接口的元数据，以便正确地调用金蝶云星空的API。以下是元数据配置中的关键部分：
```json
{
"api": "executeBillQuery",
"method": "POST",
"number": "FBillNo",
"id": "FEntity_FENTRYID",
"pagination": {
"pageSize": 500
},
"idCheck": true,
"formatResponse": [
{
"old": "FApproveDate",
"new": "FApproveDate_new",
"format": "date"
}
],
...
}
```
#### 请求参数详解
在请求参数中，我们需要传递多个字段以获取所需的数据。这些字段包括但不限于单据类型、单据编号、日期、审核时间等。以下是部分请求参数的示例：
```json
{
"request": [
{"field":"FBillTypeID_FNumber","label":"单据类型","type":"string","describe":"单据类型","value":"FBillTypeID.FNumber"},
{"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"FBillNo"},
{"field":"FDate","label":"日期","type":"string","describe":"日期","value":"FDate"},
{"field":"FApproveDate","label":"审核时间","type":"string","describe":"日期","value":"FApproveDate"},
...
],
...
}
```
这些字段确保我们能够准确地从金蝶云星空系统中提取到所需的销售出库单信息。
#### 数据分页与过滤
为了提高查询效率和避免一次性返回过多数据，我们采用分页机制。分页参数包括`Limit`（最大行数）和`StartRow`（开始行索引）。此外，我们还可以通过`FilterString`字段设置过滤条件，例如：
```json
{
"otherRequest": [
{"field":"Limit","label":"最大行数","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_PAGE_SIZE}"},
{"field":"StartRow","label":"开始行索引","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
{"field":"FilterString", "label": "过滤条件", "type": "string",
"describe": "示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=",
"value": "FDate >='2024-09-01 00:00:00 ' and FCustomerID.FName LIKE '%虚拟%'"}
]
}
```
通过上述配置，我们可以实现对特定时间段内包含“虚拟”客户名称的销售出库单进行查询。
#### 数据格式化与转换
在获取到原始数据后，我们可能需要对某些字段进行格式化处理。例如，将审核时间字段`FApproveDate`格式化为新的字段`FApproveDate_new`，并指定其格式为日期类型：
```json
{
"formatResponse":[
{
"old": "FApproveDate",
"new": "FApproveDate_new",
"format": "date"
}
]
}
```
这种格式化操作确保了数据的一致性和可读性，方便后续的数据处理和分析。
#### 实际调用示例
以下是一个实际调用金蝶云星空API的示例代码片段：
```python
import requests
url = 'https://api.kingdee.com/executeBillQuery'
headers = {'Content-Type': 'application/json'}
payload = {
# 包含所有必要的请求参数
}
response = requests.post(url, json=payload, headers=headers)
if response.status_code == 200:
data = response.json()
# 对返回的数据进行处理和格式化
else:
print(f"Error: {response.status_code}")
```
通过上述步骤，我们成功地从金蝶云星空系统中获取了销售出库单的数据，并进行了必要的加工处理。这一过程展示了如何利用轻易云数据集成平台高效地实现异构系统间的数据无缝对接。
### 使用轻易云数据集成平台实现ETL转换并写入金蝶云星空API接口
在数据集成过程中，ETL（提取、转换、加载）是关键步骤之一。本文将详细探讨如何使用轻易云数据集成平台将源平台的数据转换为金蝶云星空API接口所能接收的格式，并最终写入目标平台。
#### 配置元数据
首先，我们需要配置元数据以确保数据能够正确地从源系统提取、转换并加载到目标系统。以下是我们使用的元数据配置：
```json
{
"api": "batchSave",
"method": "POST",
"idCheck": true,
"operation": {
"method": "merge",
"field": "FBillTypeID_FNumber,FBillNo,FDate,FSaleOrgId_FNumber,FCustomerID_FNumber,FStockOrgId_FNumber",
"bodyName": "details",
"header": ["FBillTypeID_FNumber", "FBillNo", "FDate", "FSaleOrgId_FNumber", "FCustomerID_FNumber", "FStockOrgId_FNumber", "FGYFINDate", "FCustomerID_FDJZDYSWDYZZ"],
"body": ["FMaterialID_FNumber", "FRealQty", "FTaxPrice", "FStockID_FNumber", "FSoorDerno", "FAllAmount", "FDiscount", "FGYFINDate", "FCustomerID_FDJZDYSWDYZZ", "FDiscount"]
},
...
}
```
#### 数据请求与清洗
在ETL的第一步，我们从源系统请求数据并进行初步清洗。这个过程通常包括去重、缺失值处理和基本的数据验证。在此基础上，我们可以继续进行更复杂的数据转换操作。
#### 数据转换
在数据转换阶段，我们将源系统的数据映射到金蝶云星空API所需的格式。这一步至关重要，因为不同系统之间的数据结构和字段名称可能有所不同。
##### 转换规则示例
1. **单据类型**：
```json
{
"field": "FBillTypeID",
"label": "单据类型",
...
"value": "_function case when '{FCustomerID_FNumber}' like 'FX148' then '121' when '{FCustomerID_FNumber}' like 'FX118' then '126' else '125' end"
}
```
这里我们根据客户编号动态设置单据类型。
2. **销售组织**：
```json
{
...
"field": "FSaleOrgId",
...
"value": "{FCustomerID_FDJZDYSWDYZZ}",
...
}
```
销售组织直接映射为客户自定义字段`FDJZDYSWDYZZ`。
3. **物料编码**：
```json
{
...
{
...
"field": ":FMaterialID",
...
“value”: "{{details.FMaterialID_FNumber}}"
...
}
}
```
我们将物料编码映射为`details.FMaterialID_FNumber`，确保物料信息准确无误。
4. **仓库**：
```json
{
...
{
...
“field”: “:FStockID”,
…
“value”: "_function case when '{{FCustomerID.FName}}' like '%京东%' then 'CK001' when '{{FCustomerID.FName}}' like '%唯品会%' then 'CK002' else 'CK001' end"
…
}
}
```
根据客户名称动态选择仓库位置。
5. **税率**：
```json
{
…
“field”: “:FEntryTaxRate”,
…
“value”: "_function case when '{FCustomerID_FDJZDYSWDYZZ}' like '衡阳天量贸易有限公司' then '1' else '13' end"
…
}
```
根据客户自定义字段动态设置税率。
#### 数据写入
最后一步是将转换后的数据写入金蝶云星空。我们通过调用其API接口实现这一过程：
```json
{
…
“api”: “batchSave”,
“method”: “POST”,
…
}
```
在这里，我们使用了`batchSave` API，并通过POST方法提交请求。为了确保数据的一致性和完整性，我们还进行了必要的字段验证和检查：
```json
{
…
“idCheck”: true,
…
}
```
此外，为了简化操作并提高效率，我们可以选择自动提交和审核：
```json
{
…
“IsAutoSubmitAndAudit”: true,
…
}
```
通过上述配置和操作，我们成功地实现了从源系统到金蝶云星空的ETL过程。这不仅提高了数据处理的效率，也确保了业务流程的顺畅运行。
