### 金蝶云星空与聚水潭的数据集成实例：调拨单对接出库单
在现代企业的业务运作中，高效的数据集成和流转至关重要。本文将深入探讨如何通过轻易云数据集成平台实现金蝶云星空系统中的调拨单数据无缝对接到聚水潭系统的其他出库单，确保数据高效、准确地传递和处理。
#### 案例背景与方案概述
本案例中，我们需要实现一个名为“金蝶-直接调拨单-->聚水潭-其他出库单【备注：调拨出库】”的数据集成解决方案。该方案重点解决以下几个技术难题：
1. **如何调用金蝶云星空接口executeBillQuery**：获取并解析实时生成的调拨订单。
2. **处理分页和限流问题**：保证大量数据抓取的稳定性和连续性。
3. **快速批量写入到聚水潭**：使用API /open/jushuitan/otherinout/upload，将数据快速、高效地导入目标系统。
4. **定制化的数据映射及格式转换**：处理不同系统间的数据格式差异，确保数据准确移植。
5. **异常处理与错误重试机制**：保障整个流程在出现错误时能够迅速恢复，并最大限度减少因故障导致的数据丢失或延迟。
#### 技术要点初探
在实际操作过程中，我们首先要确保从金蝶云星空抓取的数据不遗漏。这一过程主要依赖于`executeBillQuery`接口，通过设定合理的分页参数以及结合增量更新策略，有效避免漏掉任何新增或修改后的订单信息。同时，为了应对可能遭遇的接口限流问题，我们会实现在捕捉响应状态码后进行动态调整请求频率及重试逻辑，以保持接口请求的一致性和顺畅度。
下一步是将抓取到的大量订单数据批量写入到聚水潭，利用其开放API `/open/jushuitan/otherinout/upload`。这种批量处理不仅能显著提升写入效率，还可大幅降低网络通信成本。而为了匹配两套系统之间不同字段格式，需要构建自定义映射规则，对各个字段进行逐一变换。
最后，为了提高整体流程透明度并方便故障排查，将加强对每一步骤日志记录，可视化展示每条订单操作状态，实现全程监控。在具体实施前，我们还需详细分析接口文档及业务需求，对各种潜在风险做好预案准备。
以上是我们将在本文后续部分详尽阐述的方法论基础，希望读者可以领略这些精妙技术细
### 调用金蝶云星空接口executeBillQuery获取并加工数据
在轻易云数据集成平台中，调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过金蝶云星空接口`executeBillQuery`获取并加工数据，以实现从金蝶-直接调拨单到聚水潭-其他出库单的集成。
#### 接口配置与请求参数
在配置元数据时，我们需要明确接口的基本信息和请求参数。以下是针对`executeBillQuery`接口的元数据配置：
```json
{
"api": "executeBillQuery",
"effect": "QUERY",
"method": "POST",
"number": "FBillNo",
"id": "FBillEntry_FEntryID",
"name": "FBillNo",
"idCheck": true,
"request": [
{"field":"FBillEntry_FEntryID","label":"FEntryID","type":"string","describe":"FEntryID","value":"FBillEntry_FEntryID"},
{"field":"FID","label":"实体主键","type":"string","describe":"实体主键","value":"FID"},
{"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"FBillNo"},
{"field":"FDocumentStatus","label":"单据状态","type":"string","describe":"单据状态","value":"FDocumentStatus"},
{"field":"FStockOrgId_FNumber","label":"调入库存组织","type":"string","describe":"调入库存组织","value":"FStockOrgId.FNumber"},
{"field":"FDate","label":"日期","type":"string","describe":"日期","value":"FDate"},
{"field":"FBillTypeID_FNumber","label":"单据类型","type":"string","describe":"单据类型","value":"FBillTypeID.FNumber"},
{"field":"FTransferBizType","label":"调拨类型","type":"string","describe":"调拨类型","value":"FTransferBizType"},
{"field":"FStockOutOrgId_FNumber","label":"调出库存组织","type":"string","describe":"调出库存组织","value":"FStockOutOrgId.FNumber"},
{"field":...}
],
...
}
```
#### 请求参数详解
1. **基本字段**：
- `FBillEntry_FEntryID`: 分录唯一标识。
- `FID`: 实体主键。
- `FBillNo`: 单据编号。
- `FDocumentStatus`: 单据状态。
2. **业务相关字段**：
- `FStockOrgId_FNumber`: 调入库存组织。
- `FDate`: 日期。
- `FBillTypeID_FNumber`: 单据类型。
- `FTransferBizType`: 调拨类型。
- `FStockOutOrgId_FNumber`: 调出库存组织。
3. **其他关键字段**：
- `FSrcStockId_FName`: 调出仓库名称。
- `FDestStockId_FName`: 调入仓库名称。
#### 数据请求与清洗
在调用接口时，我们需要构建一个完整的请求体，并根据业务需求进行数据过滤和清洗。例如，以下是一个典型的请求体：
```json
{
"FormId": "STK_TransferDirect",
"FieldKeys": [
"FBillEntry_FEntryID",
"FID",
...
],
"FilterString": "FSrcStockId.FNumber in ('CK007','CK011') and FApproveDate>='2023-12-01T00:00:00'",
...
}
```
在这个请求体中，`FormId`指定了业务对象表单ID，`FieldKeys`定义了需要查询的字段集合，而`FilterString`则用于设置过滤条件，以确保只获取符合条件的数据。
#### 数据转换与写入
获取到数据后，需要对其进行转换，以适应目标系统（如聚水潭）的要求。这包括字段映射、格式转换等操作。例如，将金蝶中的`FBillNo`映射为聚水潭中的订单编号，将日期格式从ISO标准转换为目标系统所需的格式等。
```json
{
"order_no": "{{FBillNo}}",
"date": "{{formatDate(FDate, 'yyyy-MM-dd')}}",
...
}
```
#### 自动填充响应
为了简化操作，可以利用自动填充响应功能，将获取的数据直接填充到目标系统所需的结构中。这样可以减少手动操作，提高效率和准确性。
```json
{
"autoFillResponse": true,
...
}
```
通过以上步骤，我们可以高效地调用金蝶云星空接口`executeBillQuery`，获取并加工所需的数据，为后续的数据转换与写入打下坚实基础。
### 使用轻易云数据集成平台实现金蝶到聚水潭的ETL转换
在数据集成过程中，将金蝶系统中的直接调拨单数据转换并写入聚水潭系统的其他出库单接口是一个典型的ETL（Extract, Transform, Load）过程。本文将详细解析如何通过轻易云数据集成平台完成这一任务，重点关注元数据配置和API接口调用。
#### 1. 数据提取与清洗
首先，从金蝶系统中提取直接调拨单的数据。这一步通常涉及到对源系统的API调用，获取所需的原始数据。假设我们已经完成了这一步，并得到了如下结构的数据：
```json
{
"FSrcStockId_FNumber": "001",
"FBillNo": "D20231001",
"FDestStockId_FName": "仓库B",
"FNoteEntry": [
{
"FMaterialId_FNumber": "M001",
"FQty": 10,
"FEntryNote": "备注1"
},
{
"FMaterialId_FNumber": "M002",
"FQty": 5,
"FEntryNote": "备注2"
}
]
}
```
#### 2. 数据转换
接下来，我们需要将上述数据转换为聚水潭API接口能够接收的格式。根据提供的元数据配置，目标格式如下：
```json
{
"is_confirm": "",
"excute_confirming": false,
"wms_co_id": 656fe37d5b320127d03778c2,
"type": "out",
"external_id": "{FBillNo}",
"remark": "",
"items": [],
"lc_id": "",
"l_id": "",
"logistics_company": ""
}
```
具体转换过程如下：
1. **确认单据**：`is_confirm`字段为空。
2. **审核单据**：`excute_confirming`字段固定为`false`。
3. **仓库编号**：通过映射将`FSrcStockId_FNumber`转为目标仓库编号。
4. **出入库类型**：固定为`out`。
5. **外部单号**：直接使用源数据中的`FBillNo`。
6. **备注**：拼接字符串，包含目标仓库名称和单号。
7. **items数组**：处理每个物料条目，填充商品编码、数量和备注。
以下是转换后的JSON结构：
```json
{
"is_confirm": "",
"excute_confirming": false,
"wms_co_id": 656fe37d5b320127d03778c2,
"type": "out",
"external_id": "D20231001",
"remark": "调拨出库-出库仓库：仓库B-单号：D20231001",
"items": [
{
"sku_id": "_findCollection find F_CNB_Text from 046c6ba0-144d-3f00-bde4-8532a52d4073 where FNumber=M001",
"qty": 10,
"remark": "备注1"
},
{
"sku_id": "_findCollection find F_CNB_Text from 046c6ba0-144d-3f00-bde4-8532a52d4073 where FNumber=M002",
"qty": 5,
"remark": ""
}
],
...
}
```
#### 3. 数据写入
最后，将转换后的数据通过POST请求写入聚水潭系统。API接口路径为`/open/jushuitan/otherinout/upload`，请求方法为POST。以下是示例代码：
```python
import requests
import json
url = 'https://api.jushuitan.com/open/jushuitan/otherinout/upload'
headers = {'Content-Type': 'application/json'}
data = {
# 上述转换后的JSON结构
}
response = requests.post(url, headers=headers, data=json.dumps(data))
if response.status_code == 200:
print("Data successfully uploaded to Jushuitan")
else:
print(f"Failed to upload data: {response.text}")
```
通过上述步骤，我们成功地将金蝶系统中的直接调拨单数据转换并写入聚水潭系统，实现了两个异构系统之间的数据无缝对接。这一过程不仅提高了业务效率，还确保了数据的一致性和准确性。
