### 聚水潭数据集成到金蝶云星空案例分享：其他退货单对接其他入库单
在系统集成项目的实施过程中，聚水潭与金蝶云星空之间的数据接口对接是一项常见且关键的任务。本文将展示如何通过轻易云数据集成平台，将聚水潭中的“其他退货单”准确无误地导入到金蝶云星空作为“其他入库单”。
此次数据集成方案主要涉及两个核心API接口：聚水潭获取数据的`/open/other/inout/query`接口和金蝶云星空写入数据的`batchSave`接口。我们利用轻易云提供的一系列功能，包括高吞吐量的数据写入能力、实时监控与告警系统以及自定义的数据转换逻辑，实现了这一复杂多变流程。
首先，为确保从聚水潭中获取的数据不漏单，通过定时触发机制可靠地抓取其API返回的数据，并处理分页和限流问题。这不仅保障了每一条记录能够顺利提取，还避免了由于调用限制导致的潜在失败。
其次，我们利用可视化数据流设计工具，对整个流程进行配置和管理。在这一阶段，自定义数据转换逻辑起到了至关重要的作用，它不仅使得两端系统间不同格式的数据能够适配，而且支持了一些特定业务规则下的数据映射需求。例如，对于某些特殊字段，需要根据业务需求进行重新计算或转换，以符合目标系统要求。
最后，在批量将这些处理过后的数据快速写入到金蝶云星空前，我们还加入了详尽的数据质量监控和异常检测步骤。一旦发现任何异常情况，可以及时进行纠正并重试，从而保证整个流程运行的稳定性和可靠性。
通过这种方式，企业能够实现两个异构系统之间无缝、高效、安全地互通，有助于提高整体业务运作效率及透明度。
### 调用聚水潭接口/open/other/inout/query获取并加工数据
在数据集成生命周期的第一步，我们需要调用源系统的API接口来获取原始数据，并对其进行初步加工。本文将详细探讨如何通过轻易云数据集成平台调用聚水潭的`/open/other/inout/query`接口，获取其他退货单的数据，并为后续的数据处理和转换做好准备。
#### 接口配置与调用
首先，我们需要了解该接口的元数据配置。根据提供的metadata信息，以下是具体的配置细节：
- **API路径**: `/open/other/inout/query`
- **请求方法**: `POST`
- **主要字段**:
- `modified_begin`: 修改起始时间
- `modified_end`: 修改结束时间
- `status`: 单据状态，固定值为`Confirmed`
- `page_index`: 第几页，默认值为`1`
- `page_size`: 每页多少条，默认值为`30`
- `date_type`: 抓取时间类型，默认为`0`（修改时间）
- `types`: 类型，固定值为`其它退货`
以下是一个典型的请求示例：
```json
{
"modified_begin": "{{LAST_SYNC_TIME|datetime}}",
"modified_end": "{{CURRENT_TIME|datetime}}",
"status": "Confirmed",
"page_index": "1",
"page_size": "30",
"date_type": "0",
"types": ["其它退货"]
}
```
#### 数据请求与清洗
在实际操作中，我们需要确保每次请求都能准确获取到最新的数据。通过设置`modified_begin`和`modified_end`字段，我们可以限定数据的时间范围，从而避免重复抓取或遗漏数据。
1. **时间戳管理**: 使用上次同步时间（LAST_SYNC_TIME）和当前时间（CURRENT_TIME）来动态生成请求参数。这两个参数通常会在平台内部自动维护。
2. **分页处理**: 为了应对大批量数据，我们采用分页机制，通过调整`page_index`和`page_size`来分批次抓取数据。
#### 数据转换与写入准备
在获取到原始数据后，需要对其进行初步清洗和转换，以便后续写入目标系统。在这一阶段，我们可以利用轻易云平台提供的内置函数和工具进行处理。
1. **字段解析与转换**:
- 将返回结果中的复杂结构平铺（beatFlat），例如将嵌套的items数组展开。
- 使用自定义解析器（如StringToArray）将字符串类型的字段转换为数组，以便更好地处理多值情况。
2. **条件过滤**:
- 根据业务需求，对返回的数据进行过滤。例如，仅保留类型为“其他退货”和“其他入仓”的记录。
- 利用condition_bk配置项实现复杂条件过滤。
3. **模型构建**:
- 根据业务需求，将清洗后的数据映射到目标系统所需的数据模型中。此步骤可以通过buildModel选项自动完成。
以下是一个简单的数据清洗示例：
```json
{
"io_id": "12345",
"type": "其他退货",
"status": "Confirmed",
"items": [
{
"item_id": "item_001",
"quantity": 10
},
{
"item_id": "item_002",
"quantity": 5
}
]
}
```
经过平铺处理后：
```json
{
"io_id": "12345",
"type": "其他退货",
"status": "Confirmed",
"item_id_1": "item_001",
"quantity_1": 10,
"item_id_2": "item_002",
"quantity_2": 5
}
```
#### 实时监控与调试
为了确保数据集成过程顺利进行，我们需要实时监控API调用和数据处理状态。轻易云平台提供了全透明可视化的操作界面，可以帮助我们快速定位问题并进行调试。
1. **日志记录**: 自动记录每次API调用的请求和响应信息，便于追踪问题。
2. **异常处理**: 设置合理的重试机制和错误告警策略，以应对网络波动或接口异常情况。
通过以上步骤，我们可以高效地从聚水潭系统中获取并加工其他退货单的数据，为后续的数据转换与写入奠定坚实基础。在实际项目中，根据具体业务需求，还可以进一步优化和扩展这些操作。
### 使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口
在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL（提取、转换、加载）转换，最终写入目标平台——金蝶云星空。本文将详细介绍如何通过轻易云数据集成平台配置元数据，实现这一过程。
#### 配置元数据
首先，我们需要根据提供的元数据配置，定义从源平台到目标平台的数据映射。以下是具体的元数据配置示例：
```json
{
"api": "batchSave",
"effect": "EXECUTE",
"method": "POST",
"idCheck": true,
"request": [
{"field": "FBillNo", "label": "单据编号", "type": "string", "describe": "单据编号", "value": "{io_id}"},
{"field": "FBillTypeID", "label": "单据类型", "type": "string", "describe": "单据类型",
"parser": {"name": "ConvertObjectParser", "params":"FNumber"},
"value":"QTRKD01_SYS"},
{"field": "FStockOrgId",
...
}
],
...
}
```
#### 数据请求与清洗
在进行ETL转换之前，首先要确保从源平台正确提取和清洗数据。假设我们从聚水潭提取其他退货单的数据，这些数据包括`io_id`、`io_date`、`brand`等字段。我们需要对这些字段进行初步清洗和验证，以确保它们符合目标平台的要求。
#### 数据转换
接下来，我们使用轻易云的数据转换功能，将清洗后的数据转化为金蝶云星空API所能接收的格式。以下是关键字段的映射和转换逻辑：
1. **单据编号（FBillNo）**：
- 从源平台提取字段 `io_id`，直接映射为 `FBillNo`。
```json
{"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{io_id}"}
```
2. **单据类型（FBillTypeID）**：
- 固定值 `QTRKD01_SYS`，使用 `ConvertObjectParser` 转换。
```json
{"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"QTRKD01_SYS"}
```
3. **库存组织（FStockOrgId）**：
- 从源平台提取字段 `brand`，通过 `ConvertObjectParser` 转换。
```json
{"field":"FStockOrgId","label":"库存组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{brand}","mapping":{"target":"65795ef25d4e0914df5d73ae","direction":"positive"}}
```
4. **日期（FDate）**：
- 从源平台提取字段 `io_date`，直接映射为 `FDate`。
```json
{"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{io_date}"}
```
5. **明细信息（FEntity）**：
- 包含多个子字段，如物料编码、实收数量、收货仓库等，每个子字段均需通过相应的解析器进行转换。
```json
{
...
{"field":"FMATERIALID","label":"物料编码","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{items_sku_id}"},
{"field":"FQty","label":"实收数量","type":"string","describe":"数量","value":"{items_qty}"},
...
}
```
#### 数据写入
完成上述步骤后，将转换后的数据通过金蝶云星空API接口写入目标系统。根据元数据配置，我们使用批量保存接口 `batchSave`，并执行提交和审核操作：
```json
{
...
"otherRequest":[
{"field": "FormId",
...
},
...
],
...
}
```
#### 操作方法与验证
为了确保数据正确写入，还需配置操作方法和验证机制。例如，通过设置 `IsVerifyBaseDataField` 为 `true` 来验证基础资料的有效性，并通过设置 `IsAutoSubmitAndAudit` 为 `true` 实现自动提交和审核。
```json
{
...
{"field": "IsVerifyBaseDataField",
...
},
...
}
```
通过上述步骤，我们可以高效地将聚水潭的其他退货单数据转换并写入金蝶云星空系统，实现不同系统间的数据无缝对接。这不仅提升了业务透明度和效率，也确保了数据处理过程中的准确性和一致性。
