### 聚水潭盘亏与金蝶云星空其他出库数据集成案例分享
在系统集成项目中，如何高效且准确地实现聚水潭盘亏数据与金蝶云星空的无缝对接，一直是技术团队关注的焦点。本文将深入探讨和分享运用轻易云数据集成平台进行这一任务时所采用的方法和技术细节。
首先，我们利用了聚水潭提供的`inventory.count.query`接口来提取盘盈盘亏的数据，并通过轻易云强大的定时任务管理功能，实现了这一过程的自动化和可靠性。这一机制不仅保证了数据抓取消漏，而且提升了整体处理效率。在获取到聚水潭的数据后，需要考虑分页抓取及限流策略，以确保在高并发环境下，接口调用不被限制或超时。
其次，在数据转换阶段，我们充分利用轻易云提供的自定义数据转换逻辑，将从聚水潭获取的数据格式转换为符合金蝶云星空要求的数据结构。特别是在面对复杂业务需求和多样化的数据格式差异时，自定义逻辑显得尤为关键。
对于写入环节，通过调用金蝶云星空的`batchSave` API，我们实现了大量数据快速、批量地写入到目标系统中。而为了进一步保障集成过程中的稳定性，监控机制实时跟踪每个导出任务，从而及时发现并处理异常情况，例如网络波动或API响应失败。同时，通过错误重试机制，可以有效减少因临时故障导致的数据丢失问题。
最后，为提高整个流程透明度并方便日常维护，我们引入了集中监控与告警系统，该系统实时显示所有相关操作状态，包括成功率、性能指标等，让运维人员能够迅速掌握全局情况，做出相应调整。另外，还借助可视化工具设计出了清晰的一体化流程，使得配置及调优工作更加简单直观。
### 调用聚水潭接口inventory.count.query获取并加工数据
在数据集成的生命周期中，调用源系统接口获取原始数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用聚水潭的`inventory.count.query`接口，并对获取的数据进行初步加工。
#### 接口调用配置
首先，我们需要配置调用聚水潭接口的元数据。以下是元数据配置的详细信息：
```json
{
"api": "inventory.count.query",
"method": "POST",
"number": "io_id",
"id": "io_id",
"condition": [
[{"field": "items.qty", "logic": "lt", "value": 0}],
[{"field": "batchs.qty", "logic": "lt", "value": 0}]
],
"request": [
{"field": "page_index", "label": "开始页码", "type": "string", "describe": "第几页，从第一页开始，默认1"},
{"field": "page_size", "label": "每页条数", "type": "string", "describe": "每页多少条，默认30，最大50"},
{"field": "modified_begin", "label": "修改开始时间", "type": "string",
"describe":"修改起始时间，和结束时间必须同时存在，时间间隔不能超过七天，与线上单号不能同时为空","value":"{{LAST_SYNC_TIME|datetime}}"},
{"field":"modified_end","label":"修改结束时间","type":"string","describe":"修改结束时间，和起始时间必须同时存在，时间间隔不能超过七天，与线上单号不能同时为空","value":"{{CURRENT_TIME|datetime}}"},
{"field":"io_ids","label":"盘点单号","type":"string","describe":"指定盘点单号，多个用逗号分隔，最多50，和时间段不能同时为空"},
{"field":"status","label":"单据状态","type":"string","describe":"单据状态，Confirmed=生效，WaitConfirm待审核，Creating=草拟，Archive=归档，Cancelled=作废","value":"Confirmed"}
]
}
```
#### 请求参数说明
- `page_index`: 请求的页码，从第一页开始。
- `page_size`: 每页返回的数据条数，默认30条。
- `modified_begin` 和 `modified_end`: 数据修改的起始和结束时间，用于限定查询范围。
- `io_ids`: 指定盘点单号，可以一次查询多个盘点单。
- `status`: 单据状态，此处我们只查询已生效的单据。
#### 数据请求与清洗
在实际操作中，我们通过POST请求向`inventory.count.query`接口发送上述配置的参数，以获取所需的数据。以下是一个示例请求：
```json
{
"page_index": 1,
"page_size": 30,
"modified_begin": "{{LAST_SYNC_TIME|datetime}}",
"modified_end": "{{CURRENT_TIME|datetime}}",
"status": "Confirmed"
}
```
接收到响应后，我们需要对数据进行初步清洗。根据元数据中的条件配置，我们筛选出数量小于零的记录：
```json
{
"$and":[
{"items.qty":{"$lt" :0}},
{"batchs.qty":{"$lt" :0}}
]
}
```
#### 数据转换与写入
经过清洗后的数据，需要进一步转换为目标系统所需的格式。例如，将聚水潭的数据转换为金蝶系统可识别的数据格式。这一步通常涉及字段映射、单位转换等操作。
假设我们需要将聚水潭中的字段`io_id`映射到金蝶系统中的`order_id`字段，同时还要处理数量字段，将负数转为正数并标记为出库操作：
```json
{
"$map":{
"_id" : "$io_id",
"_qty" : {"$abs" : "$items.qty"}
}
}
```
#### 实时监控与调试
在整个过程中，通过轻易云平台提供的实时监控功能，可以随时查看数据流动和处理状态。如果出现异常情况，可以及时调试和修正。
通过上述步骤，我们实现了从聚水潭接口获取原始数据，并对其进行初步加工，为后续的数据集成打下坚实基础。这不仅提高了数据处理效率，也确保了业务流程的透明度和可追溯性。
### 使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口
在使用轻易云数据集成平台进行数据集成时，第二步是将已经集成的源平台数据进行ETL（提取、转换、加载）转换，并转为目标平台金蝶云星空API接口所能够接收的格式，最终写入目标平台。本文将详细介绍这一过程中的技术细节和实现方法。
#### 元数据配置解析
在进行ETL转换时，我们首先需要理解元数据配置。这些配置定义了如何将源数据映射到目标系统所需的格式。以下是我们在本案例中使用的元数据配置：
```json
{
"api": "batchSave",
"method": "POST",
"idCheck": true,
"operation": {
"rowsKey": "array",
"rows": 1,
"method": "batchArraySave"
},
"request": [
{"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{io_id}"},
{"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"PKQTCKD"},
{"field":"FStockOrgId","label":"库存组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"105"},
{"field":"FPickOrgId","label":"领用组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"105"},
{"field":"FStockDirect","label":"库存方向","type":"string","describe":"下拉列表","value":"GENERAL"},
{"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{io_date}"},
{"field":"FDeptId","label":"领料部门","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"BM000002"},
{"field":"FOwnerTypeIdHead","label":"货主类型","type":"string","describe":"多类别基础资料列表","value":"BD_OwnerOrg"},
{"field":"FOwnerIdHead","label":"货主","type":"","describe":"","parser":{"name":"","params":""},"value":""},
{"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
...
],
...
}
```
#### 数据提取与清洗
首先，我们从源平台提取原始数据。假设我们从聚水潭系统中获取盘亏的数据，这些数据可能包含多个字段，例如`io_id`、`io_date`、`items`等。我们需要对这些原始数据进行清洗，以确保其符合目标系统金蝶云星空的要求。
例如：
- `io_id`：单据编号
- `io_date`：日期
- `items`：包含物料编码、实发数量、发货仓库等信息的数组
#### 数据转换
接下来，我们根据元数据配置将清洗后的数据进行转换。以下是一些关键字段的转换逻辑：
1. **单据编号（FBillNo）**：
```json
{"field": "FBillNo", "label": "单据编号", "type": "string", "describe": "单据编号", "value": "{io_id}"}
```
将源数据中的`io_id`直接映射到目标字段`FBillNo`。
2. **单据类型（FBillTypeID）**：
```json
{"field": "FBillTypeID", "label": "单据类型", "type": "string", "describe": "单据类型",
parser: { name: 'ConvertObjectParser', params: 'FNumber' }, value: 'PKQTCKD'}
```
固定值为“PKQTCKD”，通过解析器将其转换为目标系统所需格式。
3. **库存组织（FStockOrgId）**：
```json
{"field": "FStockOrgId", label: '库存组织', type: 'string', describe: '组织', parser: { name: 'ConvertObjectParser', params: 'FNumber' }, value: '105'}
```
固定值为“105”，同样通过解析器处理。
4. **明细信息（FEntity）**：
```json
{
field: 'FEntity',
label: '明细信息',
type: 'array',
children: [
{
field: 'FMaterialId',
label: '物料编码',
type: 'string',
describe: '基础资料',
parser: { name: 'ConvertObjectParser', params: 'FNumber' },
value: '{{items.sku_id}}'
},
{
field: 'FQty',
label: '实发数量',
type: 'string',
describe:'数量',
value:'_function {{items.qty}} *(-1)'
},
...
],
value:'items'
}
```
将每个物料项的SKU ID和数量等信息映射到相应字段，并通过自定义函数处理数量，将其乘以-1以符合目标系统要求。
#### 数据加载
完成上述转换后，我们使用HTTP POST请求将处理好的数据发送到金蝶云星空API接口：
```json
{
api:'batchSave',
method:'POST',
idCheck:true,
operation:{ rowsKey:'array', rows:1, method:'batchArraySave' },
request:[...],
otherRequest:[
{ field:'FormId', label:'业务对象表单Id', type:'string', describe:'必须填写金蝶的表单ID如:PUR_PurchaseOrder', value:'STK_MisDelivery' },
{ field:'IsAutoSubmitAndAudit', label:'提交并审核', type:'bool', value:false },
{ field:'IsVerifyBaseDataField', label:'验证基础资料', type:'bool', describe:'是否验证所有的基础资料有效性，布尔类，默认false（非必录）', value:true },
{ field:'Operation', label:'执行的操作', type:'string', value:'Save' },
{ label:'允许负库存', field:'InterationFlags', type:'string', value:'STK_InvCheckResult' }
]
}
```
通过这种方式，我们可以确保源平台的数据经过ETL处理后，成功写入到金蝶云星空系统中，从而实现不同系统间的数据无缝对接。
