### 案例分享：旺店通·企业奇门数据集成至金蝶云星空
在实际的业务运作中，如何高效且可靠地将不同系统的数据进行对接与集成一直是一个关键问题。本案例介绍了通过轻易云数据集成平台，实现旺店通·企业奇门盘亏数据快速、无误地集成到金蝶云星空其他出库单中的过程。
#### 接口调用及初步准备
首先，通过调用旺店通·企业奇门提供的API接口`wdt.stat.stock.pd.detail.query`获取最新的盘亏详情。该接口支持分页查询，以确保大量数据能够分批次准确采集。在实现这一功能时，需特别注意处理页面大小和限流问题，避免因频繁请求导致接口被封禁。
```json
{
"method": "wdt.stat.stock.pd.detail.query",
"page_no": 1,
"page_size": 100 // 分页设置，每页100条记录
}
```
利用上述参数发起请求后，可以得到当前页面的数据，同时更新下一页的`page_no`值继续抓取直至所有数据全部获取完毕。
#### 数据清洗与转换
从旺店通·企业奇门API获得的数据格式可能会有所差异，这需要对其进行规范化处理以匹配金蝶云星空所需的数据格式。这里包括字段名称转换、日期时间格式调整等。例如，将"盘亏数量"字段映射为金蝶云中的相应字段：
```json
{
"stock_loss_qty": data["pd_qty"], // 假定pd_qty对应盘亏数量
}
```
这种转化确保了两端系统之间的一致性和兼容性，为进一步写入操作奠定基础。
#### 数据写入到金蝶云星空
为了保证大批量数据能够高效、安全地导入到金蝶云，我们使用其提供的`batchSave` API。该API支持一次性提交多条记录，有效减少网络通信次数并提升整体效率。同时，还需关注异常处理机制，一旦发生错误，可通过日志记录和重试机制确保数据最终一致性。
```json
{
"dataArray": [
{
// 转换后的单条详细信息
},
...
]
}
```
此处构造包含多个对象的数组结构，将经过清洗与转化后的完整数据传递给`batchSave`.
#### 实时监控与日志管理
整个流程中，各个环节都配置了实时监控及详细日志记录功能。一方面便于追踪各步骤执行情况，及时发现并解决潜在问题；另一方面，为日后维护和优化流程提供有力支持。这些措施涵盖了从初始抓取到最终
### 调用旺店通·企业奇门接口wdt.stat.stock.pd.detail.query获取并加工数据
在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用旺店通·企业奇门接口`wdt.stat.stock.pd.detail.query`，并对获取的数据进行加工处理。
#### 接口配置与请求参数
首先，我们需要配置接口的元数据。以下是关键的元数据配置：
```json
{
"api": "wdt.stat.stock.pd.detail.query",
"method": "POST",
"number": "{pd_no}",
"id": "{pd_no}_{goods_no}",
"pagination": {
"pageSize": 100
},
"condition": [
[
{
"field": "yk_num",
"logic": "lt",
"value": 0
}
]
],
"idCheck": true,
"request": [
{
"field": "pd_no",
"label": "盘点单编号",
"type": "string",
"describe": "系统盘点单编号，默认PD开头"
},
{
"field": "start_time",
"label": "开始时间",
"type": "datetime",
"describe": "按盘点时间增量查询数据，start_time作为开始时间，格式：yyyy-MM-dd HH:mm:ss",
"value": "{{LAST_SYNC_TIME|datetime}}"
},
{
"field": "end_time",
"label": "结束时间",
"type": "string",
"describe": "按盘点时间增量查询数据，end_time作为结束时间，格式：yyyy-MM-dd HH:mm:ss",
"value": "{{CURRENT_TIME|datetime}}"
}
],
...
}
```
#### 请求参数解析
1. **API和方法**：
- `api`: `wdt.stat.stock.pd.detail.query`
- `method`: `POST`
2. **分页设置**：
- `pagination.pageSize`: 每页返回的数据条数，这里设置为100。
3. **条件过滤**：
- `condition`: 设置了一个条件过滤，即`yk_num`字段小于0。这意味着我们只获取库存数量小于0的记录。
4. **请求字段**：
- `pd_no`: 系统盘点单编号。
- `start_time`: 按盘点时间增量查询数据的开始时间。
- `end_time`: 按盘点时间增量查询数据的结束时间。
#### 数据请求与清洗
在实际操作中，我们需要根据上述配置向接口发送请求，并对返回的数据进行清洗和加工。以下是具体步骤：
1. **构建请求体**：
根据元数据配置构建请求体，其中包括分页信息、查询条件和其他必要参数。
2. **发送请求**：
使用HTTP POST方法向接口发送请求，并接收响应数据。
3. **处理响应**：
对响应的数据进行解析和清洗。例如，可以过滤掉不符合条件的数据，或者对某些字段进行格式转换。
4. **错误处理**：
如果请求失败或返回错误信息，需要进行相应的错误处理。例如，可以记录错误日志或重试请求。
#### 示例代码
以下是一个示例代码片段，用于演示如何通过轻易云平台调用该接口并处理返回的数据：
```python
import requests
import json
from datetime import datetime, timedelta
# 构建请求体
request_body = {
'pd_no': 'PD123456',
'start_time': (datetime.now() - timedelta(days=1)).strftime('%Y-%m-%d %H:%M:%S'),
'end_time': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
'page_no': '0',
'page_size': '100'
}
# 设置API URL
api_url = 'https://api.wangdiantong.com/wdt/stat/stock/pd/detail/query'
# 发送POST请求
response = requests.post(api_url, data=json.dumps(request_body), headers={'Content-Type': 'application/json'})
# 检查响应状态码
if response.status_code == 200:
data = response.json()
# 数据清洗与处理
cleaned_data = [item for item in data['result'] if item['yk_num'] < 0]
# 输出清洗后的数据
print(cleaned_data)
else:
print(f"Error: {response.status_code}, {response.text}")
```
以上代码展示了如何构建请求体、发送HTTP POST请求以及对返回的数据进行清洗和处理。通过这种方式，我们可以高效地从旺店通·企业奇门接口获取所需的数据，并为后续的数据转换与写入做好准备。
### 轻易云数据集成平台：将源数据ETL转换为金蝶云星空API格式并写入
在轻易云数据集成平台中，将源平台的数据转换为目标平台金蝶云星空API接口所能接收的格式，并最终写入目标平台，是数据集成生命周期中的关键步骤。本文将详细探讨如何通过元数据配置，实现这一ETL（Extract, Transform, Load）过程。
#### 元数据配置解析
首先，我们需要理解元数据配置中的各个字段及其作用。以下是一个典型的元数据配置示例：
```json
{
"api": "batchSave",
"method": "POST",
"idCheck": true,
"operation": {
"method": "merge",
"field": "pd_no,created",
"bodyName": "details",
"header": ["pd_no", "created", "fullname", "warehouse_no"],
"body": ["goods_no", "warehouse_no", "yk_num"]
},
...
}
```
此配置文件定义了如何将源平台的数据通过`batchSave` API接口，以POST方法发送到金蝶云星空。
#### 请求字段映射
在请求部分，我们定义了每个字段如何从源数据映射到目标API接口。例如：
```json
{
"field": "FBillNo",
"label": "单据编号",
"type": "string",
"describe": "单据编号",
"value": "{pd_no}"
}
```
这里，`FBillNo`是目标API接口中的字段，它对应于源数据中的`pd_no`。类似地，其他字段也进行了相应的映射和转换：
```json
{
...
{
"field": "FStockOrgId",
...
"value": "_function case when '{warehouse_no}' in ('047','048','051') then '105' when '{warehouse_no}' in ('050','052','049','053','055','057') then '114' else '100' end"
},
...
}
```
这个字段使用了条件表达式，根据仓库编号`warehouse_no`的不同值，动态生成库存组织ID。
#### 子对象和数组处理
对于复杂的数据结构，如包含子对象或数组的字段，可以使用嵌套配置。例如，明细信息`FEntity`字段：
```json
{
...
{
"field": "FEntity",
...
"children": [
{
...
{
"field": "FMaterialId",
...
"value": "{goods_no}",
...
},
{
...
{
"field": "FQty",
...
"value": "_function {{details.yk_num}}*(-1)",
...
},
}
}
],
...
},
...
}
```
在这个例子中，`FEntity`是一个数组，每个子对象包含多个字段，例如物料编码`FMaterialId`和实发数量`FQty`。其中，实发数量通过函数表达式进行计算，将原始数量取反。
#### 特殊操作与参数
元数据配置中还包含一些特殊操作和参数，例如自动提交并审核、验证基础资料等：
```json
{
...
{
"field": "IsAutoSubmitAndAudit",
...
"value": true
},
{
...
{
"field": "IsVerifyBaseDataField",
...
"value": true
}
},
{
...
}
```
这些设置确保了在将数据写入目标平台时，可以自动完成提交和审核，并验证所有基础资料的有效性。
#### 实际应用案例
假设我们有一批从旺店通盘亏系统导出的出库单数据，需要将其转换并写入金蝶云星空。通过上述元数据配置，我们可以实现如下步骤：
1. **提取（Extract）：** 从旺店通盘亏系统获取出库单原始数据。
2. **转换（Transform）：** 根据元数据配置，将原始数据映射到金蝶云星空API接口所需的格式，包括字段名转换、值计算、条件判断等。
3. **加载（Load）：** 使用HTTP POST请求，将转换后的数据发送到金蝶云星空的batchSave API接口，并根据响应结果进行后续处理。
通过这种方式，我们能够高效地实现异构系统间的数据无缝对接，确保业务流程顺畅运行。
以上内容展示了如何利用轻易云数据集成平台进行ETL过程中的关键步骤，从而实现将源平台的数据成功写入目标平台金蝶云星空。
