### 金蝶云星空与旺店通·跨境版数据集成技术案例分享：二期-星空物料&旺店通跨境货品
在本次技术案例中，我们将详细探讨如何通过轻易云数据集成平台，实现“金蝶云星空”到“旺店通·跨境版”的高效数据对接。在这个项目中，主要任务是确保来自金蝶云星空的物料信息能够准确、快捷且大批量地写入到旺店通·跨境版系统，并实现可靠的同步。
为了应对这一挑战，我们首先需要解决几大核心问题：
1. **定时可靠地抓取金蝶云星空接口数据**: 使用executeBillQuery API接口，从金蝶云星空系统中获取最新的物料信息。我们设置了定时任务，以便定期从源系统拉取最新的数据，保证无遗漏。
2. **处理分页和限流问题**: 在调用executeBillQuery接口过程中，由于返回结果可能非常庞大，需要合理处理分页机制以及API调用限流策略，以防止因数据量过大而导致的服务崩溃或响应延迟。
3. **批量快速写入到旺店通·跨境版**: 数据一旦从金蝶云星空成功抓取后，就需要快速、高效地写入到旺店通·跨境版。我们采用/api/openservices/product/v1/create/goods API进行批量插入操作，并优化并发请求数以提升整体效率。
4. **映射和转换差异化的数据格式**: 金蝶云与旺店通常存在不同的数据结构及字段命名，这就要求我们在集成过程中进行灵活的字段映射和类型转换，使两者之间的数据完美契合。
此外，为了保障整个数据交互过程中的稳定性与可追踪性，我们还实现了异常处理机制以及错误重试功能。当发生网络故障或服务器端错误时，可以自动识别并重新尝试操作，确保最终一致性。同时，通过实时监控与日志记录，将每一步骤都清晰呈现出来，有助于迅速定位和排除潜在的问题。
以上内容为本次实际运行方案“二期-星空物料&旺店通跨境货品---1”的主要目标及初步思路，下面将在具体方案细节部分深入解析各个技术环节中的配置与实施策略。
### 调用金蝶云星空接口executeBillQuery获取并加工数据
在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台调用金蝶云星空的`executeBillQuery`接口，以获取和加工物料数据。
#### 接口配置与请求参数
首先，我们需要配置调用金蝶云星空接口的元数据。根据提供的元数据配置，我们可以看到`executeBillQuery`接口的主要参数及其描述。
```json
{
"api": "executeBillQuery",
"effect": "QUERY",
"method": "POST",
"number": "FNumber",
"id": "FID",
"name": "FNumber",
"request": [
{"field":"FMATERIALID","label":"id","type":"string","describe":"id","value":"FMATERIALID"},
{"field":"FNumber","label":"编码","type":"string","describe":"编码","value":"FNumber"},
{"field":"FName","label":"名称","type":"string","describe":"名称","value":"FName"},
{"field":"FSpecification","label":"规格型号","type":"string","describe":"规格型号","value":"FSpecification"},
{"field":"FMnemonicCode","label":"助记码","type":"string","describe":"助记码","value":"FMnemonicCode"},
{"field":"FOldNumber","label":"旧物料编码","type":"string","describe":"旧物料编码","value":"FOldNumber"},
{"field":"FBARCODE","label":"条码","type":"string","describe":"条码","value":"FBARCODE"},
{"field":"FDescription","label":"描述","type":"string","describe":"描述","value":"FDescription"},
{"field": "FilterString", "label": "过滤条件", "type": "string", "describe": "示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=", "value": "FApproveDate>='{{LAST_SYNC_TIME|datetime}}' and FUseOrgId.FNumber in ('JW106','JW107')"}
],
...
}
```
#### 请求构建
在构建请求时，需要特别注意以下几个关键字段：
1. **FormId**：业务对象表单Id，必须填写金蝶的表单ID，如`BD_MATERIAL`。
2. **FieldKeys**：需查询的字段key集合，格式为数组。
3. **FilterString**：过滤条件，用于限定查询范围。
以下是一个示例请求体：
```json
{
"FormId": "BD_MATERIAL",
"FieldKeys": ["FMATERIALID", "FNumber", "FName", ...],
"FilterString": "FApproveDate>='2023-01-01' and FUseOrgId.FNumber in ('JW106','JW107')",
...
}
```
#### 数据清洗与转换
在获取到原始数据后，需要对数据进行清洗和转换，以满足目标系统的数据格式要求。这一步通常包括以下几个步骤：
1. **字段映射**：将源系统字段映射到目标系统字段。例如，将`FMATERIALID`映射到目标系统的物料ID。
2. **数据类型转换**：确保所有字段的数据类型符合目标系统要求。例如，将字符串类型的日期转换为日期类型。
3. **数据过滤**：根据业务需求过滤掉不需要的数据行。
以下是一个简单的数据清洗示例：
```python
def clean_data(raw_data):
cleaned_data = []
for item in raw_data:
cleaned_item = {
'material_id': item['FMATERIALID'],
'code': item['FNumber'],
'name': item['FName'],
'specification': item['FSpecification'],
...
}
cleaned_data.append(cleaned_item)
return cleaned_data
```
#### 数据写入
最后一步是将清洗和转换后的数据写入目标系统。这一步通常通过API调用或数据库操作实现。在轻易云平台中，可以使用内置的连接器将数据写入各种异构系统。
```python
def write_to_target_system(cleaned_data):
for item in cleaned_data:
# 假设目标系统有一个名为write_material_data的API
response = target_system_api.write_material_data(item)
if response.status_code != 200:
log.error(f"Failed to write data for material {item['material_id']}")
```
通过以上步骤，我们实现了从金蝶云星空获取物料数据，并经过清洗和转换后写入目标系统。这个过程不仅提高了数据处理效率，还确保了数据的一致性和准确性。
### 使用轻易云数据集成平台进行ETL转换并写入旺店通·跨境版API接口
在数据集成的生命周期中，ETL（提取、转换、加载）是关键步骤之一。本文将重点探讨如何将已经集成的源平台数据进行ETL转换，并转为目标平台——旺店通·跨境版API接口所能够接收的格式，最终写入目标平台。
#### 1. 元数据配置解析
在此次集成方案中，我们需要将星空物料的数据转换为旺店通·跨境版API接口所需的格式。以下是元数据配置的详细信息：
```json
{
"api": "/api/openservices/product/v1/create/goods",
"effect": "EXECUTE",
"method": "POST",
"number": "1",
"id": "1",
"name": "1",
"idCheck": true,
"request": [
{
"field": "goodsNo",
"label": "Spu编码",
"type": "string",
"value": "{FNumber}"
},
{
"field": "goodsName",
"label": "Spu名称",
"type": "string",
"value": "{FName}"
},
{
"field": "specList",
"label": "单品列表",
"type": "array",
"children": [
{
"field": "specNo",
"label": "sku编码",
"type": "string",
"value": "{FNumber}"
},
{
"field": "specName",
"label": "sku名称",
"type": "string",
"value": "{FName}"
}
]
}
]
}
```
#### 2. 数据请求与清洗
首先，我们从源平台提取数据。假设源平台的数据结构如下：
```json
{
"_id":"12345",
"_name":"星空物料A001",
"_skuList":[
{"_skuId":"SKU001","_skuName":"物料A001-红色"},
{"_skuId":"SKU002","_skuName":"物料A001-蓝色"}
]
}
```
我们需要清洗并映射这些字段到目标平台所需的格式。轻易云数据集成平台提供了丰富的数据清洗和转换工具，可以高效完成这一任务。
#### 3. 数据转换
根据元数据配置，我们需要将源平台的数据字段映射到旺店通·跨境版API接口所需的字段。具体步骤如下：
- 将 `_id` 映射为 `goodsNo`
- 将 `_name` 映射为 `goodsName`
- 将 `_skuList` 中的每个 SKU 的 `_skuId` 映射为 `specNo`
- 将 `_skuList` 中的每个 SKU 的 `_skuName` 映射为 `specName`
转换后的数据结构如下：
```json
{
“goodsNo”: “12345”,
“goodsName”: “星空物料A001”,
“specList”: [
{“specNo”: “SKU001”, “specName”: “物料A001-红色”},
{“specNo”: “SKU002”, “specName”: “物料A001-蓝色”}
]
}
```
#### 4. 数据写入
完成数据转换后，我们使用POST方法将数据写入旺店通·跨境版API接口。以下是具体的HTTP请求示例：
```http
POST /api/openservices/product/v1/create/goods HTTP/1.1
Host: api.wangdiantong.com
Content-Type: application/json
Authorization: Bearer <access_token>
{
“goodsNo”: “12345”,
“goodsName”: “星空物料A001”,
“specList”: [
{“specNo”: “SKU001”, “specName”: “物料A001-红色”},
{“specNo”: “SKU002”, “specName”: “物料A001-蓝色”}
]
}
```
确保请求头中包含正确的授权信息（如Bearer Token），以便通过身份验证。
#### 5. 实时监控与错误处理
在整个ETL过程中，实时监控和错误处理至关重要。轻易云数据集成平台提供了实时监控功能，可以随时查看数据流动和处理状态。一旦出现错误，可以快速定位并修复问题，确保数据准确无误地写入目标平台。
通过以上步骤，我们成功地将源平台的数据经过ETL转换，写入到了旺店通·跨境版API接口。这不仅提高了业务效率，也确保了数据的一致性和准确性。
