### 金蝶云星辰V2与旺店通·企业奇门的数据集成：供应商案例分享
在电子商务和供应链管理逐步趋向智能化的过程中，实现高效、准确的系统对接成为各大企业提升业务效率的重要课题。本案例将重点分享如何通过轻易云数据集成平台，完成金蝶云星辰V2到旺店通·企业奇门的数据集成，为“供应商”这一具体业务环节提供技术方案。
在本次方案中，我们需要解决如下几个关键问题：
1. **定时可靠地抓取金蝶云星辰V2接口数据**：使用/jdy/v2/bd/supplier API，通过配置自动调度任务，每日定时抓取最新的供应商信息。
2. **处理分页和限流问题**：由于金蝶云API在返回数据量较大时采用了分页机制，并有限流限制，因此我们需设计合理的调用策略，在保证数据完整性的同时避免触发限流。
3. **批量快速写入到旺店通·企业奇门**：利用wdt.purchase.provider.create API进行供应商信息写入操作，为确保性能，需要实现并行处理和批量提交以应对大量数据传输需求。
4. **格式差异处理与映射实现**：两系统间的数据格式不一致的问题，是跨系统集成中的常见挑战。通过平台自定义映射规则，将金蝶云星辰V2获取到的数据转换为符合旺店通接口要求的格式。
5. **异常处理与错误重试机制**：针对网络波动或接口响应错误等异常情况，设置了自动重试机制，并记录详细日志，以便于后续排查和监控。
下文将进一步深入探讨这些关键点，从而展示整个流程是如何遵循最佳实践来实现一个稳定且高效的系统对接。
### 调用金蝶云星辰V2接口获取并加工数据
在数据集成过程中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星辰V2接口 `/jdy/v2/bd/supplier` 获取供应商数据，并对其进行初步加工处理。
#### 接口配置与调用
首先，我们需要了解该接口的基本配置和调用方式。根据提供的元数据配置，接口的请求方法为 `GET`，主要用于查询供应商信息。以下是具体的元数据配置细节：
- **API路径**: `/jdy/v2/bd/supplier`
- **请求方法**: `GET`
- **作用**: 查询 (`QUERY`)
- **请求参数**:
- `modify_start_time`: 修改时间的开始时间戳（毫秒）
- `modify_end_time`: 修改时间的结束时间戳（毫秒）
- `page`: 页码
- `page_size`: 每页记录数
这些参数确保我们可以按需分页获取在特定时间范围内修改过的供应商信息。
#### 请求参数设置
为了实现自动化的数据同步，我们需要动态设置请求参数中的时间戳。以下是参数配置示例：
```json
{
"field": "modify_start_time",
"label": "修改时间-开始时间的时间戳(毫秒)",
"type": "string",
"value": "{LAST_SYNC_TIME}000"
},
{
"field": "modify_end_time",
"label": "修改时间-结束时间的时间戳(毫秒)",
"type": "string",
"value": "{CURRENT_TIME}000"
},
{
"field": "page",
"label": "page",
"type": "string",
"value": "1"
},
{
"field": "page_size",
"label": "page_size",
"type": "string",
"value": "100"
}
```
其中 `{LAST_SYNC_TIME}` 和 `{CURRENT_TIME}` 是动态变量，分别表示上次同步时间和当前时间。这些变量在实际调用时会被替换为具体的时间戳值。
#### 数据清洗与转换
在获取到原始数据后，需要对其进行清洗和转换，以便后续处理和存储。假设我们从接口返回的数据格式如下：
```json
{
"data": [
{
"id": "12345",
"number": "SUP001",
"name": "供应商A"
},
{
"id": "12346",
"number": "SUP002",
"name": null
}
],
...
}
```
我们需要确保每个供应商记录都有完整的信息，特别是 `name` 字段不能为空。如果某些字段缺失或为空，需要进行适当处理，例如填充默认值或丢弃不完整记录。
以下是一个简单的数据清洗示例：
```python
def clean_data(raw_data):
cleaned_data = []
for record in raw_data['data']:
if record['name']:
cleaned_data.append(record)
else:
# 可以选择填充默认值或丢弃记录，这里选择丢弃
continue
return cleaned_data
# 假设 raw_data 是从接口返回的原始数据
cleaned_data = clean_data(raw_data)
```
#### 数据写入与存储
清洗后的数据可以进一步转换为目标系统所需的格式，并写入到相应的数据存储中。在轻易云平台中，可以通过配置自动化任务，将清洗后的数据写入到数据库、文件系统或其他目标系统。
例如，将清洗后的供应商数据写入到数据库表中，可以使用以下 SQL 插入语句：
```sql
INSERT INTO suppliers (id, number, name) VALUES (%s, %s, %s)
```
结合 Python 的数据库操作库，可以实现批量插入操作：
```python
import psycopg2
def insert_suppliers(cleaned_data):
conn = psycopg2.connect("dbname=test user=postgres password=secret")
cur = conn.cursor()
for record in cleaned_data:
cur.execute(
"""
INSERT INTO suppliers (id, number, name) VALUES (%s, %s, %s)
""",
(record['id'], record['number'], record['name'])
)
conn.commit()
cur.close()
conn.close()
# 执行插入操作
insert_suppliers(cleaned_data)
```
通过上述步骤，我们完成了从调用金蝶云星辰V2接口获取供应商数据，到清洗、转换并写入目标系统的全过程。这一流程不仅确保了数据的一致性和完整性，也提高了业务处理效率。
### 数据集成生命周期中的ETL转换：对接旺店通·企业奇门API接口
在数据集成生命周期的第二步中，ETL（Extract, Transform, Load）转换是关键环节。本文将深入探讨如何将已经集成的源平台数据，通过轻易云数据集成平台进行ETL转换，最终转为旺店通·企业奇门API接口所能够接收的格式，并写入目标平台。
#### API接口配置与元数据解析
首先，理解元数据配置是成功进行ETL转换的基础。以下是我们需要对接的旺店通·企业奇门API接口的元数据配置：
```json
{
"api": "wdt.purchase.provider.create",
"effect": "EXECUTE",
"method": "POST",
"idCheck": true,
"request": [
{"field": "provider_no", "label": "供应商编码", "type": "string", "value": "{number}"},
{"field": "provider_name", "label": "供应商名称", "type": "string", "value": "{name}"},
{"field": "min_purchase_num", "label": "最小采购量", "type": "string", "value": "1"},
{"field": "purchase_cycle_days", "label": "采购周期", "type": "string", "value": "1"},
{"field": "arrive_cycle_days", "label": "到货周期", "type":"string","value":"1"},
{"field":"charge_cycle_days","label":"结算周期","type":"string"}
]
}
```
#### 数据提取与清洗
在ETL过程的第一步，我们需要从源平台提取数据并进行清洗。假设我们从一个ERP系统中提取了如下供应商信息：
```json
{
"_id":"12345",
"_name":"供应商A",
"_min_purchase_num":"10",
"_purchase_cycle_days":"7",
"_arrive_cycle_days":"3",
"_charge_cycle_days":"30"
}
```
在清洗过程中，需要确保这些字段符合目标API接口的要求。例如，将`_id`映射为`provider_no`，将`_name`映射为`provider_name`等。
#### 数据转换
接下来是数据转换阶段，将清洗后的数据转化为目标平台所需的格式。根据元数据配置，我们需要进行如下字段映射：
- `provider_no`: 从源数据中的 `_id`
- `provider_name`: 从源数据中的 `_name`
- `min_purchase_num`: 固定值 `1`
- `purchase_cycle_days`: 从源数据中的 `_purchase_cycle_days`
- `arrive_cycle_days`: 从源数据中的 `_arrive_cycle_days`
- `charge_cycle_days`: 从源数据中的 `_charge_cycle_days`
转换后的JSON结构如下：
```json
{
"provider_no":"12345",
"provider_name":"供应商A",
"min_purchase_num":"1",
"purchase_cycle_days":"7",
"arrive_cycle_days":"3",
"charge_cycle_days":"30"
}
```
#### 数据写入
最后一步是将转换后的数据通过POST请求写入到旺店通·企业奇门API接口。以下是具体实现代码示例：
```python
import requests
url = 'https://api.wangdian.cn/openapi2/wdt.purchase.provider.create'
headers = {'Content-Type': 'application/json'}
data = {
'provider_no': '12345',
'provider_name': '供应商A',
'min_purchase_num': '1',
'purchase_cycle_days': '7',
'arrive_cycle_days': '3',
'charge_cycle_days': '30'
}
response = requests.post(url, json=data, headers=headers)
if response.status_code == 200:
print('Data successfully written to 旺店通·企业奇门')
else:
print('Failed to write data:', response.text)
```
通过上述步骤，我们完成了从源平台到目标平台的数据ETL转换和写入过程。这个过程不仅保证了数据的一致性和完整性，还极大提升了业务流程的自动化和效率。
