### 金蝶云星空数据集成到轻易云平台——资产卡片查询案例分享
在现代企业的数字化转型过程中，跨系统的数据集成已经成为一种必需。本文将重点介绍如何将金蝶云星空中的资产卡片信息无缝对接并高效地集成到轻易云数据集成平台。本案例旨在通过具体的技术方案和细节实现一个可靠、高效、透明的数据处理链路。
#### 项目背景与目标
本次项目主要任务是定时抓取金蝶云星空中的资产卡片信息，并批量写入到轻易云数据集成平台中，以便进一步的数据分析与处理。为此，我们需要解决以下几个关键问题：
1. **如何调用金蝶云星空接口`executeBillQuery`**：确保能够准确获取所需的资产卡片数据信息。
2. **定时可靠的抓取机制**：实现定期触发数据抓取操作，确保数据不会遗漏。
3. **分页和限流问题**：要处理好API接口的分页逻辑及应对服务器请求限流。
4. **快速批量写入轻易云平台**：大规模、多批次的数据入库操作要求高性能和稳定性。
#### 技术方案概述
为了实际运行这一方案，我们主要依赖于两个核心API：用于从金蝶云星空中获取资产卡片信息的`executeBillQuery`接口，以及轻易云提供的“写入”API进行目标系统的数据落地。以下是具体步骤：
1. **调用金蝶云星空接口`executeBillQuery`**
- 调用此接口并传递必要参数以获取最新的资产卡片信息。
- 采用分页技术防止单次读取过多而导致超时或性能瓶颈，同时妥善处理可能出现的请求限流情况。
2. **解析与映射**
- 对从金蝶返回的数据进行适当格式化，确保其符合轻易云平台所需格式。这一步骤涉及字段映射以及必要的数据转换操作。
3. **定制化写入**
- 利用轻易云提供着丰富扩展功能及灵活配置，在完成数据转换后，通过“写入”API执行批量导入，提高整体效率。
4. **实时监控与日志记录**
- 在整个流程中，通过实时监控手段掌握每一环节状态；及时捕获异常并启动重试机制，以保证最终的一致性和完整性。
上面这些步骤构建了一个完整、高效且健壮的信息链路，实现了从源头到目的地全程透明、可追溯、可管理的数据交换过程。在下一部分文章里，我们将详细讨论
### 调用金蝶云星空接口executeBillQuery获取并加工数据
在轻易云数据集成平台中，调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过调用金蝶云星空接口`executeBillQuery`来获取资产卡片数据，并进行初步加工。
#### 接口配置与请求参数
在元数据配置中，`executeBillQuery`接口被定义为一个POST请求，用于查询资产卡片信息。以下是具体的元数据配置：
```json
{
"api": "executeBillQuery",
"effect": "QUERY",
"method": "POST",
"number": "FNumber",
"id": "FNumber",
"name": "FName",
"idCheck": true,
"request": [
{"field": "FAlterID", "label": "FAlterID", "type": "string", "describe": "111", "value": "FAlterID"},
{"field": "FNumber", "label": "FNumber", "type": "string", "describe": "111", "value": "FNumber"},
{"field": "FName", "label": "FName", "type": "string", "describe": "111", "value":"FName"},
{"field":"FCardDetail_FID","label":"FCardDetail_FID","type":"string","describe":"111","value":"FCardDetail_FID"}
],
...
}
```
#### 请求参数解析
1. **基本请求字段**：
- `FAlterID`: 用于标识资产卡片的变更记录。
- `FNumber`: 资产卡片编号。
- `FName`: 资产卡片名称。
- `FCardDetail_FID`: 卡片详细信息的唯一标识符。
2. **其他请求字段**：
- `Limit`: 查询分页参数，默认值为2000。
- `StartRow`: 查询起始行。
- `TopRowCount`: 查询结果的最大行数。
- `FilterString`: 查询过滤条件，例如：`"FSupplierId.FNumber = 'VEN00010' and FApproveDate>='{{LAST_SYNC_TIME|dateTime}}'"`。
- `FieldKeys`: 返回字段列表，例如：`"FPOOrderEntry_FEntryId, FPurchaseOrgId.FNumber"`。
- `FormId`: 表单ID，例如：`"FA_CARD"`。
#### 调用接口示例
以下是一个调用该接口的示例代码：
```python
import requests
import json
url = 'https://api.kingdee.com/executeBillQuery'
headers = {'Content-Type': 'application/json'}
payload = {
'FormId': 'FA_CARD',
'FieldKeys': 'FNumber,FName,FCardDetail_FID',
'FilterString': 'FModifyDate >= \'{{LAST_SYNC_TIME|datetime}}\' and FAssetOrgID.fnumber = \'102\'',
'Limit': 2000,
'StartRow': 0
}
response = requests.post(url, headers=headers, data=json.dumps(payload))
if response.status_code == 200:
data = response.json()
# 数据处理逻辑
else:
print(f"Error: {response.status_code}")
```
#### 数据处理与清洗
获取到的数据需要进行初步清洗和转换，以便后续处理。以下是一些常见的数据清洗步骤：
1. **字段映射**：将原始字段映射到目标系统所需的字段。例如，将`FNumber`映射为目标系统中的资产编号。
2. **数据类型转换**：确保所有字段的数据类型符合目标系统要求。例如，将字符串类型的日期转换为日期对象。
3. **缺失值处理**：处理缺失值或异常值，例如填充默认值或删除无效记录。
```python
def clean_data(raw_data):
cleaned_data = []
for record in raw_data:
cleaned_record = {
'AssetNumber': record['FNumber'],
'AssetName': record['FName'],
'CardDetailID': record['FCardDetail_FID']
}
cleaned_data.append(cleaned_record)
return cleaned_data
cleaned_data = clean_data(response.json())
```
通过上述步骤，我们可以高效地从金蝶云星空系统中获取并清洗资产卡片数据，为后续的数据集成和分析打下坚实基础。
### 资产卡片查询数据的ETL转换与写入目标平台
在轻易云数据集成平台中，数据生命周期的第二步是将已经集成的源平台数据进行ETL转换，使其符合目标平台API接口所能够接收的格式，并最终写入目标平台。以下我们将详细探讨如何利用元数据配置，将资产卡片查询的数据进行ETL转换并写入轻易云集成平台。
#### 数据请求与清洗
首先，我们需要从源平台获取资产卡片查询的数据。假设源平台返回的数据格式如下：
```json
{
"assetId": "12345",
"assetName": "Laptop",
"purchaseDate": "2021-01-15",
"value": 1500,
"location": "Warehouse A"
}
```
在数据请求阶段，我们通过API调用获取这些数据，并对其进行初步清洗，确保字段完整性和数据质量。例如，检查`assetId`是否为空，`value`是否为正数等。
#### 数据转换
接下来，我们需要将清洗后的数据进行转换，以符合目标平台API接口的要求。根据提供的元数据配置：
```json
{
"api":"写入空操作",
"effect":"EXECUTE",
"method":"POST",
"idCheck":true
}
```
我们可以看到，目标平台的API接口要求使用POST方法，并且需要进行ID检查。具体步骤如下：
1. **字段映射**：将源平台的数据字段映射到目标平台所需的字段。例如：
- `assetId` 映射为 `id`
- `assetName` 映射为 `name`
- `purchaseDate` 映射为 `date_of_purchase`
- `value` 映射为 `asset_value`
- `location` 映射为 `storage_location`
2. **格式转换**：确保日期格式、数值类型等符合目标平台的要求。例如，将日期格式从"YYYY-MM-DD"转换为"YYYY/MM/DD"。
3. **ID检查**：根据元数据配置中的`idCheck: true`，我们需要在写入前检查目标平台中是否已经存在相同ID的数据。如果存在，则更新现有记录；如果不存在，则插入新记录。
#### 数据写入
完成上述转换后，我们将数据通过POST方法写入目标平台。具体实现可以参考以下代码示例：
```python
import requests
import json
# 转换后的数据
transformed_data = {
"id": "12345",
"name": "Laptop",
"date_of_purchase": "2021/01/15",
"asset_value": 1500,
"storage_location": "Warehouse A"
}
# API URL
api_url = 'https://api.qingyiyun.com/write_empty_operation'
# 请求头
headers = {
'Content-Type': 'application/json'
}
# 发起POST请求
response = requests.post(api_url, headers=headers, data=json.dumps(transformed_data))
# 检查响应状态码
if response.status_code == 200:
print("Data written successfully")
else:
print(f"Failed to write data: {response.status_code}")
```
在上述代码中，我们首先构建了一个包含转换后数据的字典对象，然后通过HTTP POST请求将其发送到目标API接口。如果响应状态码为200，则表示数据成功写入；否则，需要根据返回的状态码和错误信息进行相应处理。
#### 实时监控与日志记录
为了确保整个ETL过程顺利进行，我们还需要实时监控数据流动和处理状态。在轻易云集成平台中，可以通过内置的监控工具和日志记录功能，跟踪每个环节的执行情况，并及时发现和解决潜在问题。例如，可以设置告警机制，当某个步骤失败时立即通知相关人员。
综上所述，通过合理配置元数据并严格按照ETL流程操作，可以高效地将资产卡片查询的数据从源平台转换并写入目标平台。这不仅提高了系统集成效率，还保证了数据的一致性和可靠性。
