ETL转换与数据治理：金蝶云数据集成到轻易云平台实战

  • 轻易云集成顾问-李国敏

金蝶云星空数据集成到轻易云平台：成品物料信息查询

在本技术案例中，我们将探讨如何通过集成金蝶云星空和轻易云平台，实现对成品物料信息的高效查询与处理。具体来说，使用金蝶云星空的API接口executeBillQuery进行数据获取，并利用轻易云平台的写入功能，将查询结果快速可靠地存储。

为了应对大量业务数据流动带来的挑战，本次集成方案尤其关注以下几个关键技术要点：

  1. 批量数据写入能力：确保从金蝶云星空系统中取得的数据能够以高吞吐量迅速进入轻易云平台，以提升整体系统性能。

  2. 实时监控与告警机制：借助集中监控和告警系统，实时跟踪数据集成功能，及时识别并解决异常情况，提高业务操作透明度。

  3. 分页与限流处理：由于金蝶云星空API存在分页和调用频率限制，需要实现有效的分页管理和请求调度机制，保证全量数据无漏单。

  4. 自定义转换逻辑：针对两大平台的数据格式差异，通过定制化的数据映射策略，使得同步过程更为顺畅，从而减少错误发生几率。

  5. 异常重试机制：考虑到网络环境的不稳定性以及接口调用可能出现的失败情况，引入自动重试功能，以提高整个流程的可靠性。

这篇文章将深入分析上述关键点，并分享具体代码实例与配置步骤，帮助您高效完成金蝶-查询成品物料信息至轻易云平台的数据集成任务。请继续阅读下文了解详细方案实施方法。 企业微信与ERP系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成过程中，调用源系统的API接口是关键的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，以查询成品物料信息，并对数据进行加工处理。

接口配置与请求参数

首先，我们需要配置元数据，以便正确调用金蝶云星空的executeBillQuery接口。以下是元数据配置的主要内容：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FNumber",
  "id": "FMasterId",
  "name": "FNumber",
  "request": [
    {"field": "FMasterId", "label": "id", "type": "string", "describe": "id", "value": "FMasterId"},
    {"field": "FNumber", "label": "编码", "type": "string", "describe": "编码", "value": "FNumber"},
    {"field": "FName", "label": "名称", "type": "string", "describe": "名称", "value": "FName"},
    {"field": ... }
  ],
  ...
}

在上述配置中，api字段指定了要调用的API接口为executeBillQuery，method字段指定了请求方法为POST。请求参数包括物料ID、编码、名称等多个字段，这些字段将用于查询和过滤物料信息。

请求示例

为了更好地理解如何构建请求，我们来看一个具体的请求示例：

{
  "FormId":"BD_MATERIAL",
  "FieldKeys":"FMasterId,FNumber,FName,FSpecification,FOldNumber,FBARCODE,FDescription,FMaterialGroup.FNumber,FErpClsID,FForbidStatus,FBaseUnitId.FNumber,FCreateOrgId.FNumber,FUseOrgId.FNumber,FIsInventory,FIsSale,FIsAsset,FIsSubContract,FIsProduce,FIsPurchase,FStockId.FNumber,FPurchaseOrgId.FNumber,FPurchaseOrgId.FName,FIsBatchManage,FIsKFPeriod,FIsSNManage,FSafeStock,FCategoryID,FExpPeriod,FProduceBillType.FNumber,FPOBillTypeId.FNumber,FSubBillType.FNumber,FPurPrice_CMK",
  ...
}

在这个请求中，FormId指定了业务对象表单ID为BD_MATERIAL，而FieldKeys则列出了需要查询的字段集合。这些字段将作为返回结果的一部分，用于后续的数据处理。

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换，以确保数据符合目标系统的要求。以下是一些常见的数据清洗和转换操作：

  1. 字段映射：将源系统中的字段映射到目标系统中的对应字段。例如，将金蝶云星空中的FMasterId映射到目标系统中的物料ID。
  2. 数据格式转换：将日期、数值等字段的数据格式转换为目标系统所需的格式。例如，将日期格式从YYYY-MM-DD转换为MM/DD/YYYY。
  3. 数据过滤：根据业务需求过滤掉不需要的数据。例如，只保留允许销售（FIsSale）的物料信息。

示例代码

以下是一个示例代码片段，用于调用API并处理返回的数据：

import requests
import json

# API URL
url = 'https://api.kingdee.com/executeBillQuery'

# 请求头
headers = {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_ACCESS_TOKEN'
}

# 请求体
payload = {
    'FormId': 'BD_MATERIAL',
    'FieldKeys': 'FMasterId,FNumber,...',
    'FilterString': 'FUseOrgId.fnumber=\'100.01\' and FModifyDate>=\'2023-01-01\'',
    'Limit': 2000,
    'StartRow': 0
}

# 发起请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 检查响应状态码
if response.status_code == 200:
    data = response.json()

    # 数据清洗与转换
    cleaned_data = []
    for item in data:
        cleaned_item = {
            'id': item['FMasterId'],
            '编码': item['FNumber'],
            ...
        }
        cleaned_data.append(cleaned_item)

    # 输出清洗后的数据
    print(json.dumps(cleaned_data, indent=4))
else:
    print(f"Error: {response.status_code}")

在这个示例中，我们首先构建了API请求，包括设置URL、请求头和请求体。然后，我们发起POST请求，并检查响应状态码。如果响应成功，我们会对返回的数据进行清洗和转换，最后输出处理后的数据。

通过以上步骤，我们可以高效地调用金蝶云星空的API接口获取所需的数据，并对其进行必要的加工处理，为后续的数据写入和使用做好准备。 电商OMS与WMS系统接口开发配置

数据ETL转换与写入：从金蝶到轻易云集成平台

在数据集成过程中，将源平台的数据进行ETL转换并写入目标平台是关键步骤之一。本文将详细探讨如何将从金蝶系统查询到的成品物料信息，通过ETL转换，最终写入轻易云集成平台API接口所能接收的格式。

数据请求与清洗

首先，从金蝶系统中查询成品物料信息。假设我们已经通过轻易云数据集成平台完成了数据请求和初步清洗，获取了原始数据。此时，我们需要对这些数据进行进一步处理，以便符合目标平台的要求。

数据转换

在这个阶段，我们将使用ETL（Extract, Transform, Load）工具对数据进行转换。具体步骤如下：

  1. 提取（Extract）：从金蝶系统提取成品物料信息。
  2. 转换（Transform）：根据目标平台API的要求，对数据进行格式化和规范化处理。
  3. 加载（Load）：将转换后的数据写入目标平台。

元数据配置与API接口调用

根据提供的元数据配置，我们需要调用轻易云集成平台的API接口。以下是具体的元数据配置：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

这意味着我们需要使用HTTP POST方法来调用“写入空操作”API，并且需要进行ID检查。

实践案例

假设我们从金蝶系统中获取到了以下成品物料信息：

[
  {
    "material_id": "M001",
    "material_name": "产品A",
    "quantity": 100,
    "unit_price": 50
  },
  {
    "material_id": "M002",
    "material_name": "产品B",
    "quantity": 200,
    "unit_price": 30
  }
]

我们需要将这些信息转换为轻易云集成平台API能够接收的格式。假设目标格式为：

{
  "materials": [
    {
      "id": "M001",
      "name": "产品A",
      "qty": 100,
      "price_per_unit": 50
    },
    {
      "id": "M002",
      "name": "产品B",
      "qty": 200,
      "price_per_unit": 30
    }
  ]
}

具体的转换代码可能如下：

import json

# 原始数据
source_data = [
    {"material_id": "M001", "material_name": "产品A", "quantity": 100, "unit_price": 50},
    {"material_id": "M002", "material_name": "产品B", "quantity": 200, "unit_price": 30}
]

# 转换后的目标数据格式
target_data = {"materials": []}

for item in source_data:
    transformed_item = {
        'id': item['material_id'],
        'name': item['material_name'],
        'qty': item['quantity'],
        'price_per_unit': item['unit_price']
    }
    target_data["materials"].append(transformed_item)

# 转换后的JSON字符串
target_json = json.dumps(target_data, ensure_ascii=False)
print(target_json)

API接口调用

接下来，我们使用HTTP POST方法，将转换后的JSON数据发送到轻易云集成平台API接口。以下是一个简单的Python示例，展示如何实现这一过程：

import requests

url = 'https://api.qingyiyun.com/write'
headers = {'Content-Type': 'application/json'}
data = target_json

response = requests.post(url, headers=headers, data=data)

if response.status_code == 200:
    print("Data successfully written to the target platform.")
else:
    print(f"Failed to write data. Status code: {response.status_code}")

在这个示例中，我们首先定义了目标URL和请求头，然后将转换后的JSON数据作为请求体发送到指定的API接口。如果响应状态码为200，则表示数据成功写入目标平台。

总结

通过上述步骤，我们实现了从金蝶系统查询成品物料信息，并通过ETL工具进行转换，最终成功写入轻易云集成平台。这一过程展示了如何利用元数据配置和API接口，实现不同系统间的数据无缝对接，为业务流程提供高效、透明的数据支持。 电商OMS与WMS系统接口开发配置

版权声明

该文章《金蝶云星空API调用与数据写入：实现成品物料高效管理》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案