轻易云数据集成平台在ETL转换及目标平台写入中的应用

  • 轻易云集成顾问-彭亮

案例分享：查询金蝶仓库数据集成至轻易云平台

在本技术案例中，我们将探讨如何通过轻易云数据集成平台高效地从金蝶云星空系统中抓取仓库数据，并可靠地集成到目标平台。这一过程中，利用了executeBillQuery接口进行数据获取，同时运用了写入空操作API完成数据的快速导入。以下是我们具体实施的主要技术要点和实现细节。

一、API接口调用与高效数据抓取 首先，通过调用金蝶云星空提供的executeBillQuery API，我们能够定时、可靠地抓取所需的仓库数据。该接口不仅支持分页，还具备一定限流机制，这有助于避免对源系统造成过大压力。因此，在实现过程中，需要特别关注分页和限流策略，以确保完整、无遗漏的数据提取。

二、自定义转换逻辑与格式差异处理 由于金蝶云星空和轻易云集成平台之间存在着不同的数据结构，我们必须在获取原始数据后，自定义相应的数据转换逻辑，使之适应目标平台的格式要求。在这个步骤中，发挥了轻易云强大的可视化设计工具，将复杂的数据映射过程可视化，极大提高了管理效率和准确性。

三、高吞吐量批量写入与实时监控 为了满足业务需求的大规模并行处理能力，本次方案特别重视高吞吐量的数据写入特性。通过配置合适的批量处理参数及优化传输通道设定，实现了大量仓库记录的快速导入。此外，引入实时监控机制，可以持续跟踪各个作业任务状态及性能指标，即时发现并解决潜在问题，从而保证整体流程顺畅运行。

四、异常处理与错误重试机制 在实际运行环境中，不可避免会遇到各种网络波动或服务响应错误，为此，需要设计健全的异常处理与错误重试策略。当某些任务失败时，系统能够自动触发重新尝试，以尽可能降低因临时故障导致的数据丢失风险。这一点尤其重要，是保障整个集成功能稳定性的关键之一。

五、日志记录与质量监控 最后，通过全面记录每一步骤详细日志，并结合集中式告警体系，实现了对整个过程精准追溯以及及时提醒。同时，对所有传输和转化后的结果进行严格的数据质量监控及异常检测，进一步提升整体解决方案中的可靠性和一致性。

上述内容为本案例分析文章开篇部分，其重点涵盖从API接口调用到核心功能实现的重要环节。这只是全面实施的一部分，更详尽的方法论将在接下来的章节中逐步展开。 用友与MES系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取并加工数据。

接口配置与元数据解析

首先，我们需要理解元数据配置中的各个字段及其作用。以下是元数据配置的详细解析：

  • api: "executeBillQuery" - 这是我们要调用的金蝶云星空接口。
  • effect: "QUERY" - 表示这是一个查询操作。
  • method: "POST" - 指定了HTTP请求的方法为POST。
  • number: "FNumber" - 数据中的编码字段。
  • id: "FStockId" - 数据中的主键ID字段。

请求参数配置

请求参数分为两部分：request和otherRequest。

  1. request部分包含了主要的查询字段：

    [
    {"field":"FStockId","label":"FStockId","type":"string","describe":"111","value":"FStockId"},
    {"field":"FNumber","label":"编码","type":"string","describe":"111","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","describe":"111","value":"FName"},
    {"field":"FGroup","label":"分组","type":"string","describe":"111","value":"FGroup"},
    {"field":"FDeptId","label":"部门","type":"string","value":"FDeptId"},
    {"field":"F_UQRW_Text","label":"外部码","type":"string","value":"F_UQRW_Text"},
    {"field":"F_UQRW_Combo","label":"仓库类型","type":"string","value":"F_UQRW_Combo"}
]

    这些字段定义了我们需要从金蝶系统中获取的数据项，包括仓库ID、编码、名称、分组、部门、外部码和仓库类型等。

  2. otherRequest部分包含了一些辅助参数：

    [
    {"field":"Limit","label":"Limit","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"StartRow","label":"StartRow","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
    {"field":"TopRowCount","label":"TopRowCount","type":"int"},
    {"field": "FilterString", "label": "FilterString", "type": "string", "describe": "示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>='{{LAST_SYNC_TIME|dateTime}}'", "value": "FModifyDate>='{{LAST_SYNC_TIME|dateTime}}'"},
    {"field": "FieldKeys", "label": "FieldKeys", "type": "array", "describe": "金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber"},
    {"field": "FormId", "label": "FormId", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "BD_STOCK"}
]

    这些辅助参数帮助我们进行分页查询（如Limit和StartRow），以及过滤条件（如FilterString）和表单ID（如FormId）。

实际调用与数据处理

在实际操作中，我们通过轻易云平台发起一个POST请求，调用金蝶云星空的executeBillQuery接口。以下是一个示例请求体：

{
    "FormId": "BD_STOCK",
    "FieldKeys": ["FStockId", "FNumber", "FName", "FGroup", "FDeptId", "F_UQRW_Text", "F_UQRW_Combo"],
    "FilterString": "FModifyDate>='2023-01-01'",
    "Limit": 100,
    "StartRow": 0
}

该请求体指定了我们要查询的表单ID为"BD_STOCK"，并且列出了所需字段和过滤条件。分页参数设置为每次查询100条记录，从第0行开始。

数据清洗与转换

获取到的数据通常需要进行清洗和转换，以便适应目标系统的需求。在轻易云平台上，可以使用内置的数据处理工具对返回的数据进行如下操作：

  1. 数据清洗：去除无效或重复的数据，确保数据质量。
  2. 数据转换：将数据格式转换为目标系统所需的格式，例如日期格式转换、数值单位转换等。
  3. 自动填充响应：根据配置中的autoFillResponse: true，平台会自动处理响应结果，将其映射到目标系统所需的数据结构中。

通过上述步骤，我们可以高效地从金蝶云星空获取并加工所需的数据，为后续的数据集成打下坚实基础。 金蝶与外部系统打通接口

轻易云数据集成平台ETL转换与写入目标平台技术案例

在数据集成生命周期的第二步，我们需要将已经从源平台（如金蝶仓库）获取并清洗的数据进行ETL转换，最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台API接口，实现这一过程。

数据转换与写入目标平台

在轻易云数据集成平台中，数据转换与写入目标平台的过程主要通过API接口来实现。我们将使用以下元数据配置来指导这一过程：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

API接口调用配置

  1. API路径：写入空操作

    • 该API用于执行具体的数据写入操作。通过调用这个API，我们可以将转换后的数据发送到目标平台。

  2. 请求方法：POST

    • 使用POST方法可以确保我们传输的数据能够被正确地接收和处理。POST方法适用于需要在服务器上创建或更新资源的场景。

  3. 效果类型：EXECUTE

    • EXECUTE表示该操作是一个执行性操作，即它会触发实际的数据处理和写入动作。

  4. ID检查：idCheck: true

    • 在进行数据写入时，ID检查可以确保每条记录都有唯一标识符，从而避免重复或冲突。这一步对于保证数据一致性和完整性至关重要。

实际应用案例

假设我们从金蝶仓库中获取了一批库存数据，这些数据需要经过ETL处理后，写入到轻易云集成平台中。以下是具体的步骤：

  1. 提取（Extract）

    • 从金蝶仓库中提取原始库存数据。 
      {
"inventory_id": "12345",
"product_name": "Widget A",
"quantity": 100,
"warehouse_location": "WH-01"
}

  2. 转换（Transform）

    • 对提取的数据进行清洗和格式化，以符合目标平台的要求。例如，将字段名称标准化、处理缺失值等。 
      {
"id": "12345",
"name": "Widget A",
"qty": 100,
"location": "WH-01"
}

  3. 加载（Load）

    • 使用配置好的API接口，将转换后的数据通过POST方法发送到目标平台。
    import requests

url = 'https://api.qingyiyun.com/write'
headers = {'Content-Type': 'application/json'}
payload = {
  "id": "12345",
  "name": "Widget A",
  "qty": 100,
  "location": "WH-01"
}

response = requests.post(url, json=payload, headers=headers)

if response.status_code == 200:
    print("Data written successfully.")
else:
    print("Failed to write data:", response.text)

注意事项

  1. 错误处理

    • 在实际应用中，必须考虑到可能出现的各种错误情况，如网络问题、API响应超时等。因此，在代码中应加入适当的错误处理机制，以确保系统的稳定性和可靠性。

  2. 日志记录

    • 为了便于后续的维护和问题排查，建议在每次API调用时记录相关日志信息，包括请求时间、请求内容、响应状态等。

  3. 安全性

    • 确保在传输过程中使用安全协议（如HTTPS），并对敏感信息进行加密处理，以防止数据泄露。

通过上述步骤，我们可以高效地将从金蝶仓库提取并清洗后的库存数据，转换为轻易云集成平台所能接收的格式，并成功写入目标平台。这一过程不仅提升了业务透明度和效率，也确保了数据的一致性和完整性。 电商OMS与ERP系统接口开发配置

版权声明

该文章《调用金蝶云星空接口获取数据并进行ETL转换的案例详解》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

百威BEES系统与经销商ERP对接
更多系统对接方案