轻松实现数据ETL与金蝶云星空对接的方法

  • 轻易云集成顾问-姚缘

聚水潭数据集成到金蝶云星空：采购退货同步实现方案

本案例将详细解读如何通过轻易云平台实现聚水潭与金蝶云星空系统的无缝对接，重点介绍[自动]-采购退货同步-V1.0方案。在本次集成中，我们面临的主要技术挑战包括高吞吐量的数据写入、分页及限流处理、数据格式转换和异常处理等。具体来说，本案例涉及从聚水潭获取采购退货数据，并以批量方式可靠地写入金蝶云星空。

首先，通过调用聚水潭的API /open/purchaseout/query 接口来定时抓取采购退货数据，这是保证数据不漏单且及时更新的重要环节。为了应对大规模数据处理，我们设计了高效的数据批量抓取机制，与此同时，通过可视化的数据流设计工具，清晰定义了整个流程，使得维护变得更为简便。

然后，在将这些大量的数据精确映射到金蝶云星空时，我们使用自定义的数据转换逻辑，以适应两套系统间各异的业务需求和数据结构。这不仅确保了在字段转换过程中零差错，还提升了整体效率。此外，为解决分页及限流问题，我们采用了一系列优化策略，包括智能调度任务并实时监控接口调用情况，从而防止出现超出限制或请求失败的问题。

最后，当我们需要将整理好的纤细 数据批量写入到金蝶云星空系统内时，通过其 batchSave API 实现快速、高效、安全的存储。同时，为进一步提高操作可靠性，我们引入集中监控与告警系统，实时追踪每个任务执行状态。一旦捕捉到异常，如网络波动或接口故障，立即触发错误重试机制，以最大程度降低因短暂失误带来的影响。

通过上述技术手段，不仅实现两套企业管理软件之间顺畅无阻地交换关键业务信息，更大幅降低人工干预成本，提高工作准确率和流程透明度。 系统集成平台API接口配置

调用聚水潭接口/open/purchaseout/query获取并加工数据

在轻易云数据集成平台的生命周期中，调用源系统接口是数据处理的第一步。本文将深入探讨如何通过调用聚水潭接口/open/purchaseout/query来获取并加工采购退货数据。

接口概述

聚水潭提供了丰富的API接口，其中/open/purchaseout/query用于查询采购退货单。该接口采用POST方法，支持分页查询，并且可以根据修改时间和单据状态进行过滤。

元数据配置解析

以下是元数据配置的详细解析：

{
  "api": "/open/purchaseout/query",
  "effect": "QUERY",
  "method": "POST",
  "number": "io_id",
  "id": "io_id",
  "idCheck": true,
  "request": [
    {
      "field": "page_index",
      "label": "第几页，从第一页开始，默认1",
      "type": "string",
      "describe": "第几页，从第一页开始，默认1",
      "value": "1"
    },
    {
      "field": "page_size",
      "label": "每页多少条，默认30，最大50",
      "type": "string",
      "describe": "每页多少条，默认30，最大50",
      "value": "50"
    },
    {
      "field": "modified_begin",
      ...
  • api: /open/purchaseout/query 表示调用的API路径。
  • effect: QUERY 表示该操作为查询操作。
  • method: POST 表示使用HTTP POST方法进行请求。
  • number 和 id: 均为 io_id，表示唯一标识字段。
  • idCheck: true 表示需要对ID进行校验。

请求参数详解

请求参数包括分页信息、时间范围和单据状态：

  1. page_index: 指定查询的页码，从第一页开始，默认为1。
  2. page_size: 每页返回的数据条数，默认为30，最大值为50。
  3. modified_begin 和 modified_end: 用于指定查询的时间范围。必须同时存在且间隔不能超过七天。通过模板变量 {{LAST_SYNC_TIME|datetime}} 和 {{CURRENT_TIME|datetime}} 动态生成。
  4. status: 单据状态过滤条件，如 Confirmed=生效, WaitConfirm=待审核, Creating=草拟, Archive=归档, Cancelled=作废。默认值为 Confirmed。

数据请求与清洗

在实际应用中，我们需要按照以下步骤进行数据请求与清洗：

  1. 构建请求体：根据元数据配置构建请求体，例如：
{
  "page_index": 1,
  "page_size": 50,
  ...
}

  1. 发送请求：使用HTTP POST方法将请求发送到聚水潭API服务器，并接收响应数据。

  2. 处理响应数据：对接收到的数据进行初步清洗，包括去除无效字段、格式转换等。例如，将日期字符串转换为标准日期格式。

  3. 错误处理与重试机制：如果请求失败，需要根据错误类型进行相应处理，如网络重试、参数校验等。

异常补偿机制

为了确保数据同步的完整性，我们还配置了异常补偿机制：

{
  ...
  "omissionRemedy": {
    ...
    {
      ...
      {"field":"modified_begin","type":"string","label":"接管字段","formModel":{"enable":false},"tableModel":{"enable":false},"physicalModel":{"enable":false},"value":"{{DAYS_AGO_2|datetime}}"}
    }
  }
}

该机制通过定时任务（crontab）定期检查遗漏的数据，并重新发起请求以补全缺失部分。例如，每五分钟执行一次检查任务，通过设置起始时间为两天前来确保遗漏的数据能够被重新获取。

实践案例

假设我们需要同步最近一天内所有已生效的采购退货单，可以按照以下步骤操作：

  1. 设置起始时间和结束时间：

    {
 ...
 {"field":"modified_begin","value":"2023-10-01T00:00:00"},
 {"field":"modified_end","value":"2023-10-01T23:59:59"},
 ...
}

  2. 构建并发送请求：

    {
 ...
 {"page_index":"1", ...},
 {"page_size":"50", ...},
 {"status":"Confirmed", ...}
}

  3. 接收并处理响应数据，将有效记录写入目标系统。

通过上述步骤，我们能够高效地从聚水潭系统中获取所需的采购退货单数据，并进行进一步处理和分析。这不仅提升了业务透明度，也确保了数据的一致性和准确性。 钉钉与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL（提取、转换、加载）处理，并最终写入目标平台——金蝶云星空API接口。以下是具体的技术实现过程和细节。

元数据配置解析

首先，我们需要理解元数据配置中的各个字段及其含义。以下是关键字段的解析：

  • api 和 method：指定调用的API接口和HTTP方法。
  • idCheck：是否进行ID检查。
  • operation：定义操作类型和相关参数。
  • request：包含具体的数据字段配置，包括字段名称、类型、描述和解析器等。

数据提取与转换

在数据提取阶段，我们从源系统中获取原始数据。接下来，重点在于如何将这些原始数据转换为金蝶云星空API所需的格式。

以下是主要字段及其转换逻辑：

  1. 单据类型（FBILLTYPEID）：

    • 使用 ConvertObjectParser 解析器，将固定值 "TLD01_SYS" 转换为目标格式。

  2. 退料组织（FStockOrgId）：

    • 通过 _function case 语句，根据不同的 wms_co_id 值映射到相应的组织ID。

  3. 单据编号（FBillNo） 和 退料日期（FDate）：

    • 直接从源数据中提取 {io_id} 和 {io_date}。

  4. 供应商（FSupplierID）：

    • 使用 _findCollection 查询语句，从指定集合中查找对应的供应商编码。

  5. 退料类型（FMRTYPE） 和 业务类型（FBusinessType）：

    • 固定值分别为 "B" 和 "CG"。

  6. 明细信息（FPURMRBENTRY）：

    • 包含多个子字段，如物料编码、实退数量、仓库等，通过嵌套解析器处理每个子项。

数据加载

在完成数据转换后，我们需要将处理后的数据通过API接口写入金蝶云星空系统。以下是关键步骤：

  1. 构建请求体： 根据元数据配置，构建符合金蝶云星空API要求的JSON请求体。例如：
{
    "FormId": "PUR_MRB",
    "Operation": "batchSave",
    "IsAutoSubmitAndAudit": false,
    "IsVerifyBaseDataField": true,
    "SubSystemId": "21",
    "Model": {
        "FBILLTYPEID": {"FNumber": "TLD01_SYS"},
        "FStockOrgId": {"FNumber": "_function case '{wms_co_id}' when '13328244' then '101' ... end"},
        ...
        "FPURMRBENTRY": [
            {
                "FMATERIALID": {"FNumber": "{{items.sku_id}}"},
                ...
            }
        ]
    }
}
  1. 发送HTTP请求： 使用POST方法，将构建好的JSON请求体发送到金蝶云星空API接口：
import requests

url = 'https://api.kingdee.com/batchSave'
headers = {'Content-Type': 'application/json'}
response = requests.post(url, json=request_body, headers=headers)

if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud")
else:
    print(f"Failed to write data: {response.text}")

实际案例分析

假设我们有一个采购退货单，需要将其同步到金蝶云星空系统。具体步骤如下：

  1. 从源系统提取采购退货单数据，包括单据编号、退料日期、供应商等信息。
  2. 根据元数据配置，使用相应的解析器和映射规则，将原始数据转换为目标格式。
  3. 构建符合金蝶云星空API要求的JSON请求体。
  4. 使用HTTP POST方法，将请求体发送到金蝶云星空API接口，实现数据写入。

通过上述步骤，我们可以高效地完成从源系统到目标平台的数据集成，实现不同系统间的数据无缝对接。这不仅提高了业务透明度和效率，还确保了数据的一致性和准确性。 数据集成平台可视化配置API接口

版权声明

该文章《轻松实现数据ETL与金蝶云星空对接的方法》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

营销云系统与经销商ERP对接
更多系统对接方案