ETL实战：聚水潭到金蝶云星空数据集成案例

  • 轻易云集成顾问-何语琴

聚水潭数据集成到金蝶云星空案例分享

在此次技术案例中，我们将分析如何通过轻易云数据集成平台，将聚水潭的采购入库单数据高效、安全地对接至金蝶云星空系统。具体方案为“聚水潭采购入库单=>金蝶采购入库单-ok”。本次集成过程主要涉及以下关键技术点：接口调用、分页处理、大量数据快速写入和异常处理等。

首先，通过聚水潭提供的API接口/open/purchasein/query，可以定时可靠地抓取最新的采购入库单数据。在配置过程中，确保了每一次的数据提取都不漏单，这得益于我们实现了一种稳健的分页机制，同时解决了限流问题，使得大批量的数据能够被平稳、持续地提取。

在抓取到所需的数据后，需要处理其与目标系统——金蝶云星空之间的数据格式差异。这一步骤尤为重要，因为输入输出格式上的不匹配可能会导致重大错误。通过自定义字段映射和数据转换功能，确保所有传输内容皆符合金蝶云星空接口规范，并顺利进行写入操作。

针对大规模数据的快速写入问题，我们采用了并行批量处理方式，将原始JSON数组整合后使用金蝶云星空提供的batchSave API进行批量插入。这一过程中，我们还特别关注了异常情况，例如API响应超时或网络波动，通过构建完备的错误重试机制，有效保障了整个数据链路的稳定性和连续性。

整个项目不仅实现了两大业务系统间无缝衔接，还利用实时监控及日志记录功能，对每一步流程进行了透明化管理，从而提升了整体执行效率，并便于日常维护及故障排查。在接下来的部分中，我们将详细阐述完整实施步骤以及各种核心环节中的具体技术细节。 打通钉钉数据接口

调用聚水潭接口/open/purchasein/query获取并加工数据的技术实现

在数据集成生命周期的第一步，我们需要调用聚水潭接口/open/purchasein/query来获取采购入库单的数据，并对其进行初步加工。本文将详细探讨该接口的调用方式、请求参数配置以及数据清洗的具体步骤。

接口调用与请求参数配置

聚水潭接口/open/purchasein/query采用POST方法进行数据查询，主要用于获取采购入库单的信息。以下是该接口的元数据配置：

{
  "api": "/open/purchasein/query",
  "effect": "QUERY",
  "method": "POST",
  "number": "io_id",
  "id": "io_id",
  "name": "io_id",
  "idCheck": true,
  "request": [
    {"field": "page_index", "label": "第几页", "type": "int", "describe": "从1开始", "value": "1"},
    {"field": "page_size", "label": "每页数量", "type": "int", "describe": "最大不超过50", "value": "30"},
    {"field": "modified_begin", "label": "修改起始时间", "type": "string", 
        "describe":"起始时间和结束时间必须同时存在，时间间隔不能超过七天，与采购单号不能同时为空","value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field": "modified_end",   "label":"修改结束时间","type":"string",
        "describe":"起始时间和结束时间必须同时存在，时间间隔不能超过七天，与采购单号不能同时为空","value":"{{CURRENT_TIME|datetime}}"},
    {"field":"po_ids","label":"采购单号列表","type":"string","describe":"与修改时间不能同时为空.采购单号最大不能超过30条"},
    {"field":"io_ids","label":"采购入库单号列表","type":"string","describe":"与修改时间不能同时为空.采购入库单号最大不能超过30条"},
    {"field":"so_ids","label":"线上单号","type":"string","describe":"与修改时间不能同时为空"}
  ],
  "autoFillResponse": true,
    "condition":[[{"field":"so_id","logic":"ineqv2","value":"null"}]]
}
请求参数解析
  1. page_index: 表示当前请求的是第几页的数据，从1开始。
  2. page_size: 每页返回的数据条数，最大不超过50。
  3. modified_begin: 数据修改的起始时间，格式为字符串。起始和结束时间必须同时存在且间隔不超过七天。
  4. modified_end: 数据修改的结束时间，格式为字符串。
  5. po_ids: 可选参数，表示需要查询的采购单号列表。
  6. io_ids: 可选参数，表示需要查询的采购入库单号列表。
  7. so_ids: 可选参数，表示线上订单号。

这些参数确保了我们能够灵活地根据不同条件来筛选所需的数据。

数据清洗与加工

在成功调用接口并获取到原始数据后，我们需要对数据进行清洗和初步加工，以便后续的数据转换和写入步骤。以下是一个典型的数据清洗流程：

  1. 字段验证与转换:

    • 确保每个必填字段都存在且符合预期格式。例如，检查io_id是否为有效的唯一标识符。
    • 将日期字符串转换为标准化的日期格式，以便后续处理。

  2. 异常数据处理:

    • 对于缺失或异常值进行处理，例如填充默认值或丢弃无效记录。
    • 使用条件过滤器（如上文中的condition）来排除不符合业务逻辑的数据。

  3. 数据标准化:

    • 将不同来源的数据统一格式，例如将所有金额字段统一为两位小数点。
    • 标准化文本字段，如去除多余空格、统一大小写等。

  4. 日志记录与监控:

    • 在清洗过程中记录日志，以便追踪问题和优化流程。
    • 实时监控数据处理状态，确保整个过程透明可控。

实际案例

假设我们需要获取最近一天内所有被修改过的采购入库单，并且这些入库单必须包含有效的线上订单号（so_id）。我们可以设置如下请求参数：

{
    "page_index": 1,
    "page_size": 30,
    "modified_begin": "{{LAST_SYNC_TIME|datetime}}",
    "modified_end": "{{CURRENT_TIME|datetime}}"
}

在接收到响应后，我们首先检查每个记录是否包含有效的so_id。然后，将日期字段转换为标准格式，并对金额字段进行标准化处理。最后，将清洗后的数据记录到日志中，并准备进行下一步的数据转换和写入操作。

通过上述步骤，我们能够高效地调用聚水潭接口获取所需数据，并对其进行初步加工，为后续的数据集成奠定坚实基础。这不仅提升了业务透明度，还显著提高了整体效率。 金蝶与外部系统打通接口

使用轻易云数据集成平台实现金蝶云星空API接口的数据转换与写入

在数据集成的生命周期中，将源平台的数据进行ETL转换，并最终写入目标平台是一个至关重要的环节。本文将详细介绍如何通过轻易云数据集成平台，将聚水潭采购入库单的数据转换为金蝶云星空API接口所能接收的格式，并成功写入目标平台。

数据请求与清洗

在进行ETL转换之前，首先需要从源系统获取数据并进行必要的清洗。假设我们已经完成了这一阶段，接下来我们将重点讨论如何利用元数据配置，将清洗后的数据转换并写入金蝶云星空。

元数据配置解析

以下是我们需要使用的元数据配置：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "单据类型",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      },
      "value": "RKD01_SYS"
    },
    {
      ...
    }
  ],
  ...
}

该配置文件定义了如何将采购入库单的数据映射到金蝶云星空API接口所需的字段。以下是几个关键字段及其解析方法：

  1. FBillTypeID: 单据类型，使用ConvertObjectParser解析器将值转换为目标系统所需的格式。
  2. FBillNo: 单据编号，直接从源数据中提取。
  3. FStockOrgId: 收料组织，通过查询条件从特定集合中查找并转换。
  4. FPurchaseOrgId: 采购组织，同样通过查询条件进行查找和转换。

这些字段通过不同的解析器和查询条件，实现了从源系统到目标系统的数据映射。

数据转换与写入

在实际操作中，我们需要构建一个HTTP POST请求，将上述配置中的字段填充为具体的数据，并发送到金蝶云星空API接口。以下是一个示例请求体：

{
  "FormId": "STK_InStock",
  "IsAutoSubmitAndAudit": true,
  ...
  "Model": {
    ...
    "FBillTypeID": {"FNumber": "RKD01_SYS"},
    ...
    "FInStockEntry": [
      {
        ...
        "FMaterialId": {"FNumber":"123456"},
        ...
      }
    ]
  }
}

在这个请求体中，我们根据元数据配置中的规则，将各个字段填充为具体值。例如：

  • FBillTypeID 被填充为 {"FNumber":"RKD01_SYS"}。
  • FMaterialId 被填充为 {"FNumber":"123456"}，这是通过ConvertObjectParser解析器转换后的结果。

这些字段被组装成一个完整的JSON对象，并通过HTTP POST请求发送到金蝶云星空API接口。

实际案例分析

假设我们有一条聚水潭采购入库单，其主要字段如下：

  • 单据编号：PO12345
  • 入库日期：2023-10-01
  • 收料组织：ORG001
  • 明细信息：
    • SKU ID：SKU123
    • 数量：100
    • 单价：10.0

根据元数据配置，我们可以构建如下请求体：

{
  ...
  "Model": {
    ...
    "FBillNo": {"value":"PO12345"},
    ...
    "FDate":{"value":"2023-10-01"},
    ...
    "FInStockEntry":[
      {
        ...
        "FMaterialId":{"FNumber":"SKU123"},
        ...
        "FRealQty":{"value":"100"},
        ...
        "FPrice":{"value":"10.0"}
      }
    ]
  }
}

通过这个请求体，我们可以将聚水潭采购入库单的数据成功地写入到金蝶云星空系统中。

总结

本文详细介绍了如何利用轻易云数据集成平台，将聚水潭采购入库单的数据转换为金蝶云星空API接口所能接收的格式，并成功写入目标平台。通过对元数据配置的深入理解和应用，我们能够高效地实现不同系统间的数据无缝对接，从而提升业务流程的透明度和效率。 电商OMS与ERP系统接口开发配置

版权声明

该文章《ETL实战：聚水潭到金蝶云星空数据集成案例》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

小满CRM与畅捷通T+对接
更多系统对接方案