ETL转换与写入金蝶云星辰V2：轻易云平台的实操指南

  • 轻易云集成顾问-叶威宏

旺店通企业版数据集成到金蝶云星辰V2案例分享

在如今的数据驱动环境中，实现不同业务系统之间的高效数据对接成为企业运营中的一项重要任务。本文将详细介绍如何通过轻易云平台，将旺店通·企业版中的采购申请单无缝同步至金蝶云星辰V2，以提高业务流转效率和准确性。

本次集成项目的主要目标是实现旺店通·企业版到金蝶云星辰V2的采购申请单的数据自动化传输。在整个过程中，我们利用了轻易云的全生命周期管理特点，确保了从获取、处理到写入各个环节的数据透明与实时监控。

首先，为了定时可靠地抓取旺店通·企业版接口【purchase_apply_query】提供的采购申请单数据，我们设计了一套智能调度机制。这不仅保证了数据不漏单，而且能够有效应对接口调用过程中的分页和限流问题。具体来说，通过控制API请求频率并对分页结果进行合并，确保每一次抓取都能完整获取所需数据。

接着，我们需要处理两大系统间的数据格式差异问题。例如，旺店通·企业版返回的JSON结构可能与金蝶云星辰V2期望的XML或特定字段映射存在很大出入。为此，在进入实际写入逻辑之前，需要完成一阶转换及验证规则检查，这一步骤由我们预定义好的一系列映射规则来完成，并且可以灵活定制以应对未来可能出现的新需求变化。

在批量写入阶段，使用的是金蝶云星辰V2提供的【/jdy/v2/scm/pur_request】API。在发送批量请求时，由于网络波动或服务器压力不可避免会产生一些异常，为了减少由于这些异常引起的数据丢失情况，我们构建了一套错误重试机制。当遇到错误响应时，该机制能够自动识别并重新尝试提交未成功的数据包，从而最大程度保障了最终结果的一致性和可靠性。

以上方案通过轻易云平台得以实施，使得旺店通与金蝶两个系统间的信息交互变得更加高效且可追溯。不仅显著提升了业务流程运行效率，也极大降低了人工手工输入带来的误差风险。 金蝶与WMS系统接口开发配置

调用旺店通·企业版接口purchase_apply_query获取并加工数据

在轻易云数据集成平台的生命周期中，调用源系统接口是至关重要的一步。本文将深入探讨如何通过调用旺店通·企业版的purchase_apply_query接口来获取采购申请单数据，并进行初步加工处理。

接口配置与请求参数

首先，我们需要了解purchase_apply_query接口的基本配置和请求参数。根据元数据配置，我们可以得知该接口使用POST方法进行调用，主要参数包括分页信息、时间范围以及状态条件。

{
  "api": "purchase_apply_query",
  "method": "POST",
  "number": "purchase_apply_no",
  "id": "apply_id",
  "pagination": {
    "pageSize": 100
  },
  "condition": [
    [
      {
        "field": "status",
        "logic": "eq",
        "value": "23"
      }
    ]
  ],
  "idCheck": true,
  "request": [
    {
      "field": "start_time",
      "label": "开始时间",
      "type": "string",
      "value": "{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "end_time",
      "label": "结束时间",
      "type": "string",
      "value": "{{CURRENT_TIME|datetime}}"
    }
  ],
  "otherRequest": [
    {
      "field": "page_size",
      "label": "分页大小",
      "type": "string",
      "describe": "...",
      ...

请求参数详解

  1. 时间范围：我们使用了两个动态变量{{LAST_SYNC_TIME|datetime}}和{{CURRENT_TIME|datetime}}来指定数据同步的时间范围。这两个变量分别代表上次同步时间和当前时间，确保我们只获取最新的采购申请单数据。

  2. 状态条件：通过设置条件字段，我们仅提取状态为23的采购申请单，这样可以过滤掉不必要的数据，提高数据处理效率。

  3. 分页信息：为了防止一次性拉取大量数据导致系统压力过大，我们采用分页机制，每页返回的数据条数由page_size字段控制，默认值为100。

数据请求与清洗

在完成接口配置后，我们开始实际的数据请求过程。以下是一个示例请求体：

{
  "start_time": "{{LAST_SYNC_TIME|datetime}}",
  "end_time": "{{CURRENT_TIME|datetime}}",
  ...
}

通过上述请求体，我们可以从旺店通·企业版获取符合条件的采购申请单数据。接下来，需要对这些原始数据进行清洗和初步加工。

  1. 去重处理：由于可能存在重复记录，我们需要根据唯一标识字段（如apply_id）进行去重操作，确保每条记录唯一。

  2. 字段映射与转换：根据目标系统（如金蝶）的要求，对字段进行映射和转换。例如，将旺店通中的字段名转换为金蝶系统所需的字段名，并进行必要的数据格式转换。

  3. 异常处理：在数据清洗过程中，还需要对异常数据进行处理，如缺失值填补、格式错误修正等，确保最终导入的数据质量可靠。

数据转换与写入

经过清洗后的数据，需要进一步转换为目标系统所需的格式，并写入到目标系统中。在这个过程中，可以利用轻易云平台提供的可视化工具和实时监控功能，确保每一步操作透明可见，提高整体效率。

通过以上步骤，我们实现了从旺店通·企业版获取采购申请单数据并进行初步加工，为后续的数据转换与写入奠定了基础。这不仅提高了数据集成效率，也保证了数据的一致性和准确性。 钉钉与WMS系统接口开发配置

轻易云数据集成平台生命周期第二步：ETL转换与写入金蝶云星辰V2API接口

在轻易云数据集成平台的生命周期中，数据请求与清洗后，接下来需要将清洗后的数据进行ETL（提取、转换、加载）处理，并最终写入目标平台。在本文中，我们将深入探讨如何将已经集成的源平台数据转换为金蝶云星辰V2API接口所能接收的格式，并成功写入目标平台。

元数据配置解析

元数据配置是实现ETL过程的关键。以下是一个具体的元数据配置示例：

{
  "api": "/jdy/v2/scm/pur_request",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "bill_date",
      "label": "出库日期,格式：2019-01-01",
      "type": "string",
      "describe": "出库日期,格式：2019-01-01",
      "value": "{{created|date}}"
    },
    {
      "label": "申请人",
      "field": "emp_id",
      "type": "string",
      "value": "1362188104995221504"
    },
    {
      "label": "单据备注",
      "field": "remark",
      "type": "string"
    },
    {
      "label": "分录",
      "field": "material_entity",
      "type": "array",
      "value": "details_list",
      "children": [
        {
          "parent": "material_entity",
          "label": "商品信息",
          "field": "material_id",
          "type": "string",
          "value":"_findCollection find id from 1fbda962-66f8-3cba-914f-26119e235199 where number={{details_list.spec_no}}"
        },
        {
          ...
        }
      ]
    }
  ]
}

数据字段解析与转换

  1. 出库日期（bill_date）

    • 字段类型：字符串
    • 描述：出库日期，格式为YYYY-MM-DD
    • 转换逻辑：从源数据的created字段提取并格式化为日期字符串。

  2. 申请人（emp_id）

    • 字段类型：字符串
    • 固定值：1362188104995221504

  3. 单据备注（remark）

    • 字段类型：字符串
    • 可选字段，根据业务需求填写。

  4. 分录（material_entity）

    • 字段类型：数组
    • 包含多个子字段，如商品信息、申请数量、交货日期等。

子字段详细解析

  1. 商品信息（material_id）

    • 字段类型：字符串
    • 转换逻辑：通过_findCollection函数，从指定集合中查找对应spec_no的ID。

  2. 申请数量（apply_qty）

    • 字段类型：字符串
    • 转换逻辑：直接从源数据的real_num字段提取。

  3. 交货日期（delivery_date）

    • 字段类型：字符串
    • 转换逻辑：同样从源数据的created字段提取并格式化为日期字符串。

  4. 单位（unit_id）

    • 字段类型：字符串
    • 固定值：2

  5. 仓库（stock_id）

    • 字段类型：字符串
    • 转换逻辑：通过_findCollection函数，从指定集合中查找对应名称的ID。

数据转换与写入流程

  1. 提取： 从源平台获取原始数据，确保所有需要的数据字段都已经清洗并准备好进行下一步处理。

  2. 转换： 根据元数据配置，将原始数据逐一映射到目标平台所需的数据结构中。使用模板引擎如Handlebars来处理复杂的数据映射和格式化操作。例如：

{
  bill_date: "{{created|date}}", 
  emp_id: "{{emp_id}}", 
  remark: "{{remark}}", 
  material_entity: [
    {
      material_id: "_findCollection find id from ... where number={{details_list.spec_no}}", 
      apply_qty: "{{details_list.real_num}}", 
      delivery_date: "{{created|date}}", 
      unit_id: "{{unit_id}}", 
      stock_id: "_findCollection find id from ... where name={name}"
    }
  ]
}
  1. 加载： 将转换后的数据通过API接口发送到金蝶云星辰V2。确保请求方法为POST，并且请求体符合API规范。使用HTTP客户端如Axios或Fetch发送请求：
axios.post('/jdy/v2/scm/pur_request', transformedData)
     .then(response => console.log('Data successfully written:', response))
     .catch(error => console.error('Error writing data:', error));

通过上述步骤，我们可以确保源平台的数据经过ETL处理后，成功写入到金蝶云星辰V2API接口，实现系统间的数据无缝对接和高效集成。 用友与MES系统接口开发配置

版权声明

该文章《ETL转换与写入金蝶云星辰V2：轻易云平台的实操指南》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与聚水潭对接
更多系统对接方案