ETL转换：使用轻易云将金蝶云星空数据写入MySQL的最佳实践

  • 轻易云集成顾问-吴伟

金蝶云星空数据集成到MySQL的技术案例分享

在本文中，我们将深入探讨一个具体的系统对接集成案例：如何通过轻易云数据集成平台，将金蝶云星空上的采购订单头状态更新（关闭，作废）高效地集成到MySQL数据库。本次介绍的方案名称为MOM-PUR-采购订单头状态更新。在这一过程中，我们重点关注API接口调用、数据转换逻辑实现以及异常处理机制等关键技术细节。

首先，通过调用金蝶云星空提供的数据获取API——executeBillQuery，定时可靠地抓取最新的采购订单信息。利用轻易云平台强大的数据质量监控和异常检测功能，可以确保每条记录准确无误，实现实时监控与日志记录。有了这些基础保障后，再进行批量的数据写入操作。

针对大量数据高吞吐量写入需求，采用MySQL特有的批量插入方法，提高了整体速度和效率。同时，为应对分页和限流问题，我们设计了分段请求机制，以避免单次大规模请求带来的性能瓶颈。这一过程通过集中监控与告警系统实时跟踪任务执行情况，有效防止漏单现象发生。

考虑到不同系统之间可能存在的数据格式差异，本方案支持自定义的数据转换逻辑，从而确保从金蝶云星空提取的数据能够顺利映射并存储至MySQL。此外，在实际实施过程中，对MySQL数据库进行定制化映射调整，以适配特定业务需求，并建立了一整套详尽的错误重试机制来处理潜在的接口调用失败或写入错误。

通过上述步骤，我们不仅实现了从金蝶云星空向MySQL的大规模、高效率数据迁移，还构建起一个完善、稳定且可扩展的数据集成流程。从API调用，到数据转换，再到最终持久化，每一个环节都经过精心设计与调优，为企业全面掌握采购流程提供坚实支撑。 电商OMS与WMS系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，获取采购订单相关数据并进行初步加工。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用executeBillQuery接口。以下是我们使用的元数据配置：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "采购订单号",
  "id": "金蝶采购订单ID",
  "name": "FBillNo",
  "request": [
    {"field":"fbillno","label":"采购订单号","type":"string","value":"fbillno"},
    {"field":"FPurchaserId","label":"采购员","type":"string","value":"FPurchaserId.fnumber"},
    {"field":"FBillTypeID","label":"采购类型","type":"string","value":"FBillTypeID.fnumber"},
    {"field":"FDocumentStatus","label":"状态","type":"string","value":"FDocumentStatus"},
    {"field":"FSupplierId","label":"供应商编号","type":"string","value":"FSupplierId.fnumber"},
    {"field":"FCreateDate","label":"建立日期","type":"string","value":"FCreateDate"},
    {"field":"F_ora_Text","label":"备注","type":"string","value":"F_ora_Text"},
    {"field":"KINGDEE_CREATED_BY","label":"金蝶创建人","type":"string","value":"FCreatorId.fname"},
    {"field":"KINGDEE_PO_ID","label":"金蝶采购订单ID","type":"string","value":"FID"},
    {"field":"KINGDEE_CANCEL_STATUS","label":"金蝶取消状态","type":"string","value":"FCancelStatus"},
    {"field":"KINGDEE_MANUALCLOSE_STATUS","label":"手工关闭状态","type":"string","value":"FMANUALCLOSE"},
    {"field":"KINGDEE_CLOSED","label":"金蝶关闭状态","type":""},
    {"field":"","label":"","type":"","value":""},
    {"field":"","label":"","type":"","value":""},
    {"field":"","label":"","type":"","value":""}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "int", "describe": "最大行数", "value": "2000"},
    {"field": "", ""}
  ],
  "autoFillResponse": true
}

请求参数详解

  1. 基本请求字段：

    • fbillno: 表示采购订单号。
    • FPurchaserId: 表示采购员编号。
    • FBillTypeID: 表示采购类型编号。
    • FDocumentStatus: 表示单据状态。
    • FSupplierId: 表示供应商编号。
    • FCreateDate: 表示单据创建日期。
    • F_ora_Text: 表示备注信息。
    • FCreatorId.fname: 表示单据创建人姓名。
    • FID: 表示金蝶采购订单ID。
    • FCancelStatus: 表示取消状态。
    • FMANUALCLOSE: 表示手工关闭状态。

  2. 其他请求字段：

    • Limit: 最大行数，设置为2000。
    • FilterString: 用于过滤条件，例如：FPurchaseOrgId.fnumber in ('T02','T02.01') and FDocumentStatus in ('C') and fdate>='2024-03-01'。

数据请求与清洗

通过上述配置，我们可以发起POST请求来获取所需的数据。以下是一个简化的请求示例：

{
  "FormId": "PUR_PurchaseOrder",
  "FieldKeys": ["fbillno", ...],
  ...
}

在接收到响应后，我们需要对数据进行清洗和初步加工。例如，可以根据业务需求过滤掉某些不必要的数据字段，或者对特定字段进行格式转换。

数据转换与写入

在完成数据清洗后，我们可以将其转换为目标系统所需的格式，并写入到相应的数据库或系统中。这一步通常涉及到复杂的数据映射和转换逻辑，需要根据具体业务需求进行定制。

通过以上步骤，我们实现了从调用源系统接口到获取并加工数据的全过程。这不仅提高了数据处理效率，也确保了数据的一致性和准确性。 钉钉与ERP系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入MySQL API接口

在数据集成的生命周期中，将源平台的数据转换为目标平台能够接收的格式是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台将采购订单头状态更新的数据转换为MySQL API接口所能接收的格式，并最终写入目标平台。

元数据配置解析

在本次案例中，我们需要处理的数据包括采购订单号、金蝶关闭状态和金蝶取消状态等。以下是元数据配置的详细说明：

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "children": [
        {"field": "TENANT_ID", "label": "租户ID", "type": "string", "value": "7"},
        {"field": "PO_NUMBER", "label": "采购订单号", "type": "string", "value": "{{采购订单号}}"},
        {"field": "closed_flag", 
         "label": "closed_flag", 
         "type": "string", 
         "value": "_function CASE '{{金蝶关闭状态}}' WHEN 'B' THEN 'Y' ELSE '' END"}
      ]
    },
    {
      ...
    }
  ],
  ...
}

数据请求与清洗

首先，我们需要从源平台获取原始数据，并进行必要的清洗和预处理。这一步确保了数据的准确性和一致性，为后续的ETL转换打下基础。

数据转换与写入

  1. 主参数处理：

    • TENANT_ID：固定值为"7"。
    • PO_NUMBER：从源数据中获取。
    • closed_flag：根据金蝶关闭状态进行条件判断，如果状态为'B'，则设置为'Y'，否则为空。

  2. 扩展参数处理：

    • KINGDEE_CANCEL_STATUS 和 KINGDEE_CLOSED：分别处理金蝶取消状态和关闭状态，包含租户ID、采购订单号和属性名等信息。

  3. SQL语句配置：

    • 主SQL语句用于更新采购订单头表中的关闭标志： 
      update ty_mes.mt_po_header 
set closed_flag=:closed_flag
where PO_NUMBER=:PO_NUMBER and TENANT_ID=:TENANT_ID
    • 扩展SQL语句用于更新扩展属性表中的取消状态和关闭状态： 
      update ty_mes.mt_po_header_attr 
set ATTR_VALUE=:ATTR_VALUE
where PO_HEADER_ID=(select PO_HEADER_ID from ty_mes.mt_po_header where PO_NUMBER=:PO_NUMBER)
and TENANT_ID=:TENANT_ID 
and ATTR_NAME=:ATTR_NAME

API接口调用

通过POST方法将处理后的数据发送到MySQL API接口。以下是一个示例请求：

{
  ...
  // 请求主体内容
  ...
}

在请求中，我们需要确保所有字段都已正确映射，并且符合目标API接口的要求。特别要注意的是，所有动态值（如采购订单号、金蝶关闭状态等）都需要在实际调用时进行替换。

强制关联与模型构建

为了确保数据的一致性和完整性，我们启用了强制关联（enforcedAssociation）和模型构建（buildModel）。这两个选项确保了在整个ETL过程中，各个表之间的数据关系得以维护，并且所有操作都能顺利执行。

通过上述步骤，我们成功地将源平台的数据进行了ETL转换，并将其写入到目标MySQL平台。这不仅提升了数据处理的效率，还确保了业务流程的连续性和可靠性。 数据集成平台API接口配置

版权声明

该文章《ETL转换：使用轻易云将金蝶云星空数据写入MySQL的最佳实践》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

百威BEES系统与经销商ERP对接
更多系统对接方案