ETL转换与金蝶云星空API对接的技术细节解析

  • 轻易云集成顾问-卢剑航

案例分享：金蝶云星空退款对账导入对接应收单

在现代企业的财务管理中，数据实时同步和准确性是至关重要的。本文将解析一个实际运行方案：(退款)对账导入对接金蝶应收单，具体探讨如何通过高效的数据集成手段实现这一目标。本案例采用了轻易云数据集成平台，对接两个金蝶云星空系统，重点展示API调用、批量数据处理和异常处理机制。

一、技术概述及背景

本次集成任务涉及两个主要模块：

  1. 执行查询金蝶云星空获取数据 API: executeBillQuery
  2. 写入数据到金蝶云星空 API: batchSave

在此项目中，我们需要从第一个金蝶云星空系统抓取退款相关的流水记录，并将这些记录转换并写入第二个金蝶云星空系统中的应收单。对于这种跨系统的数据迁移，不仅要求精确无误，还需要考虑到接口限制、分页处理以及异常重试等一系列细节问题。

二、端到端解决方案关键点

  1. 高吞吐量的数据传输能力 我们设计了一套能支持高吞吐量数据写入的架构，使得大量退款记录能够迅速、高效地被集成进目标系统。这方面利用了batchSave API进行批量操作，从而大幅度提升了整体处理速度。

  2. 集中监控与告警体系 集成过程伴随实时监控功能，通过可视化界面的集中状态追踪和性能评估，一旦出现任何异常情况，可以立即触发告警机制进行响应。这个功能有效确保整个流程透明可控，大大减少人工干预需求。

  3. 自定义数据转换逻辑 由于源头数据库结构与目标数据库之间存在一定差异，我们定制开发了一套专属的数据映射逻辑。在抓取完成后即刻展开，如涵盖字段适配、格式调整等，以使其完全契合目标环境标准。

  4. 可靠的分页与限流控制策略 针对此过程中常见的大规模数据操作，我们必须充分考虑API调用上的限制，包括请求频率和返回条目数量。因此，在executeBillQuery 接口使用上高度依赖已设置好的分页参数。此外，通过合理配置限流器来平衡负荷，避免冲击服务器资源造成的不稳定性。

  5. 严格的数据质量监控与错误重试机制 在多步验证程序基础之上，每笔交易经过严格校验检测。如果遇到任何潜在错误或网络波动导致失败，则及时启用重试机制。同时详细日志 如何开发用友BIP接口

    使用轻易云数据集成平台调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成过程中，调用源系统的API接口是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台的元数据配置，通过调用金蝶云星空的executeBillQuery接口来获取并加工数据。

接口配置与调用

首先，我们需要了解executeBillQuery接口的基本配置。根据提供的元数据配置，以下是该接口的主要参数：

  • API: executeBillQuery
  • Method: POST
  • Effect: QUERY
  • Request Fields: 包含多个字段，如FID, FEntity_FEntryID, FBillNo, FDocumentStatus等。

这些字段用于构建请求体，以便从金蝶云星空系统中查询所需的数据。

请求参数详解

在构建请求时，需要特别注意以下几个关键字段：

  1. FID: 唯一标识符，用于标识每一条记录。
  2. FEntity_FEntryID: 实体条目ID，对应具体的订单条目。
  3. FBillNo: 单据编号，用于唯一标识一个单据。
  4. FDocumentStatus: 单据状态，值可以是Z（暂存）、A（创建）、B（审核中）、C（已审核）。
  5. F_PBLH_BillTypeID_qtr.FNumber: 单据类型，例如CGDD01_SYS表示标准采购订单。

此外，还有一些其他重要字段如店铺编码、货品编号、应收金额等，这些字段在实际业务场景中可能会用到。

构建请求体

根据元数据配置，我们可以构建如下的请求体：

{
  "FormId": "PBLH_WDTDZJG",
  "FieldKeys": "FID,FEntity_FEntryID,FBillNo,FDocumentStatus,F_PBLH_BillTypeID_qtr.FNumber,F_PBLH_shop_no.FNumber,F_PBLH_spec_no.FNumber,F_PBLH_goods_count,F_PBLH_receivable,FDate",
  "FilterString": "FApproveDate>='{{LAST_SYNC_TIME|datetime}}' and F_PBLH_BillTypeID_qtr.FNumber='TKDZ'",
  "Limit": 2000,
  "StartRow": 0,
  "TopRowCount": true
}

在这个请求体中：

  • FormId指定了业务对象表单Id。
  • FieldKeys列出了需要查询的字段集合。
  • FilterString用于过滤条件，例如只查询审批日期大于上次同步时间且单据类型为退款对账单的数据。
  • Limit和StartRow用于分页控制。

数据处理与清洗

获取到数据后，需要对其进行清洗和转换，以便后续处理。轻易云平台提供了自动填充响应（autoFillResponse）功能，可以自动将响应中的数据映射到目标模型中。这一步骤极大简化了开发工作量，并确保了数据的一致性和完整性。

例如，对于应收单日期（FDate）字段，可以通过以下方式进行格式化处理：

{
  "field": "FDate",
  "label": "应收单日期",
  "type": "string",
  "value": "{{FDate|date('Y-m-d')}}"
}

这种方式确保了日期格式的一致性，便于后续的数据分析和处理。

异常处理与监控

在实际操作中，可能会遇到各种异常情况，如网络超时、接口返回错误等。轻易云平台提供了完善的监控和日志功能，可以实时监控数据流动和处理状态。一旦发生异常，可以及时告警并采取相应措施，确保数据集成过程的稳定性和可靠性。

通过以上步骤，我们可以高效地调用金蝶云星空接口获取所需的数据，并进行必要的清洗和转换，为后续的数据处理打下坚实基础。 如何对接钉钉API接口

轻易云数据集成平台ETL转换与金蝶云星空API接口对接

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，转为目标平台金蝶云星空API接口所能够接收的格式，并最终写入目标平台。以下是详细的技术实现过程。

API接口配置与元数据解析

我们使用的API接口为batchSave，通过POST方法执行。该接口需要验证基础资料的有效性，并自动提交和审核。元数据配置如下：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "groupCalculate": {
    "headerGroup": ["FDate", "F_PBLH_shop_no_FNumber", "F_PBLH_consign_time", "F_PBLH_shop_no_F_PBLH_custno"],
    "bodyGroup": ["F_PBLH_spec_no_FNumber"],
    "bodyName": "list",
    "calculate": {
      "F_PBLH_goods_count": "$sum",
      "F_PBLH_single_allamount": "$sum"
    }
  },
  ...
}

数据字段映射与转换

  1. 单据类型：固定值为YSD01_SYS，表示标准应收单。
  2. 单据编号：从源数据中直接获取。
  3. 业务日期：映射为{FDate}。
  4. 结算组织、客户、销售组织、收款组织：通过MongoDB查询转换，具体查询条件如下： 
    "_mongoQuery f3b55dc4-44d0-3a14-a28f-c372d39e70cc findField=content.FSaleOrgId_FNumber where={\"content.FNumber\":{\"$eq\":\"{F_PBLH_shop_no_FNumber}\"}}"
  5. 币别：固定值为PRE001。
  6. 来源系统：固定值为旺店通。

明细字段处理

明细字段包括物料编码、计价数量和含税单价：

  1. 物料编码：映射为{{list.F_PBLH_spec_no_FNumber}}。
  2. 计价数量：通过函数计算得到，公式为： 
    "_function round({{list.F_PBLH_goods_count}}*-1,4)"
  3. 含税单价：通过函数计算得到，公式为： 
    "_function round({{list.F_PBLH_single_allamount}}/{{list.F_PBLH_goods_count}},6)"

表头财务信息

表头财务信息包括本位币，固定值为PRE001。

最终请求结构

综合以上配置，我们构建出最终请求结构如下：

{
  "FormId": "AR_receivable",
  "Operation": "BatchSave",
  "IsAutoSubmitAndAudit": true,
  "IsVerifyBaseDataField": true,
  ...
}

实际操作步骤

  1. 数据请求与清洗：从源平台获取原始数据，并进行必要的数据清洗和预处理。
  2. 数据转换与写入：
    • 使用元数据配置进行字段映射和转换。
    • 构建符合金蝶云星空API接口要求的数据结构。
    • 调用API接口，将转换后的数据写入目标平台。

在整个过程中，我们确保每一步操作都透明可视化，并实时监控数据流动和处理状态，以保证业务的高效运行和准确性。 钉钉与ERP系统接口开发配置

版权声明

该文章《ETL转换与金蝶云星空API对接的技术细节解析》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

百威BEES系统与经销商ERP对接
更多系统对接方案