使用轻易云平台进行ETL转换与金蝶云对接

  • 轻易云集成顾问-贺强

吉客云与金蝶云星空的数据集成案例分享：仓库方案-I0141

在本技术案例中，我们将深入探讨如何通过轻易云数据集成平台实现吉客云的数据高效对接到金蝶云星空，具体实施的方案为仓库方案-I0141。这个过程中，重点关注API接口调用、数据转换逻辑以及异常处理机制。

吉客云数据获取

为了从吉客云中提取所需的仓库数据，我们使用了生命周期管理中的关键环节——API接口erp.warehouse.get。该接口允许根据特定筛选条件批量获取仓库信息，并确保每次请求数据不漏单。在实际操作中，我们需要克服分页和限流问题，以保证大规模数据调度的稳定性和高效性。

实时监控与日志记录

整个集成过程由轻易云提供的集中监控系统进行全程追踪，包括任务状态、性能指标及异常情况。这种透明化机制不仅可以及时发现并处理潜在问题，还能通过详尽的日志记录，为后续分析和优化提供依据。

自定义数据转换逻辑

由于吉客云与金蝶云星空的数据结构存在差异，我们采用了轻易云支持的数据转换功能，对受检后的原始数据进行标准化处理。例如，通过自定义映射规则，将吉客云字段转化为符合金蝶 云 星 空要求 的 格式，从 而 保 证 数 据 写 入 无 缝 对 接。

大量 数据 快速写入 金 蝶 云 星空

对于 大 量 获 得 的 仓 库 数 据 ， 我们 通 过 batchSave 接口 将其快速传递至 金 氏 云 星空 。 此时 的 高 吞吐量 写入 能力 发 挥着 至关重要 的作用，有 效 提 升 数据 写 入 速度 和 准 确 性 。

后文将更详细地介绍各个步骤中的具体配置及代码示例，并探讨项目实施过程中遇到的问题及解决方法。 电商OMS与WMS系统接口开发配置

调用吉客云接口erp.warehouse.get获取并加工数据

在数据集成生命周期的第一步中，调用源系统接口是至关重要的一环。本文将详细探讨如何通过轻易云数据集成平台调用吉客云的erp.warehouse.get接口来获取仓库数据，并进行初步的数据加工。

接口配置与请求参数

根据元数据配置，erp.warehouse.get接口的调用方式为POST请求，主要用于查询仓库信息。以下是具体的请求参数配置：

  • 页码 (pageIndex): 用于分页查询，类型为字符串。
  • 页大小 (pageSize): 每页返回的数据条数，类型为字符串，默认值为50。
  • 起始开始时间 (gmtModifiedStart): 查询的起始修改时间，类型为字符串，使用占位符{{LAST_SYNC_TIME|datetime}}表示上次同步时间。
  • 结束修改时间 (gmtModifiedEnd): 查询的结束修改时间，类型为字符串，使用占位符{{CURRENT_TIME|datetime}}表示当前时间。

这些参数确保了我们能够获取到最新的仓库信息，并且支持分页处理以应对大数据量场景。

请求示例

以下是一个具体的请求示例，用于获取第一页的数据：

{
  "pageIndex": "1",
  "pageSize": "50",
  "gmtModifiedStart": "{{LAST_SYNC_TIME|datetime}}",
  "gmtModifiedEnd": "{{CURRENT_TIME|datetime}}"
}

数据过滤条件

为了确保获取的数据符合业务需求，我们在元数据配置中定义了过滤条件：

  • condition_bk 和 condition 均设置了 isBlockup 字段必须等于0。这意味着我们只获取未被封存的仓库信息。

具体的过滤条件如下：

"condition_bk": [[{"field":"isBlockup","logic":"ieqv2","value":"0"}]],
"condition": [[{"field":"isBlockup","logic":"eqv2","value":"0"}]]

数据加工与自动填充

在数据获取后，我们需要对数据进行初步加工。轻易云平台提供了自动填充响应功能 (autoFillResponse: true)，这意味着平台会自动处理并填充响应数据到目标系统中，无需手动干预。

此外，根据元数据配置中的 number 和 idCheck 字段，我们可以确定每条记录的唯一标识符为 warehouseCode。这对于后续的数据去重和更新操作非常重要。

实际应用案例

假设我们需要同步吉客云中的仓库信息到我们的目标系统中。首先，通过上述配置和请求参数，我们可以成功调用 erp.warehouse.get 接口并获取到所需的数据。然后，通过轻易云平台的自动填充功能，这些数据会被无缝地写入到目标系统中。

例如，在一次实际操作中，我们设置了同步任务，每小时调用一次 erp.warehouse.get 接口，并通过分页机制逐步获取所有未封存的仓库信息。在每次调用后，平台会根据 warehouseCode 进行去重和更新操作，确保目标系统中的仓库信息始终保持最新状态。

这种全异步、透明化的数据处理方式，不仅提高了业务效率，还大大降低了人工干预和错误率，为企业的数据管理提供了强有力的支持。

通过以上技术案例，可以看出在轻易云数据集成平台上调用吉客云接口进行数据获取和加工，是一个高效且可靠的解决方案。 如何对接金蝶云星空API接口

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步中，我们将已经集成的源平台数据进行ETL转换，转为目标平台金蝶云星空API接口所能够接收的格式，并最终写入目标平台。本文将详细探讨如何使用轻易云数据集成平台配置元数据，实现这一过程。

配置元数据以适配金蝶云星空API接口

为了将源平台的数据转换为金蝶云星空API接口所能接收的格式，我们需要配置相应的元数据。以下是具体的元数据配置：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field":"FName","label":"仓库名称","type":"string","value":"{warehouseName}"},
    {"field":"FNumber","label":"编码","type":"string","value":"{warehouseCode}"},
    {"field":"FStockProperty","label":"仓库属性","type":"string","value":"1"},
    {"field":"FCreateOrgId","label":"FCreateOrgId","type":"string","value":"I0141","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field":"FUseOrgId","label":"FUseOrgId","type":"string","value":"I0141","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field":"FAllowMinusQty","label":"允许即时库存","type":"string","value":"true"}
  ],
  "otherRequest": [
    {"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "BD_STOCK"},
    {"field": "Operation", "label": "执行的操作", "type": "string", "describe": "执行的操作", "value": "BatchSave"},
    {"field": "IsAutoSubmitAndAudit", "label": "提交并审核", "type": "bool", "describe": "提交并审核", "value": true},
    {"field": "IsVerifyBaseDataField", "label": "验证基础资料", "type": "bool", "describe": "是否验证所有的基础资料有效性，布尔类，默认false（非必录）", "value": true}
  ],
  "operation":{"method":"batchArraySave","rows":1,"rowsKey":"array"}
}

数据请求与清洗

在开始ETL转换之前，我们首先需要从源平台请求并清洗数据。假设我们从一个仓库管理系统中获取了以下数据：

{
  "warehouseName": ["仓库A", "仓库B"],
  "warehouseCode": ["WH001", "WH002"]
}

这些数据需要通过轻易云的数据请求模块进行获取和初步清洗，以确保其符合后续处理要求。

数据转换与写入

接下来，我们使用上述元数据配置，将清洗后的源平台数据转换为金蝶云星空API接口所能接收的格式，并通过POST方法写入目标平台。具体步骤如下：

  1. 字段映射：根据元数据配置，将源平台的数据字段映射到金蝶云星空API接口所需的字段。例如，将warehouseName映射到FName，将warehouseCode映射到FNumber。

  2. 固定值设置：某些字段需要设置固定值，例如FStockProperty设置为"1"，表示仓库属性；FAllowMinusQty设置为"true"，表示允许即时库存。

  3. 解析器应用：对于一些特殊字段，如FCreateOrgId和FUseOrgId，我们使用了名为“ConvertObjectParser”的解析器，并传递参数“FNumber”，以确保这些字段能够正确解析和转换。

  4. 其他请求参数：我们还需要设置一些其他请求参数，例如业务对象表单ID（FormId）设置为"BD_STOCK"，执行操作（Operation）设置为"BatchSave"，以及自动提交并审核（IsAutoSubmitAndAudit）和验证基础资料（IsVerifyBaseDataField）的布尔值。

  5. 批量保存操作：最后，通过调用元数据中的批量保存方法（batchArraySave），将处理后的数据以数组形式批量写入金蝶云星空系统。

实际调用示例

以下是一个实际调用示例，通过POST方法向金蝶云星空API接口发送处理后的JSON数据：

{
  "_method_": {
    "_name_": "/k3cloud/batchSave",
    "_effect_": {
      "_execute_":{
        "_method_":["POST"]
      }
    }
  },
  "_data_":[
    {
      "_fields_":{
        "_array_":[
          {
            "_rowsKey_":["array"],
            "_rows_":[
              {
                "_data_":{
                  "_name_":["仓库A"],
                  "_code_":["WH001"],
                  "_property_":["1"],
                  "_createOrgId_":["I0141"],
                  "_useOrgId_":["I0141"],
                  "_allowMinusQty_":["true"]
                }
              },
              {
                "_data_":{
                  "_name_":["仓库B"],
                  "_code_":["WH002"],
                  "_property_":["1"],
                  "_createOrgId_":["I0141"],
                  "_useOrgId_":["I0141"],
                  "_allowMinusQty_":["true"]
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

通过以上步骤和配置，我们成功实现了从源平台到金蝶云星空系统的数据ETL转换和写入。这不仅确保了不同系统间的数据无缝对接，还极大提升了业务流程的透明度和效率。 如何开发企业微信API接口

版权声明

该文章《使用轻易云平台进行ETL转换与金蝶云对接》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案