轻易云平台ETL转换及金蝶云星空API写入方法

  • 轻易云集成顾问-吕修远

MySQL数据集成到金蝶云星空的技术案例分享：MOM-ZJDB-入库直接调拨单

在本次技术案例中，我们探讨如何将MySQL中的数据高效地集成到金蝶云星空，并确保整个过程的准确性和实时性。项目具体名称为"MOM-ZJDB-入库直接调拨单"。

数据接口与处理流程概述

为了实现从MySQL到金蝶云星空的数据无缝对接，我们主要利用了两个关键API：

  1. MySQL获取数据API: select
  2. 金蝶云星空写入数据API: batchSave

通过这两个接口，我们能够有效抓取并导出需要的数据，同时保证大规模的数据流动顺畅无阻。

高吞吐量的数据写入能力

为了应对大批量数据的快速转移，系统支持高吞吐量的数据写入能力。这不仅保证了大量数据能够迅速被导出和解析，还极大提升了整体业务处理时效性。在此过程中，轻易云平台提供的可视化操作界面，使得每个步骤都清晰透明，便于监控和管理。

实时监控与告警机制

在实施过程中，由于涉及多个环节和不同类型的数据处理任务，实现全程实时监控显得尤为重要。我们利用集中式监控和告警系统，对每一项任务进行跟踪反馈。这不仅帮助及时发现异常状况，也有助于在问题发生前预防潜在风险，提高系统稳定性。

自定义转换逻辑与格式差异处理

面对MySQL与金蝶云星空之间存在的问题之一是两者在数据结构上的差异。针对这一点，本方案采取了自定义数据转换逻辑，以适应特定业务需求。例如，通过映射匹配字段、格式调整等方式，使得源端与目的端的数据完全兼容。此外，还特别关注分页请求及限流问题，从而保障系统稳定运行，不因流量波动而出现资源瓶颈或故障现象。

综上所述，通过精心设计的一整套技术方案以及详尽周密的操作流程，我们成功实现了MySQL到金蝶云星空的大规模、高效、可靠的数据集成。在后续部分将详细解剖各组件模块，以及实际操作中的注意事项和最佳实践技巧。 打通用友BIP数据接口

使用轻易云数据集成平台调用MySQL接口获取并加工数据

在数据集成过程中，调用源系统的API接口获取数据是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台，通过调用MySQL接口select来获取并加工数据。

元数据配置解析

首先，我们来看一下元数据配置中的关键部分：

{
  "api": "select",
  "effect": "QUERY",
  "method": "POST",
  "id": "sourceid",
  "request": [
    {
      "field": "main_params",
      "label": "主参数",
      "type": "object",
      "describe": "对应其它请求字段内SQL语句的主参数，必须一一对应。",
      "value": "1",
      "children": [
        {
          "field": "limit",
          "label": "限制结果集返回的行数",
          "type": "int",
          "describe": "必要的参数！LIMIT 子句用于限制查询结果返回的行数。它指定了查询应该返回的最大行数。例如，LIMIT 10 表示查询结果只包含最多 10 行数据。这对于分页查询非常有用，可以在每次查询中返回一定数量的结果。",
          "value": "{PAGINATION_PAGE_SIZE}"
        },
        {
          "field": "offset",
          "label": "偏移量",
          "type": "int",
          "describe": "OFFSET 子句用于指定查询结果的起始位置或偏移量。它表示查询应该从结果集的哪一行开始返回数据。例如，OFFSET 20 表示查询应该从结果集的第 21 行开始返回数据。结合 LIMIT 子句使用时，OFFSET 指定了查询结果的起始行数。",
          "value": "{PAGINATION_START_ROW}"
        }
      ]
    }
  ],
  ...
}

配置主SQL语句

主SQL语句如下：

select
t1.iface_id as sourceid,
CONCAT(t1.instruction_doc_num, '_', t1.instruction_doc_line_num, '_', t1.iface_id) as '单据编号',
ifnull((select aft_quiet_time from ty_mes.mt_account_period where t1.account_date < aft_quiet_time order by account_period_id desc limit 1), t1.account_date) as '单据日期',
t1.erp_doc_type_id as '单据类型',
t1.transfer_biz_type as '调拨类型',
t1.transfer_direct as '调拨方向',
t1.stock_out_orgid as '调出库存组织',
t1.stock_org_id as '调入库存组织',
t1.owner_type_out_id_head as '调出货主类型',
t1.owner_type_id_head as '调入货主类型',
t1.erp_material_id as '明细物料编码',
t1.erp_from_locator_id as '明细调出仓库',
t1.erp_to_locator_id as '明细调入仓库',
t1.erp_unit_id as '明细单位',
t1.quantity as '明细调拨数量',
t1.base_unit_id as '明细基本单位',
t1.owner_type_out_id as '明细调出货主类型',
t1.owner_out_id as '明细调出货主',
t1.owner_type_id as '明细调入货主类型',
t1.owner_id as '明细调入货主',
t1.keeper_type_out_id as '明细调出保管者类型',
t1.keeper_out_id as '明细调出保管者',
t1.keeper_type_id as '明细调入保管者类型',
t1.keeper_id as '明细调入保管者',
t1.mto_no as '明细计划跟踪号',
t1.attribute1 as '明细批号'
from ty_mes.wms_picking_result_iface t1
where t1.instruction_doc_type = 'PRODUCT_COMPLETE_DOC'
and t1.`STATUS` in ('N', 'E')
and t1.return_order = 1
limit :limit offset :offset

参数绑定与优化

为了确保SQL语句中的动态字段与请求参数一一对应，我们采用参数绑定的方法：

  • 将SQL语句中的:limit和:offset替换为占位符（例如 ?）。
  • 在执行查询之前，将请求参数值与占位符进行绑定。

这样可以提高查询语句的可读性和维护性，并确保动态字段与请求参数正确对应。

实际操作步骤

步骤一：定义请求参数

在轻易云平台中，我们需要定义请求参数，例如分页大小和起始行数：

{
  field: ":limit",
  value: "{PAGINATION_PAGE_SIZE}"
},
{
  field: ":offset",
  value: "{PAGINATION_START_ROW}"
}

步骤二：构建SQL查询

使用上述定义好的请求参数构建最终执行的SQL查询：

SELECT 
...
FROM ty_mes.wms_picking_result_iface t1 
WHERE 
...
LIMIT ? OFFSET ?

步骤三：执行查询并处理结果

通过轻易云平台提供的接口执行上述构建好的SQL查询，并将结果进行处理。由于平台支持全异步操作，因此可以高效地处理大规模的数据请求。

数据清洗与转换

在获取到原始数据后，我们可能需要对其进行清洗和转换，以满足业务需求。例如，可以对日期格式进行转换，对字符串进行拼接等操作。这些操作可以通过轻易云平台提供的数据处理工具来实现。

通过以上步骤，我们成功地调用了MySQL接口获取并加工了所需的数据。这不仅提高了数据处理效率，还确保了数据的一致性和准确性。 用友与外部系统接口集成开发

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是关键的一步。本文将详细探讨如何使用轻易云数据集成平台将源平台的数据进行ETL转换，并通过金蝶云星空API接口将数据写入目标平台。

数据请求与清洗

首先，我们需要从源平台获取原始数据，并对其进行清洗和预处理。这一步骤确保了数据的准确性和一致性，为后续的转换和写入奠定基础。

数据转换与写入

接下来，我们重点关注如何将清洗后的数据转换为金蝶云星空API接口能够接收的格式，并最终写入目标平台。以下是具体的实现步骤：

1. 配置元数据

根据提供的元数据配置，我们需要定义每个字段的映射关系和类型。以下是部分关键字段的配置示例：

{
    "field": "FBillNo",
    "label": "单据编号",
    "type": "string",
    "describe": "单据编号",
    "value": "{{单据编号}}"
},
{
    "field": "FBillTypeID",
    "label": "单据类型",
    "type": "string",
    "describe": "单据类型",
    "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
    },
    "value": "{{单据类型}}"
},
{
    "field": "FTransferDirect",
    "label": "调拨方向",
    "type": "string",
    "describe": "下拉列表",
    "value": "{{调拨方向}}"
}

上述配置中，FBillNo、FBillTypeID 和 FTransferDirect 分别对应单据编号、单据类型和调拨方向。我们使用模板变量（如 {{单据编号}}）来动态填充这些字段。

2. 数据解析与转换

为了确保数据能够正确地被金蝶云星空API接收，我们需要使用特定的解析器对某些字段进行转换。例如，FBillTypeID 字段使用了 ConvertObjectParser 解析器，将源数据中的值转换为目标系统所需的格式：

{
    "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
    }
}

类似地，对于组织、货主等基础资料字段，我们也需要进行相应的解析和转换：

{
    "field": "FSaleOrgId",
    "label": "销售组织",
    "type": "string",
    ...
}
3. 构建请求体

在完成所有字段的配置和解析后，我们需要构建最终的请求体，以便通过API接口提交给金蝶云星空。以下是一个完整的请求体示例：

{
  ...
  {
      field: 'FormId',
      label: '业务对象表单Id',
      type: 'string',
      describe: '必须填写金蝶的表单ID如:PUR_PurchaseOrder',
      value: 'STK_TransferDirect'
  },
  {
      field: 'IsAutoSubmitAndAudit',
      label: '提交并审核',
      type: 'bool',
      describe: '提交并审核',
      value: true
  },
  {
      field: 'IsVerifyBaseDataField',
      label: '验证基础资料',
      type: 'bool',
      describe: '是否验证所有的基础资料有效性，布尔类，默认false（非必录）',
      value: true
  },
  ...
}

该请求体包含了所有必要的信息，包括表单ID、是否自动提交审核、是否验证基础资料等。

4. 调用API接口

最后，通过HTTP POST方法将构建好的请求体提交给金蝶云星空API接口：

{
   api: 'batchSave',
   effect: 'EXECUTE',
   method: 'POST'
}

确保在调用过程中处理好可能出现的错误，并根据返回结果进行相应处理。

总结

通过以上步骤，我们成功地实现了从源平台到金蝶云星空目标平台的数据ETL转换和写入。在实际操作中，需要根据具体业务需求灵活调整配置，以确保数据集成过程高效且无误。 电商OMS与WMS系统接口开发配置

版权声明

该文章《轻易云平台ETL转换及金蝶云星空API写入方法》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案