ETL转换广东食品追溯平台数据集成细节

  • 轻易云集成顾问-林峰

MySQL数据集成到广东省特殊食品电子追溯平台案例分享：销售信息同步--外购上报流程2

在实际业务场景中，确保MySQL数据库中的销售信息能够及时、准确地同步到广东省特殊食品电子追溯平台，是一项至关重要的任务。本文将重点探讨如何利用轻易云数据集成平台高效完成这项工作。本次案例运行方案命名为“销售信息同步--外购上报流程2”，旨在借助先进的数据整合和监控技术，实现高效稳定的数据对接。

为了应对大规模数据写入需求，我们使用了轻易云提供的高吞吐量写入能力，使得大量销售信息能够快速且无遗漏地被集成到广东省特殊食品电子追溯平台。这不仅提升了信息处理的时效性，也提高了整体系统对突发流量的容忍度。

通过统一视图与控制台功能，我们实施了一系列API资产管理策略，使企业能够全面掌握MySQL接口（select）与追溯平台API（SaleDetailInfo）的使用情况。同时，为适应特定业务需求，配置自定义的数据转换逻辑，将不同格式的数据进行标准化处理，从而确保两者之间的数据兼容性。

面对可能出现的数据问题和异常情况，我们启用了集中监控和告警系统，实时跟踪每一个数据集成任务状态。一旦发现异常，通过预设的错误重试机制自动进行纠正，以保证整个流程无缝衔接，不错漏任何一条关键数据记录。此外，还采用定时抓取MySQL接口数据，并以批量方式将其可靠传输至追溯平台，有力保障了事务的一致性及服务质量。

从技术角度看，本案例展示的不仅是如何解决跨系统数据对接难题，同时也体现出丰富灵活的平台功能如实时监控日志记录、分页限流处理等。因此，这次成功实践不仅验证了配置元数据的重要性，更为今后的类似项目提供了宝贵经验。 金蝶与SCM系统接口开发配置

调用MySQL接口select获取并加工数据

在轻易云数据集成平台中，生命周期的第一步是调用源系统MySQL接口select获取并加工数据。本文将深入探讨如何通过配置元数据实现这一过程。

元数据配置解析

元数据配置是整个数据集成过程的核心部分，它定义了如何从MySQL数据库中提取数据。以下是关键的元数据配置项：

  • api: select
  • effect: QUERY
  • method: POST
  • number: fbill_no
  • id: fentry_id

这些基本配置项定义了API的类型、作用、请求方法以及标识字段。

请求参数配置

请求参数主要包括主参数和其他请求参数，具体如下：

  1. 主参数（main_params）

    主参数包含了用于SQL查询的必要信息：

    {
   "field": "main_params",
   "label": "主参数",
   "type": "object",
   "describe": "对应其它请求字段内SQL语句的主参数，必须一一对应。",
   "value": "1",
   "children": [
       {
           "field": "limit",
           "label": "限制结果集返回的行数",
           "type": "int",
           "describe": "必要的参数！LIMIT 子句用于限制查询结果返回的行数。",
           "value": "{PAGINATION_PAGE_SIZE}"
       },
       {
           "field": "offset",
           "label": "偏移量",
           "type": "int",
           "describe": "OFFSET 子句用于指定查询结果的起始位置或偏移量。",
           "value": "{PAGINATION_START_ROW}"
       },
       {
           "field": "last_time",
           "label": "上次同步时间",
           "type": "string",
           "value": "{{LAST_SYNC_TIME|datetime}}"
       }
   ]
}

  2. 其他请求参数（otherRequest）

    其他请求参数定义了主SQL语句，并使用动态语法字段进行优化：

    {
   "field": "main_sql",
   "label": "主SQL语句",
   "type": "string",
   ...
   ...
   ...
   ...
   ...
}

SQL查询语句优化

为了提高查询语句的可读性和维护性，我们采用了占位符和参数绑定的方法。以下是具体步骤：

  1. 将主SQL查询语句中的动态字段:limit替换为占位符?。
  2. 在执行查询之前，使用参数绑定的方法，将请求参数的值与占位符进行对应绑定。

例如，原始SQL语句如下：

SELECT xsck_and_fbsdc.* 
FROM xsck_and_fbsdc 
WHERE xsck_and_fbsdc.fsend_flag = '发送' 
AND xsck_and_fbsdc.fmaterialId_f_nsb_sccj NOT LIKE '%纽斯葆广赛%' 
AND xsck_and_fbsdc.fmaterialId_f_nsb_sccj IS NOT NULL 
AND xsck_and_fbsdc.fmaterialId_f_nsb_sccj <> '' 
AND xsck_and_fbsdc.created_at >= :last_time 
LIMIT :limit OFFSET :offset

优化后的SQL语句为：

SELECT xsck_and_fbsdc.* 
FROM xsck_and_fbsdc 
WHERE xsck_and_fbsdc.fsend_flag = '发送' 
AND xsck_and_fbsdc.fmaterialId_f_nsb_sccj NOT LIKE '%纽斯葆广赛%' 
AND xsck_and_fbsdc.fmaterialId_f_nsb_sccj IS NOT NULL 
AND xsck_and_fbsdc.fmaterialId_f_nsb_sccj <> '' 
AND xsck_and_fbsdc.created_at >= ? 
LIMIT ? OFFSET ?

在执行时，将实际值绑定到这些占位符上，从而确保查询的准确性和安全性。

数据处理与返回

通过上述配置和优化后，系统能够高效地从MySQL数据库中提取所需的数据，并进行相应的处理。这一步骤不仅确保了数据提取的准确性，还为后续的数据转换与写入奠定了坚实基础。

以上内容详细介绍了如何通过轻易云数据集成平台调用MySQL接口select获取并加工数据，并对关键技术细节进行了深入探讨。 数据集成平台可视化配置API接口

轻易云数据集成平台ETL转换至广东省特殊食品电子追溯平台API接口

在数据集成生命周期的第二步中，我们将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，转为目标平台广东省特殊食品电子追溯平台API接口所能够接收的格式，并最终写入目标平台。本文将详细探讨这一过程中的技术细节和实现方法。

元数据配置解析

首先，我们需要理解元数据配置中的各个字段及其含义。以下是我们需要处理的数据结构：

{
  "api": "SaleDetailInfo",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "DOCUMENTID",
      "label": "文档唯一标识号",
      "type": "string",
      "value": "_function CONCAT('{fbill_no}-{flot}-{fentry_id}', FLOOR(RAND() * 10001))"
    },
    {
      "field": "dataset",
      "label": "数据集",
      "type": "array",
      "children": [
        {"field": "saleNumber", "label": "销售单号", "type": "string", "describe":"格式 ：yyyy-mm-dd", 
         "value":"_function CONCAT('{fbill_no}', FLOOR(RAND() * 10001))", 
         "parent":"dataset"},
        {"field": "saleDate", 
         "label": "销售日期", 
         "type":"string", 
         "value":"{fdate}", 
         "parent":"dataset"},
        {"field": 
         ...
        }
      ]
    }
  ]
}

数据提取与转换

  1. 文档唯一标识号生成：

    • DOCUMENTID字段通过函数生成，使用CONCAT函数将{fbill_no}, {flot}, {fentry_id}以及一个随机数拼接在一起，确保唯一性。 
      DOCUMENTID = CONCAT(fbill_no, '-', flot, '-', fentry_id, FLOOR(RAND() * 10001))

  2. 销售单号生成：

    • saleNumber字段同样通过CONCAT函数生成，拼接{fbill_no}和一个随机数。 
      saleNumber = CONCAT(fbill_no, FLOOR(RAND() * 10001))

  3. 销售日期：

    • saleDate直接映射源数据中的{fdate}字段。 
      saleDate = fdate

  4. 购货企业许可证编号：

    • purchaseEnterprisePermitNumber映射源数据中的{fcustid_fnsbtext5}字段。 
      purchaseEnterprisePermitNumber = fcustid_fnsbtext5

  5. 购货企业名称：

    • purchaseEnterpriseName映射源数据中的{fcustid_fname}字段。 
      purchaseEnterpriseName = fcustid_fname

  6. 产品条形码：

    • productBarCode映射源数据中的{f_app_base_property}字段。 
      productBarCode = f_app_base_property

  7. 生产批号：

    • batch映射源数据中的{flot}字段。 
      batch = flot

  8. 销售数量：

    • total映射源数据中的{fqty}字段。 
      total = fqty

  9. 生产日期：

    • produceDate映射源数据中的{fproduce_date}字段。 
      produceDate = fproduce_date

  10. 计量单位：

    • packUnitName映射源数据中的{funitid_name}字段。 
      packUnitName = funitid_name

  11. 箱码和追溯码：

    • boxCode, traceCode: 默认值为“isNull”。 
      boxCode = isNull;
traceCode = isNull;

数据写入目标平台

在完成上述ETL转换后，我们需要将处理好的数据通过POST请求写入广东省特殊食品电子追溯平台的API接口。具体步骤如下：

  1. 构建请求体: 
    {
"DOCUMENTID": "<generated_document_id>",
...
}
  2. 发送HTTP POST请求: 
    
POST /SaleDetailInfo HTTP/1.1
Host: target_platform_api_endpoint
Content-Type: application/json

{ ... }


3. **处理响应结果**:
根据API接口返回的结果进行相应的处理，如记录日志、错误处理等。

通过上述步骤，我们成功地将从源平台提取的数据经过ETL转换后写入到目标平台，实现了不同系统间的数据无缝对接。这不仅提升了业务流程的透明度和效率，也确保了数据的一致性和完整性。
![电商OMS与WMS系统接口开发配置](https://pic.qeasy.cloud/T19.png~tplv-syqr462i7n-qeasy.image)
版权声明

该文章《ETL转换广东食品追溯平台数据集成细节》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云企业AIGC应用
更多系统对接方案