使用ETL转换技术将商品数据写入MySQL数据库

  • 轻易云集成顾问-黄宏棵

聚水潭数据集成到MySQL：实现商品信息的自动同步和新增

在本技术案例中，我们将详细介绍如何使用轻易云数据集成平台，实现聚水潭系统中的商品信息表（SKU）与BI虹盟系统中的MySQL数据库进行对接，并确保仅新增的数据进入目标表。此过程中，重点关注高效的数据写入、实时监控以及异常处理等关键技术点。

为了从聚水潭获取最新的商品信息，我们调用了其开放API接口 /open/sku/query，并通过定时调度任务确保数据能够准时抓取。同时，通过自定义的数据转换逻辑，使得采集到的数据格式化后可顺利匹配MySQL数据库的要求。尤其值得注意的是，在数据量较大的情况下，平台支持高吞吐量的数据写入能力，使得大量商品信息能够快速且一致地导入到目标系统中。

此外，为了保障整个集成过程的可靠性和平稳运行，我们结合了一些关键特性：

  1. 集中监控和告警： 集成任务全程都受到集中监控，一旦出现任何性能瓶颈或异常情况，告警机制会即时通知相关人员进行处理，以保证业务稳定进行。

  2. 批量数据写入： 使用MySQL提供的 batchexecute API，大大提升了大量数据一次性写入效率，并避免单条记录逐一插入可能带来的性能问题。

  3. 分页与限流策略： 针对聚水潭API返回的大批量数据，我们采用分页读取的方法，同时合理设置并发请求数以避开API访问限制，从而确保每次操作都能成功完成，不漏掉任何重要的信息。

通过这种方案设计，可以有效解决在实际应用场景下遇到的一系列挑战，无论是大型电商平台还是其他需要频繁更新商品库的信息化企业，都能借鉴这一实践经验，实现自己的业务需求。 系统集成平台API接口配置

调用聚水潭接口获取并加工数据的技术实现

在数据集成过程中，调用源系统接口是关键的第一步。本文将详细探讨如何通过轻易云数据集成平台调用聚水潭接口/open/sku/query，获取商品信息并进行初步加工。

接口调用配置

首先，我们需要配置元数据，以便正确调用聚水潭的API接口。以下是元数据配置的具体内容：

{
  "api": "/open/sku/query",
  "effect": "QUERY",
  "method": "POST",
  "number": "i_id",
  "id": "sku_id",
  "name": "name",
  "request": [
    {
      "field": "page_index",
      "label": "开始页",
      "type": "string",
      "describe": "第几页，从第一页开始，默认1",
      "value": "1"
    },
    {
      "field": "page_size",
      "label": "页行数",
      "type": "string",
      "describe": "每页多少条，默认30，最大50",
      "value": "50"
    },
    {
      "field": "modified_begin",
      "label": "修改开始时间",
      "type": "string",
      "describe": 
        {
          {"修改起始时间，和结束时间必须同时存在，时间间隔不能超过七天，与商品编码不能同时为空"},
          {"value":"{{LAST_SYNC_TIME|datetime}}"}
        }
    },
    {
      { 
        {"field":"modified_end"},
        {"label":"修改结束时间"},
        {"type":"string"},
        {"describe":"修改结束时间，和起始时间必须同时存在，时间间隔不能超过七天，与商品编码不能同时为空"},
        {"value":"{{CURRENT_TIME|datetime}}"}
     }
    },
    {
       { 
         {"field":"sku_ids"},
         {"label":"商品编码"},
         {"type":"string"},
         {"describe":"商品编码，与修改时间不能同时为空，最多20"}
       }
     }
   ],
   {{"delay",5}}
}

请求参数解析

  • page_index 和 page_size 用于分页控制。默认情况下，我们从第一页开始，每页获取50条记录。
  • modified_begin 和 modified_end 用于指定查询的时间范围。这两个参数必须同时存在，并且时间间隔不能超过七天。
  • sku_ids 是可选参数，用于指定特定商品编码进行查询。

数据请求与清洗

在轻易云平台上，通过配置上述元数据，我们可以发送POST请求到聚水潭接口以获取商品信息。以下是一个示例请求体：

{
  "page_index": 1,
  "page_size": 50,
  "{modified_begin}":"2023-01-01T00:00:00Z", 
  "{modified_end}":"2023-01-07T23:59:59Z"
}

响应结果可能包含多个字段，我们需要对这些字段进行清洗和转换，以便后续处理。例如：

{
  {
   {{"sku_id",12345}},
   {{"name","商品A"}},
   {{"price",100.0}},
   {{"stock",50}}
 }
}

数据转换与写入

在获取并清洗了数据之后，我们需要将其转换为目标系统所需的格式，并写入BI虹盟的商品信息表中。假设目标表结构如下：

CREATE TABLE bi_hongmeng_sku (
  sku_id INT PRIMARY KEY,
  name VARCHAR(255),
  price DECIMAL(10,2),
  stock INT
);

我们可以使用轻易云的数据转换功能，将源数据映射到目标表。例如：

INSERT INTO bi_hongmeng_sku (sku_id, name, price, stock)
VALUES (?, ?, ?, ?);

通过这种方式，我们实现了从聚水潭到BI虹盟的数据无缝对接。

延迟处理

为了确保数据的一致性和完整性，我们可以设置一个延迟参数（如5秒），以便在处理过程中有足够的缓冲时间。这在高并发场景下尤为重要。

综上所述，通过合理配置元数据和使用轻易云平台的强大功能，我们能够高效地调用聚水潭接口获取商品信息，并进行必要的数据清洗、转换和写入操作。这不仅提升了业务透明度和效率，也为后续的数据分析提供了坚实基础。 金蝶与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入MySQLAPI接口

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，使其符合目标平台MySQLAPI接口的接收格式，并最终写入目标平台。本文将详细探讨这一过程中的技术细节。

数据请求与清洗

首先，我们从源平台获取商品信息单的数据，并对其进行初步清洗和处理。这个过程主要包括数据的提取和初步过滤，以确保数据的完整性和一致性。以下是一个简单的数据请求示例：

{
  "api": "batchexecute",
  "effect": "EXECUTE",
  "method": "SQL",
  "idCheck": true,
  "request": [
    {"field":"sku_id","label":"商品编码","type":"string","value":"{sku_id}"},
    {"field":"i_id","label":"款式编码","type":"string","value":"{i_id}"},
    {"field":"name","label":"商品名称","type":"string","value":"{name}"},
    {"field":"short_name","label":"商品简称","type":"string","value":"{short_name}"},
    {"field":"sale_price","label":"销售价","type":"string","value":"{sale_price}"},
    {"field":"cost_price","label":"成本价","type":"string","value":"{cost_price}"},
    {"field":"properties_value","label":"颜色规格","type":"string","value":"{properties_value}"},
    {"field":"c_id","label":"类目id","type":"string","value":"{c_id}"},
    {"field":"category","label":"分类","type":"string","value":"{category}"},
    {"field":"pic_big","label":"大图地址","type":"string","value":"{pic_big}"},
    {"field":"pic","label":"图片地址","type":"string","value":"{pic}"},
    {"field":...}
  ],
  "otherRequest": [
    {
      "field": "main_sql",
      "label": "主语句",
      "describe": "111",
      "value": "INSERT INTO sku_query (sku_id,i_id,name,short_name,sale_price,cost_price,properties_value,c_id,category,pic_big,pic,enabled,weight,market_price,brand,supplier_id,supplier_name,modified,sku_code,supplier_sku_id,supplier_i_id,vc_name,sku_type,creator,created,remark,item_type,stock_disabled,unit,shelf_life,labels,production_licence,l,w,h,is_series_number,other_price_1,other_price_2,other_price_3,other_price_4,other_price_5,other_1,other_2,other_3,other_4,other_5,..."
    },
    {
      "field": "limit",
      "label": "limit",
      "value": "1000"
    }
  ]
}

数据转换

在完成数据请求与清洗后，下一步是将这些数据转换为目标平台所需的格式。这一步骤至关重要，因为不同系统之间的数据结构和字段可能存在差异。我们需要确保每个字段都正确映射并转换为目标系统能够识别和处理的格式。

在上述配置中，每个字段都有明确的映射关系。例如，sku_id 映射为 {sku_id}，name 映射为 {name}，依此类推。这些映射关系确保了源数据能够正确地转换为目标格式。

数据写入

最后一步是将转换后的数据写入目标平台。在我们的案例中，目标平台是MySQL数据库，通过API接口实现数据写入。以下是一个插入语句示例：

INSERT INTO sku_query (
  sku_id,
  i_id,
  name,
  short_name,
  sale_price,
  cost_price,
  properties_value,
  c_id,
  category,
  pic_big,
  pic,
  enabled,
  weight,
  market_price,
  brand,
  supplier_id,
  supplier_name,
  modified,
  sku_code,
  supplier_sku_id,
  supplier_i_id,
  vc_name,
  sku_type,
  creator,
  created,
  remark,
  item_type,
...
) VALUES (
...
);

每个字段都对应一个具体的值，这些值来源于前面的ETL转换步骤。例如，sku_id 对应 {sku_id} 的值，name 对应 {name} 的值。

通过这种方式，我们可以确保所有数据都能准确无误地写入到目标数据库中。此外，为了提高效率，我们可以使用批量插入操作，如配置中的 limit:1000 所示，这样可以一次性插入多条记录，从而减少API调用次数，提高整体性能。

实时监控与异常处理

为了保证整个过程的顺利进行，我们需要实时监控数据流动和处理状态。一旦出现异常情况（如网络故障、数据格式错误等），系统应及时报警并记录日志，以便后续排查和修复。这些措施能够极大提升业务的透明度和效率。

综上所述，通过轻易云数据集成平台，我们可以高效地完成从源平台到目标平台的数据ETL转换，并确保数据的准确性和一致性。 电商OMS与ERP系统接口开发配置

版权声明

该文章《调用聚水潭API实现商品数据的实时采集与加工》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案