轻易云平台实现ETL转换并写入MySQL的全流程解析

2022-11-20 05:10:34
轻易云集成顾问-姚缘

聚水潭·奇门数据集成到MySQL的技术案例分享

在实现复杂系统对接和数据集成过程中，聚水潭·奇门的数据整合成为许多企业关注的重要课题。此次分享的案例中，我们通过一个名为“聚水潭-销售订单-->BI彩度-销售订单表_原始查询”的方案，将聚水潭·奇门系统中的销售订单数据成功集成到MySQL数据库。这一过程主要涉及API接口调用、数据格式转换、分页与限流管理以及异常处理，其核心目标是保障高效、准确的数据传输。

首先，通过调用jushuitan.order.list.query接口，我们定时可靠地抓取来自聚水潭·奇门系统的销售订单数据。由于该接口存在分页和限流机制，为确保不漏单，我们设计了智能分页策略，并结合批量处理方式，实现了大规模数据的快速获取。

为了适应业务需求，对获取的数据进行自定义转换并映射至MySQL数据库表结构显得尤为关键。我们采用了一系列预处理步骤，如字段重命名、类型转换等，以消除两者之间的数据格式差异。在写入环节，利用batchexecute API，实现批量将整理后的销售订单记录插入到MySQL，这不仅提升了写入速度，还有效减少了因单条操作导致的性能瓶颈。

此外，为保证整个集成过程透明、可追溯，我们配置了实时监控及日志记录功能，从而迅速发现并解决潜在问题。同时，针对各种可能出现的异常情况，如接口响应超时或请求失败，则设置了完善的错误重试机制，有效提高任务执行的稳定性和可靠性。

总之，通过一系列优化设计，我们顺利完成了从聚水潭·奇门到MySQL的大规模、高吞吐量的数据集成，在保持数据质量与一致性的同时，大幅提升了业务效率。这些技术要点不仅构建起稳健且灵活的数据联通体系，也为后续进一步扩展提供坚实基础。金蝶与CRM系统接口开发配置

调用聚水潭·奇门接口获取并加工数据的技术案例

在数据集成过程中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台调用聚水潭·奇门接口 jushuitan.order.list.query 获取销售订单数据，并对其进行初步加工。

接口调用配置

首先，我们需要配置调用聚水潭·奇门接口的元数据。以下是该接口的具体配置：

{
  "api": "jushuitan.order.list.query",
  "effect": "QUERY",
  "method": "POST",
  "number": "o_id",
  "id": "o_id",
  "name": "io_id",
  "request": [
    {
      "field": "page_index",
      "label": "页数",
      "type": "string",
      "describe": "第几页，从第一页开始，默认1",
      "value": "1"
    },
    {
      "field": "page_size",
      "label": "每页行数",
      "type": "string",
      "describe": "每页多少条，默认25，最大25",
      "value": "100"
    },
    {
      "field": "start_time",
      "label": "修改开始时间",
      "type": "string",
      "describe": "修改起始时间，和结束时间必须同时存在，时间间隔不能超过七天，与线上单号不能同时为空",
      "value": "{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "end_time",
      {
        ...

数据请求与清洗

在配置好元数据后，我们可以通过轻易云平台发起对 jushuitan.order.list.query 接口的请求。该请求会返回包含销售订单信息的数据集。为了确保数据的准确性和一致性，我们需要对返回的数据进行清洗和预处理。

分页处理：由于每次请求最多只能返回100条记录，因此我们需要通过循环分页来获取所有符合条件的数据。
时间窗口：接口要求 start_time 和 end_time 必须同时存在且间隔不超过七天。我们可以利用平台提供的变量如 {{LAST_SYNC_TIME|datetime}} 和 {{CURRENT_TIME|datetime}} 动态生成这两个参数。
状态过滤：根据业务需求，可以通过设置 status 参数来过滤不同状态的订单，例如待出库、已出库或作废。

数据转换与写入

在完成数据请求和清洗后，需要将数据转换为目标系统所需的格式并写入目标数据库。在这个过程中，我们可以利用轻易云平台提供的映射和转换功能。

字段映射：将源系统中的字段映射到目标系统中的相应字段。例如，将 o_id 映射为目标系统中的订单编号。
数据类型转换：确保源系统和目标系统之间的数据类型一致。例如，将字符串类型的日期转换为目标系统所需的日期格式。
条件过滤：根据业务规则进一步过滤不需要的数据。例如，通过条件过滤器排除标签中包含“线上发货”或“虚拟发货”的订单。

实际案例

假设我们需要从聚水潭·奇门获取过去一周内所有已出库的销售订单，并将其写入BI彩度的销售订单表。以下是具体步骤：

配置元数据：

{
 ...
 {
   ...
   {"field":"status","label":"单据状态","type":"string","describe":"单据状态: WaitConfirm=待出库; Confirmed=已出库; Cancelled=作废","value":"Confirmed"}
   ...
 }
}

发起请求并处理分页：

page_index = 1
while True:
   response = request_data(page_index)
   if not response['data']:
       break
   process_data(response['data'])
   page_index += 1

数据清洗与转换：

def process_data(data):
   for record in data:
       if '线上发货' not in record['labels'] and '虚拟发货' not in record['labels']:
           transformed_record = transform_record(record)
           write_to_target(transformed_record)

通过上述步骤，我们成功实现了从聚水潭·奇门获取销售订单并写入BI彩度销售订单表的全过程。这不仅提高了数据处理效率，还确保了数据的一致性和准确性。打通用友BIP数据接口

轻易云数据集成平台生命周期的第二步：ETL转换与写入MySQL

在轻易云数据集成平台中，数据处理的第二步是将已经集成的源平台数据进行ETL（提取、转换、加载）转换，最终写入目标平台MySQL。本文将详细探讨如何使用轻易云的数据集成平台，将聚水潭的销售订单数据转换为BI彩度的销售订单表格式，并通过MySQL API接口写入目标数据库。

数据提取与转换

在进行数据写入之前，首先需要对从源系统提取的数据进行必要的清洗和转换。以下是元数据配置中的字段映射关系：

{
  "api": "batchexecute",
  "effect": "EXECUTE",
  "method": "SQL",
  "number": "id",
  "id": "id",
  "name": "id",
  "idCheck": true,
  "request": [
    {"field":"id","label":"主键","type":"string","value":"{o_id}-{items_oi_id}"},
    {"field":"order_date","label":"下单时间","type":"string","value":"{order_date}"},
    {"field":"shop_status","label":"线上订单状态","type":"string","value":"{shop_status}"},
    {"field":"question_type","label":"异常类型","type":"string","value":"{question_type}"},
    {"field":"shop_id","label":"店铺编号","type":"string","value":"{shop_id}"},
    {"field":"question_desc","label":"异常描述","type":"string","value":"{question_desc}"},
    {"field":"so_id","label":"线上单号","type":"string","value":"{so_id}"},
    {"field":"status","label":"ERP订单状态","type":"string","value":"{status}"},
    {"field":"receiver_state","label":"省","type":"string","value":"{receiver_state}"},
    {"field":"receiver_city","label":"市","type":"string","value":"{receiver_city}"},
    {"field":"receiver_district","label":"区","type":"string","value":"{receiver_district}"},
    {"field":"send_date","label":"发货时间","type":"string","value":"{send_date}"},
    {"field":...}
  ],
  "otherRequest": [
    {
      "field": "main_sql",
      "label": "主语句",
      "type": "string",
      "describe": "SQL首次执行的语句，将会返回:lastInsertId",
      "value": "REPLACE INTO order_list_query(id,order_date,shop_status,question_type,shop_id,question_desc,so_id,status,receiver_state,receiver_city,receiver_district,send_date,plan_delivery_date,creator_name,buyer_tax_no,invoice_type,pay_amount,freight,buyer_message,remark,invoice_title,is_cod,type,paid_amount,pay_date,modified,order_from,l_id,shop_name,wms_co_id,logistics_company,free_amount,co_id,..."
    },
    {
      "field": "limit",
      "label": "limit",
      "type": "string",
      "value": "1000"
    }
  ]
}

数据清洗与转换细节

主键生成：通过组合o_id和items_oi_id生成唯一主键id。
字段映射：将源系统中的字段映射到目标系统中。例如，将order_date映射到目标系统中的同名字段。
数据类型转换：确保每个字段的数据类型符合目标系统要求，例如所有字段均为字符串类型。
特殊处理：对于某些字段需要特殊处理，如items_item_ext_data需要截取前20个字符，而items_item_pay_amount则根据条件进行判断。

数据加载

在完成数据清洗和转换后，下一步是将处理后的数据通过MySQL API接口写入目标数据库。这里使用了批量执行API batchexecute，并通过SQL语句实现批量插入操作。

REPLACE INTO order_list_query(
  id,
  order_date,
  shop_status,
  question_type,
  shop_id,
  question_desc,
  so_id,
  status,
  receiver_state,
  receiver_city,
  receiver_district,
  send_date,
  plan_delivery_date,
  creator_name,
  buyer_tax_no,
  invoice_type,
  pay_amount,
  freight,
  buyer_message,
  remark,
  invoice_title,
...
) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?...)

该SQL语句使用了REPLACE INTO操作，这意味着如果记录已经存在，则更新记录；如果不存在，则插入新记录。这种方式确保了数据的一致性和完整性。

批量执行与性能优化

为了提高性能，可以设置批量执行的限制参数，例如配置中的limit:1000。这意味着每次最多处理1000条记录，有效减少了数据库压力，提高了整体效率。

实时监控与错误处理

在整个ETL过程中，实时监控和错误处理至关重要。通过轻易云的数据集成平台，可以实时监控每个环节的数据流动和处理状态。一旦出现错误，可以快速定位并解决问题，确保数据处理过程的顺利进行。

综上所述，通过合理配置元数据和利用轻易云强大的ETL功能，可以高效地将聚水潭销售订单数据转换并写入BI彩度的销售订单表，实现不同系统间的数据无缝对接。这不仅提升了业务透明度和效率，也确保了数据的一致性和完整性。金蝶与MES系统接口开发配置

版权声明

该文章《轻易云平台实现ETL转换并写入MySQL的全流程解析》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。