使用轻易云平台进行ETL转换并写入MongoDB

  • 轻易云集成顾问-吴伟

查询旺店通销售单对接帆软MongoDB的技术实现

在本文中，我们将探讨如何通过轻易云数据集成平台，将旺店通·企业奇门的数据高效、准确地集成到MongoDB中。具体案例是利用wdt.trade.query接口查询销售订单，并批量写入到MongoDB数据库，确保数据实时可用且不漏单。

首先，需要解决的是如何通过wdt.trade.query接口抓取大量销售单数据，同时避免接口分页和限流问题。为了应对这些挑战，我们设计了一个可靠的定时任务机制，通过合理设置API调度频率和请求参数，从而保证每次数据抓取的完整性与效率。在此过程中，对异常处理与错误重试机制进行了细致优化，以防止因网络波动或其他意外情况导致的数据遗漏。

其次，在处理从旺店通获取的数据时，必须注意其与MongoDB之间的数据格式差异。这就需要借助自定义映射功能，对所有字段进行精确转换，使之符合MongoDB文档结构要求。此外，为了保障大规模数据的快速写入，我们采用了批量操作策略，有效提升了系统整体性能。

最后，为确保整个流程透明可控，我们引入实时监控与日志记录功能，对每个步骤进行持续跟踪。如果出现任何异常状况，可以迅速定位并解决问题，不影响业务运行。

下面我们将详细介绍这一系统对接方案，包括各步骤中的具体配置及关键代码实现。 如何开发金蝶云星空API接口

调用源系统旺店通·企业奇门接口wdt.trade.query获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用旺店通·企业奇门接口wdt.trade.query来获取销售单数据，并进行初步加工。

接口调用配置

首先，我们需要配置接口的元数据，以确保能够正确地请求和接收数据。以下是具体的元数据配置：

{
  "api": "wdt.trade.query",
  "method": "POST",
  "number": "trade_no",
  "id": "trade_id",
  "pagination": {
    "pageSize": 100
  },
  "autoFillResponse": true,
  "request": [
    {"field": "status", "label": "订单状态", "type": "string"},
    {"field": "start_time", "label": "开始时间", "type": "string", "value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field": "end_time", "label": "结束时间", "type":"string", "value":"{{CURRENT_TIME|datetime}}"},
    {"field": "src_tid", "label":"原始单号","type":"string"},
    {"field":"trade_no","label":"订单编号","type":"string"},
    {"field":"shop_no","label":"店铺编号","type":"string"},
    {"field":"warehouse_no","label":"仓库编号","type":"string"},
    {"field":"goodstax","label":"使用税率","type":"string"},
    {"field":"has_logistics_no","label":"物流单号限制","type":"string"},
    {"field":"src","label":"是否返回交易流水号、付款状态、付款时间","type":"string"},
    {"field":"logistics_no","label":"物流单号","type":"string"}
  ],
  "otherRequest":[
    {"field":"page_size","label":"分页大小","type":"string","describe":"每页返回的数据条数，输入值范围1~100，不传本参数，输入值默认为40，使用举例单击这里","value":"100"},
    {"field":"page_no","label":"页号","type":"string","describe":"不传值默认从0页开始"}
  ],
  "condition":[
    [{"field": "trade_status", "logic": "egt", "value": "55"}]
  ],
  "beatFlat":["goods_list"]
}

请求参数解析

  • API: wdt.trade.query 是我们要调用的接口。
  • Method: 使用 POST 方法进行请求。
  • Pagination: 设置分页，每页返回100条记录。
  • Request字段:
    • status: 查询订单状态。
    • start_time 和 end_time: 分别表示查询的起始和结束时间，动态填充为上次同步时间和当前时间。
    • src_tid, trade_no, shop_no, warehouse_no, goodstax, has_logistics_no, src, logistics_no: 各种查询条件字段。

数据请求与清洗

在配置好元数据后，我们可以发起请求来获取销售单数据。轻易云平台会根据配置自动生成请求，并处理响应结果。以下是一个示例请求：

{
  "status": "",
  "start_time": "{{LAST_SYNC_TIME|datetime}}",
  "end_time": "{{CURRENT_TIME|datetime}}",
  ...
}

响应结果会自动填充到预定义的结构中，并进行初步清洗。例如，将嵌套的商品列表（goods_list）平铺到主记录中。

数据转换与写入

在获取并清洗完数据后，我们需要将其转换为目标系统所需的格式，并写入到帆软MongDb中。这一步通常包括字段映射、格式转换等操作。例如：

{
  "_id": "{{trade_id}}",
  ...
}

通过轻易云平台，可以实现自动化的数据转换和写入操作，大大简化了集成流程。

实时监控与调试

轻易云平台提供了实时监控功能，可以随时查看数据流动和处理状态。如果遇到问题，可以通过日志和监控界面快速定位并解决。

以上是通过轻易云数据集成平台调用旺店通·企业奇门接口wdt.trade.query获取并加工销售单数据的详细技术方案。希望这些技术细节能为您的实际项目提供有价值的参考。 电商OMS与ERP系统接口开发配置

轻易云数据集成平台生命周期的第二步：ETL转换与写入MongoDB

在数据集成过程中，ETL（Extract, Transform, Load）是关键步骤之一。本文将深入探讨如何使用轻易云数据集成平台将源平台的数据转换为目标平台MongoDB API接口所能接收的格式，并最终写入MongoDB。

数据请求与清洗

在进行ETL之前，首先需要从源平台获取原始数据并进行清洗。此过程包括从旺店通系统中提取销售单数据，并确保数据质量和一致性。假设我们已经完成了这一阶段，接下来重点介绍如何将清洗后的数据进行转换并写入MongoDB。

数据转换与写入

轻易云数据集成平台提供了强大的元数据配置功能，使得我们可以灵活地定义数据转换规则。以下是一个具体的元数据配置示例，用于将销售单数据写入MongoDB：

{
  "api": "Insert",
  "effect": "EXECUTE",
  "method": "POST",
  "number": "id",
  "id": "id",
  "name": "id",
  "idCheck": true,
  "request": [
    {"field":"bad_reason","label":"bad_reason","value":"{bad_reason}","type":"string","describe":"_autoFillResponse"},
    {"field":"buyer_message","label":"buyer_message","value":"{buyer_message}","type":"string","describe":"_autoFillResponse"},
    {"field":"buyer_message_count","label":"buyer_message_count","value":"{buyer_message_count}","type":"string","describe":"_autoFillResponse"},
    // ... 更多字段配置
    {"field":"goods_list_weight","label":"goods_list_weight","type":"float","value":"{goods_list_weight}"},
    {"field":"qeasydataid","label":"mong库主键","type":"string","value":"{bfn_id}"}
  ],
  "otherRequest": [
    {"field":"collectionName","label":"集合名字","type":"string","describe":"集合名字","value":"SalesDetail"}
  ],
  "buildModel": true
}

元数据配置解析

  1. API接口定义：

    • api: 指定操作类型，这里为“Insert”表示插入操作。
    • effect: 定义操作效果，这里为“EXECUTE”表示执行操作。
    • method: HTTP方法，这里为“POST”。

  2. 字段映射：

    • request部分定义了从源系统提取的数据字段及其对应的目标字段。例如：
      • {"field": "bad_reason", "label": "bad_reason", "value": "{bad_reason}", "type": "string", "describe": "_autoFillResponse"} 表示将源系统中的bad_reason字段映射到目标系统中的bad_reason字段，类型为字符串。
      • 类似地，其他字段如buyer_message, goods_list_weight, qeasydataid等也进行了相应的映射。

  3. 集合名称：

    • otherRequest部分指定了目标集合的名称，这里为“SalesDetail”。

  4. 模型构建：

    • buildModel: 设置为true表示自动构建模型。

数据写入MongoDB

通过上述元数据配置，我们可以实现从源系统到MongoDB的无缝数据传输。在实际操作中，可以通过以下步骤完成：

  1. 准备HTTP请求： 根据元数据配置，构建HTTP POST请求，将转换后的JSON对象发送到MongoDB API接口。

  2. 执行请求： 使用轻易云平台提供的执行引擎发送请求，并处理响应结果。

  3. 监控与日志记录： 实时监控数据流动和处理状态，确保每个环节都透明可见，并记录日志以便后续分析和故障排查。

示例代码

以下是一个简化的Python示例代码，用于展示如何根据上述元数据配置，将销售单数据插入到MongoDB：

import requests
import json

# 构建请求头
headers = {
    'Content-Type': 'application/json'
}

# 构建请求体
payload = {
    # 根据元数据配置构建JSON对象
    'bad_reason': 'example_bad_reason',
    'buyer_message': 'example_buyer_message',
    # ... 更多字段赋值
    'goods_list_weight': 1.23,
    'qeasydataid': 'example_bfn_id',
    'collectionName': 'SalesDetail'
}

# MongoDB API接口URL
url = 'http://mongodb-api-endpoint/insert'

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 检查响应状态
if response.status_code == 200:
    print('Data inserted successfully')
else:
    print('Failed to insert data:', response.text)

通过上述步骤和代码示例，我们可以高效地将源平台的数据转换并写入目标平台MongoDB，实现不同系统间的数据无缝对接。这不仅提高了业务流程的透明度和效率，也为企业的数据管理提供了有力支持。 用友BIP接口开发配置

版权声明

该文章《使用轻易云平台进行ETL转换并写入MongoDB》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云企业AIGC应用
更多系统对接方案