使用轻易云集成平台进行ETL转换与写入的实战指南

  • 轻易云集成顾问-黄宏棵

查询旺店通货品档案：轻易云数据集成平台的技术实现

在以下案例中，我们将聚焦于如何通过轻易云数据集成平台，高效地完成旺店通·企业奇门系统的数据对接，特别是针对其wdt.goods.query接口的调用与处理。

在项目实施初期，我们确定了主要目标：确保从旺店通·企业奇门系统获取到的所有货品档案数据无遗漏，并实时且准确地写入到轻易云集成平台。这不仅要求我们处理大量的数据，还要应对分页、限流等多个实际问题。为了更好地解决这些问题，我们设计并实现了如下几个关键步骤：

  1. API调用与分页处理: 大量商品数据需要通过wdt.goods.query接口进行分批次抓取。为了避免由于单次请求过多导致的数据丢失或被限流限制，我们采用了适当的分页和限流控制策略，每次只抓取一定数量的数据，并根据返回结果中的标志位动态调整下一页请求参数。

  2. 异构数据格式转换: 旺店通·企业奇门和轻易云集成平台在数据显示上存在不同格式和字段类型，对此我们制定了一套完整的映射规则，在采集到原始数据后，通过自定义脚本进行预处理和格式转换，使之符合目的端所需的数据结构。

  3. 定时任务调度机制: 为保证数据抓取任务能够稳定运行并保持最新状态，我们依靠轻易云集成平台强大的定时任务功能，实现自动化、周期性的执行任务，这种方法不仅减少人工干预，也确保业务连续性。

  4. 错误重试及异常处理: 数据传输过程中常常会遇到网络波动、接口响应超时等不可控因素，因此我们设置了严格的监控与日志记录机制，一旦发生异常情况，系统会触发相应警告并启动错误重试流程，以最大程度上保证数据传输成功率。

上述内容仅为该案例的一部分精华摘录，具体方案细节包括如何利用高性能缓存提升速度，多线程批量写入优化资源使用，以及借助实时监控模块提升透明度等将在随后章节详细展开介绍。本实例凸显的不仅是技术难点，更展示了整合各类先进功能以达到最佳实践效果的方法论。

如何对接钉钉API接口

调用源系统旺店通·企业奇门接口wdt.goods.query获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用旺店通·企业奇门接口wdt.goods.query来获取并加工数据。

接口概述

接口wdt.goods.query用于查询旺店通的货品档案信息。该接口采用POST请求方式，支持分页查询，并能够根据货品编号、删除状态和时间范围等条件进行过滤。

元数据配置解析

元数据配置是实现数据请求与清洗的关键。以下是对元数据配置的详细解析：

{
  "api": "wdt.goods.query",
  "effect": "QUERY",
  "method": "POST",
  "number": "goods_no",
  "id": "goods_no",
  "name": "goods_no",
  "idCheck": true,
  "request": [
    {
      "field": "goods_no",
      "label": "货品编号",
      "type": "string",
      "describe": "货品编号"
    },
    {
      "field": "deleted",
      "label": "已删除货品",
      "type": "string",
      "describe": "默认为0, 0：只返回未删除货品 1：返回未删除和已删除货品"
    },
    {
      "field": "start_time",
      "label": "开始时间",
      "type": "string",
      "describe": "按最后修改时间增量查询数据，start_time作为开始时间，格式：yyyy-MM-dd HH:mm:ss",
      "value":"{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "end_time",
      "label":"结束时间",
      "type":"string",
      "describe":"111",
      “value":"{{CURRENT_TIME|datetime}}"
    }
  ],
  “otherRequest”: [
    {
      “field”: “page_size”,
      “label”: “分页大小”,
      “type”: “string”,
      “describe”: “每页返回的数据条数，输入值范围1~100，不传本参数，输入值默认为40，使用举例单击这里”,
      “value”: “{PAGINATION_PAGE_SIZE}”
    },
    {
      “field”: “page_no”,
      “label”: “页号”,
      “type”: “string”,
      “describe”:“不传值默认从0页开始”,
       ”value”:“{PAGINATION_START_PAGE}”
     }
   ],
   ”autoFillResponse”:true,
   ”beatFlat”:[“spec_list”]
}

请求参数详解

  • goods_no: 用于指定要查询的货品编号。
  • deleted: 指定是否包含已删除的货品。默认为0，仅返回未删除的货品；若为1，则返回所有状态的货品。
  • start_time 和 end_time: 用于按最后修改时间进行增量查询。start_time表示开始时间，格式为yyyy-MM-dd HH:mm:ss，通常使用上次同步时间（LAST_SYNC_TIME）作为起点；end_time表示结束时间，通常使用当前时间（CURRENT_TIME）。
  • page_size: 每页返回的数据条数，默认值为40。
  • page_no: 页号，从0开始。

数据请求与清洗

在实际操作中，我们需要根据上述元数据配置构建请求，并对返回的数据进行清洗和处理。以下是一个示例代码片段，用于展示如何通过轻易云平台调用该接口并处理响应数据：

import requests
import datetime

# 设置请求URL和头部信息
url = 'https://api.wangdian.cn/openapi2/goods_query.php'
headers = {'Content-Type': 'application/json'}

# 构建请求参数
params = {
    'goods_no': '',
    'deleted': '0',
    'start_time': (datetime.datetime.now() - datetime.timedelta(days=1)).strftime('%Y-%m-%d %H:%M:%S'),
    'end_time': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
    'page_size': '40',
    'page_no': '0'
}

# 发起POST请求
response = requests.post(url, headers=headers, json=params)

# 检查响应状态码
if response.status_code == 200:
    data = response.json()

    # 数据清洗与处理
    for item in data.get('goods_list', []):
        # 示例：提取并打印每个商品的编号和名称
        print(f"Goods No: {item['goods_no']}, Goods Name: {item['goods_name']}")
else:
    print(f"Error: {response.status_code}, {response.text}")

自动填充与扁平化处理

在元数据配置中，我们设置了autoFillResponse: true和beatFlat: ["spec_list"]。这意味着平台会自动填充响应中的字段，并将嵌套结构（如规格列表）进行扁平化处理，以便后续的数据转换与写入操作。

通过上述步骤，我们可以高效地调用旺店通·企业奇门接口获取所需的货品档案信息，并进行必要的数据清洗和加工，为后续的数据集成工作打下坚实基础。 用友与外部系统接口集成开发

使用轻易云数据集成平台进行ETL转换与写入

在数据集成的生命周期中，ETL（提取、转换、加载）过程是至关重要的一环。本文将详细探讨如何将已经集成的源平台数据进行ETL转换，并转为目标平台轻易云集成平台API接口所能够接收的格式，最终写入目标平台。

数据提取与清洗

首先，从源平台（如旺店通）提取货品档案数据。假设我们已经完成了数据请求与清洗阶段，获得了结构化的原始数据。此时，我们需要对这些数据进行进一步处理，以符合目标平台的要求。

数据转换

在数据转换阶段，我们需要根据目标平台API接口的需求，对源数据进行格式化和转换。以下是一个简单的数据转换示例：

{
  "source_data": {
    "product_id": "12345",
    "product_name": "Example Product",
    "price": 100.0,
    "stock": 50
  },
  "target_data": {
    "id": "12345",
    "name": "Example Product",
    "cost": 100.0,
    "quantity": 50
  }
}

在这个示例中，我们将source_data中的字段映射到target_data中，以符合目标平台API接口的要求。

配置元数据

根据提供的元数据配置，我们需要使用以下配置来完成数据写入：

{
  "api":"写入空操作",
  "effect":"EXECUTE",
  "method":"POST",
  "idCheck":true
}

API 接口调用

接下来，我们通过HTTP POST方法调用轻易云集成平台API接口，将转换后的数据写入目标平台。以下是一个Python代码示例，用于演示如何实现这一过程：

import requests
import json

# 转换后的目标数据
target_data = {
    "id": "12345",
    "name": "Example Product",
    "cost": 100.0,
    "quantity": 50
}

# API接口URL
api_url = 'https://api.qingyiyun.com/write'

# 请求头配置
headers = {
    'Content-Type': 'application/json'
}

# 发起POST请求，将数据写入目标平台
response = requests.post(api_url, headers=headers, data=json.dumps(target_data))

# 检查响应状态码及内容
if response.status_code == 200:
    print("Data written successfully.")
else:
    print(f"Failed to write data: {response.status_code}, {response.text}")

在这个示例中，我们将转换后的target_data通过HTTP POST请求发送到指定的API接口URL，并检查响应状态码以确认操作是否成功。

实时监控与调试

为了确保每个环节都清晰易懂，并实时监控数据流动和处理状态，可以利用轻易云集成平台提供的全透明可视化操作界面。这有助于快速定位和解决潜在问题，提高整体效率。

小结

通过上述步骤，我们成功地将源平台的数据进行了ETL转换，并通过API接口写入了目标平台。在实际应用中，可以根据具体业务需求和系统特性，进一步优化和扩展这些操作，以实现更加复杂的数据集成任务。 系统集成平台API接口配置

版权声明

该文章《使用轻易云集成平台进行ETL转换与写入的实战指南》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

小满CRM与畅捷通T+对接
更多系统对接方案