利用轻易云平台实现ETL转换与数据写入

  • 轻易云集成顾问-吴伟

查询金蝶星辰物流公司数据集成到轻易云平台的技术案例分享

在本次技术案例中，我们将探讨如何高效地将金蝶云星辰V2的数据集成到轻易云数据集成平台，通过调用API接口 /jdy/v2/bd/logistics_company 来实现物流公司信息的查询与写入。具体来说，本案例重点解决了以下几个关键问题：确保数据不漏单、大量数据批量处理、定时可靠抓取以及分页和限流等。

为了确保从金蝶云星辰V2获取的数据不漏单，我们设置了一套全面的数据监控机制，结合实时日志记录功能，保证每一次的请求都能完整覆盖所有预期返回的信息。此外，针对大量数据快速写入轻易云平台的问题，我们采用高并发处理技术，将批量获取的数据通过轻易云提供的存储API进行快速写入，有效提升了整体性能。

在定时可靠抓取方面，则利用轻易云内置的调度功能，每隔固定时间调用 /jdy/v2/bd/logistics_company 接口，以便自动化完成物流公司信息更新。这一过程不仅大幅提高了自动化水平，还降低了人工操作带来的误差风险。同时，为应对分页及限流相关复杂情况，我们设计了一套灵活、高效的分页与重试机制，确保在各种网络环境下均能顺利完成数据传输。

处理中不可避免会遇到不同系统之间的数据格式差异。在这一点上，通过自定义映射规则，将金蝶云星辰V2中的字段精准匹配至轻易云目标结构，从而最大限度减少格式转换过程中可能产生错误。而对于偶发性异常，则引入错误捕获与重试策略，使得整个对接流程更加稳定可靠。

以上各项措施综合运用，使得我们可以实现高效、准确、安全地将金蝶云星辰V2中的物流公司信息无缝对接至轻易云数据集成平台，大大提升了业务操作透明度和效率。在后续章节中，将详细展开每一个步骤背后的具体配置和实施细节。 如何对接用友BIP接口

调用金蝶云星辰V2接口获取物流公司数据的技术实现

在数据集成生命周期的第一步中，我们需要调用源系统金蝶云星辰V2接口/jdy/v2/bd/logistics_company来获取物流公司数据，并进行初步加工。以下是详细的技术实现过程。

接口调用与元数据配置

首先，我们需要理解并配置元数据，以便正确调用API接口。根据提供的元数据配置，我们可以看到以下关键信息：

  • API路径: /jdy/v2/bd/logistics_company
  • 请求方法: GET
  • 请求参数:
    • page: 当前页，类型为字符串，默认值为1
    • page_size: 每页显示条数，类型为字符串，默认值为10

此外，还有一个额外的请求参数detailAPI，用于获取详细信息，其路径为/jdy/v2/bd/logistics_company_detail。

配置请求参数

在轻易云数据集成平台上，我们需要配置上述请求参数，以便正确地发起API调用。以下是具体的配置步骤：

  1. 设置基本请求参数:

    {
 "field": "page",
 "label": "当前页",
 "type": "string",
 "value": "1"
},
{
 "field": "page_size",
 "label": "每页显示条数",
 "type": "string",
 "value": "10"
}

  2. 设置其他请求参数:

    {
 "field": "detailAPI",
 "label": "detailAPI",
 "type": "string",
 "describe": "detailAPI",
 "value": "/jdy/v2/bd/logistics_company_detail"
}

发起API调用

配置完成后，我们使用GET方法发起对金蝶云星辰V2接口的调用。以下是一个示例代码片段，用于展示如何在轻易云平台上实现这一过程：

import requests

# 定义基础URL和请求参数
base_url = 'https://api.kingdee.com/jdy/v2/bd/logistics_company'
params = {
    'page': '1',
    'page_size': '10'
}

# 发起GET请求
response = requests.get(base_url, params=params)

# 检查响应状态码
if response.status_code == 200:
    data = response.json()
    # 处理返回的数据
    print(data)
else:
    print(f"Error: {response.status_code}")

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换，以便后续的数据写入和处理。在这个过程中，我们可以利用轻易云平台提供的自动填充响应功能（autoFillResponse），简化数据处理流程。

假设返回的数据结构如下：

{
  "code": 200,
  "data": [
    {
      "id": 1,
      "number": "LC001",
      "name": "物流公司A"
    },
    {
      "id": 2,
      "number": "LC002",
      "name": "物流公司B"
    }
  ]
}

我们需要提取并转换这些字段，以符合目标系统的数据格式。例如，将number字段映射到目标系统中的相应字段。

# 假设目标系统要求的数据格式如下：
target_data = []

for item in data['data']:
    transformed_item = {
        'logistics_id': item['id'],
        'logistics_number': item['number'],
        'logistics_name': item['name']
    }
    target_data.append(transformed_item)

print(target_data)

数据写入

最后一步是将清洗和转换后的数据写入目标系统。这通常涉及到另一个API调用或数据库操作。在轻易云平台上，可以通过配置相应的写入操作来完成这一过程。

以上就是调用金蝶云星辰V2接口获取物流公司数据并进行初步加工的详细技术实现过程。在实际应用中，可以根据具体需求进一步优化和扩展这些步骤。 用友与SCM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入目标平台

在数据集成生命周期的第二步，我们需要将已经从源平台获取并清洗过的数据进行ETL转换，使其符合目标平台API接口所能接收的格式，最终写入目标平台。本文将深入探讨如何利用轻易云数据集成平台的API接口进行这一过程。

数据请求与清洗

首先，我们假设已经完成了从金蝶星辰物流公司获取原始数据并进行了必要的清洗工作。此时，数据已经准备好进行下一步的ETL转换和写入。

ETL转换

ETL（Extract, Transform, Load）是数据集成过程中至关重要的一环。在这个阶段，我们需要将清洗后的数据进行格式转换，使其符合目标平台API接口的要求。以下是一个简单的ETL转换示例：

import json

# 假设我们已经有了从金蝶星辰物流公司获取并清洗后的数据
source_data = {
    "order_id": "12345",
    "customer_name": "张三",
    "shipping_address": "北京市朝阳区",
    "items": [
        {"item_id": "A001", "quantity": 2},
        {"item_id": "B002", "quantity": 1}
    ]
}

# 定义目标平台API接口所需的数据格式
def transform_data(source_data):
    transformed_data = {
        "orderId": source_data["order_id"],
        "customerName": source_data["customer_name"],
        "address": source_data["shipping_address"],
        "orderItems": [{"itemId": item["item_id"], "qty": item["quantity"]} for item in source_data["items"]]
    }
    return transformed_data

transformed_data = transform_data(source_data)
print(json.dumps(transformed_data, indent=2, ensure_ascii=False))

在上述代码中，我们将原始数据中的字段名称和结构进行了转换，以符合目标平台API接口的要求。

写入目标平台

接下来，我们需要将转换后的数据通过API接口写入到轻易云集成平台。根据提供的元数据配置，我们可以看到API接口的相关信息如下：

{
    "api":"写入空操作",
    "effect":"EXECUTE",
    "method":"POST",
    "idCheck":true
}

基于这些信息，我们可以编写一个Python脚本，通过HTTP POST请求将转换后的数据发送到目标平台：

import requests

# 目标平台API URL
api_url = 'https://api.qingyiyun.com/write'

# 转换后的数据
payload = json.dumps(transformed_data)

# HTTP请求头
headers = {
    'Content-Type': 'application/json'
}

# 发送POST请求
response = requests.post(api_url, headers=headers, data=payload)

# 检查响应状态码
if response.status_code == 200:
    print("数据成功写入目标平台")
else:
    print(f"写入失败，状态码: {response.status_code}, 响应内容: {response.text}")

在这个脚本中，我们首先定义了目标平台API的URL，然后将转换后的数据序列化为JSON格式，并设置HTTP请求头中的Content-Type为application/json。最后，通过requests.post方法发送POST请求，将数据写入目标平台。

元数据配置理解与应用

在实际操作中，元数据配置对于正确调用API接口至关重要。以下是对元数据配置各个字段的解释及其应用：

  • api: 指定要调用的API名称，这里是“写入空操作”。
  • effect: 指定操作类型，这里是“EXECUTE”，表示执行操作。
  • method: 指定HTTP方法，这里是“POST”。
  • idCheck: 指定是否进行ID检查，这里是true，表示需要检查ID。

通过理解和正确应用这些元数据配置，可以确保我们的API调用符合预期，并且能够顺利地将数据写入到目标平台。

综上所述，通过轻易云数据集成平台，我们可以高效地完成从源系统到目标系统的数据ETL转换和写入过程。这不仅提升了业务透明度和效率，也确保了不同系统间的数据无缝对接。 钉钉与WMS系统接口开发配置

版权声明

该文章《利用轻易云平台实现ETL转换与数据写入》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

百威BEES系统与经销商ERP对接
更多系统对接方案