使用轻易云平台进行ETL转换并写入钉钉接口

  • 轻易云集成顾问-林峰

系统对接集成案例：金蝶云星空数据集成到钉钉

在本次技术分享中，我们将深入探讨如何通过轻易云数据集成平台实现金蝶云星空与钉钉之间的数据对接，具体实施方案是“basic-（新环境）更新供应商（V4.0）”。该方案的核心目标是在不影响现有业务流程的前提下，实现高效、可靠且实时的数据同步。

首先，需明确的是，本次数据集成任务主要涉及两个关键API接口：一个是金蝶云星空提供的executeBillQuery接口，用于获取供应商信息；另一个是钉钉提供的写入数据接口 /v1.0/yida/forms/instances。我们的挑战在于确保大规模、多批次的数据能够快速且准确地从金蝶云星空传输至钉钉，同时应对各种潜在的问题如分页处理、限流机制及错误重试等。

高效率和精准性是此次系统对接的重要指标之一。为了达到这一目标，我们引入了以下几个重要特性：

  1. 支持定时抓取和批量处理： 通过设定调度任务，系统能够定时执行调用 executeBillQuery 接口，从而按需抓取最新的供应商数据。在此过程中，平台会针对分页机制进行优化，以避免单次请求过多造成资源浪费或请求失败。

  2. 自定义转换逻辑适配需求： 由于金蝶云星空和钉钉的数据格式存在差异，需要采用自定义转换逻辑来匹配两者间的数据结构。这一过程借助轻易云平台中的可视化设计工具，通过拖拽操作便能直观地完成字段映射与格式调整，大幅减少开发复杂度并提高效率。

  3. 监控与告警系统保障可靠性： 数据处理过程中，实时监控功能随时跟踪每个步骤的进展与状态，一旦出现异常情况（如网络波动或API响应超时），即时发出告警，并自动触发预设的重试机制以保证任务顺利完成。同时，对于各类错误日志记录也能为后续分析和问题定位提供详尽依据。

  4. 优化后的写入能力确保性能表现： 在向钉 针推送大量数据时，高吞吐量成为必须考虑的问题。通过合理分段、平衡负载以及并行处理等方式，可以显著提升写入性能，使得大量供应商信息迅速有效地被整合进入 针的平台，从而支撑其业务运作所需的信息及时更新。

综上，本篇将集中展示如何利用[ 用友与外部系统接口集成开发

调用金蝶云星空接口executeBillQuery获取并加工数据

在轻易云数据集成平台中，调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过调用金蝶云星空的executeBillQuery接口来获取并加工供应商数据。

接口配置与请求参数

首先，我们需要配置接口的基本信息和请求参数。根据提供的元数据配置，executeBillQuery接口使用POST方法进行调用。以下是主要的请求参数：

  • api: executeBillQuery
  • method: POST
  • number: FNumber
  • id: FSupplierId
  • pagination: 分页配置，默认每页100条记录

具体的请求字段包括但不限于：

[
    {"field":"FSupplierId","label":"FSupplierId","type":"string","value":"FSupplierId"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    {"field":"FCreateOrgId_FNumber","label":"创建组织","type":"string","value":"FCreateOrgId.FNumber"},
    {"field":"FUseOrgId_FNumber","label":"使用组织","type":"string","value":"FUseOrgId.FNumber"},
    {"field":"FDescription","label":"描述","type":"string","value":"FDescription"}
]

请求示例

为了获取供应商数据，我们需要构建一个包含所有必要字段的请求体。以下是一个示例请求体：

{
    "FormId": "BD_Supplier",
    "FieldKeys": "FSupplierId,FNumber,FName,FCreateOrgId.FNumber,FUseOrgId.FNumber,FDescription",
    "FilterString": "FAuditDate>='2023-01-01'",
    "Limit": 100,
    "StartRow": 0
}

在这个请求体中，FormId指定了业务对象表单ID为供应商表单（BD_Supplier），FieldKeys定义了需要查询的字段集合，FilterString用于过滤条件，Limit和StartRow用于分页控制。

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换，以满足目标系统的数据格式要求。这一步通常包括以下几个步骤：

  1. 字段映射：将源系统字段映射到目标系统字段。例如，将金蝶云星空中的 FNumber 映射到目标系统中的 SupplierCode。
  2. 数据类型转换：确保所有字段的数据类型符合目标系统要求。例如，将字符串类型的日期转换为标准日期格式。
  3. 数据过滤与校验：根据业务规则过滤无效数据，并进行必要的数据校验。例如，确保所有供应商编码唯一且不为空。

以下是一个简单的数据清洗示例代码（伪代码）：

def clean_data(raw_data):
    cleaned_data = []
    for record in raw_data:
        cleaned_record = {
            "SupplierCode": record["FNumber"],
            "SupplierName": record["FName"],
            "CreateOrg": record["FCreateOrgId_FNumber"],
            "UseOrg": record["FUseOrgId_FNumber"],
            "Description": record["FDescription"]
        }
        # 数据校验
        if validate_record(cleaned_record):
            cleaned_data.append(cleaned_record)
    return cleaned_data

def validate_record(record):
    return record["SupplierCode"] is not None and record["SupplierName"] is not None

数据写入

完成数据清洗和转换后，将处理好的数据写入目标系统。这一步通常涉及调用目标系统的API接口或通过ETL工具将数据导入数据库。

例如，可以使用轻易云平台提供的数据写入功能，将清洗后的供应商数据批量写入ERP系统：

def write_to_target_system(cleaned_data):
    for record in cleaned_data:
        response = target_system_api.write(record)
        if response.status_code != 200:
            log_error(response)

通过上述步骤，我们实现了从金蝶云星空获取、清洗并写入供应商数据的完整流程。这一过程不仅提高了数据处理效率，还确保了数据的一致性和准确性，为后续的数据分析和业务决策提供了可靠支持。 数据集成平台可视化配置API接口

使用轻易云数据集成平台进行ETL转换并写入钉钉API接口

在数据集成过程中，ETL（提取、转换、加载）是关键步骤之一。本文将详细探讨如何使用轻易云数据集成平台，将源平台的数据进行ETL转换，并通过钉钉API接口写入目标平台。具体案例为更新供应商信息。

API接口配置

在本案例中，我们使用的钉钉API接口路径为/v1.0/yida/forms/instances，请求方法为POST。以下是元数据配置的详细说明：

  • 编码: {FNumber}
  • 供应商名称: {FName}
  • 应用ID: APP_WTSCMZ1WOOHGIM5N28BQ
  • 应用秘钥: IS866HB1DXJ8ODN3EXSVD750RBTK2X72R8MELL4
  • 语言: zh_CN
  • 要更新的表单数据ID: _findCollection find resultId from 3ee0e281-1a64-3923-a7d0-f350a5a51f1f where FSupplierId={FSupplierId}
  • 钉钉的userId: 16000443318138909

数据请求与清洗

首先，从源平台提取所需的供应商数据。在这个阶段，我们需要确保提取的数据符合目标平台所需的格式和内容。例如，假设我们从ERP系统中提取以下字段：

{
    "FNumber": "SUP12345",
    "FName": "供应商A",
    "FSupplierId": "12345"
}

数据转换

接下来，我们需要将这些数据转换为钉钉API所能接受的格式。这一步骤主要包括字段映射和值替换。根据元数据配置，我们将源数据中的字段映射到目标API请求参数中：

{
    "textField_lgg53q3n": "SUP12345", // 对应编码
    "textField_lgg53q3l": "供应商A", // 对应供应商名称
    "appType": "APP_WTSCMZ1WOOHGIM5N28BQ",
    "systemToken": "IS866HB1DXJ8ODN3EXSVD750RBTK2X72R8MELL4",
    "language": "zh_CN",
    "formInstId": "_findCollection find resultId from 3ee0e281-1a64-3923-a7d0-f350a5a51f1f where FSupplierId=12345", // 动态生成
    "userId": "16000443318138909"
}

数据写入

完成数据转换后，即可通过HTTP POST请求将数据发送至钉钉API接口。示例代码如下：

import requests
import json

url = 'https://oapi.dingtalk.com/v1.0/yida/forms/instances'
headers = {
    'Content-Type': 'application/json',
}

data = {
    'textField_lgg53q3n': 'SUP12345',
    'textField_lgg53q3l': '供应商A',
    'appType': 'APP_WTSCMZ1WOOHGIM5N28BQ',
    'systemToken': 'IS866HB1DXJ8ODN3EXSVD750RBTK2X72R8MELL4',
    'language': 'zh_CN',
    'formInstId': '_findCollection find resultId from 3ee0e281-1a64-3923-a7d0-f350a5a51f1f where FSupplierId=12345',
    'userId': '16000443318138909'
}

response = requests.post(url, headers=headers, data=json.dumps(data))

if response.status_code == 200:
    print('Data successfully written to DingTalk API')
else:
    print(f'Failed to write data. Status code: {response.status_code}')

注意事项

在实际操作中，需要注意以下几点：

  1. 字段映射准确性：确保源平台字段与目标API字段一一对应。
  2. 动态生成参数：如formInstId需要根据特定规则动态生成。
  3. 安全性：敏感信息如应用秘钥应妥善保管，不在代码中明文存储。

通过上述步骤，我们成功实现了从源平台提取、转换并写入目标平台（钉钉）的全过程。这不仅提高了数据处理效率，也确保了数据的一致性和准确性。 打通用友BIP数据接口

版权声明

该文章《使用轻易云平台进行ETL转换并写入钉钉接口》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星空与旺店通打通
更多系统对接方案