利用轻易云平台完成ETL转换并写入目标系统的步骤

  • 轻易云集成顾问-李国敏

金蝶云星空数据集成到轻易云平台的技术实现

在实际业务运营过程中，企业常常需要从金蝶云星空系统中读取大量组织信息，并将其集成到其他数据平台以供进一步处理和分析。本案例分享的是如何通过轻易云数据集成平台进行【仅查询】金蝶组织信息的高效对接。

1. API接口调用与分页处理

为了实现精确的数据获取，我们首先依赖于金蝶云星空提供的executeBillQuery API接口。此API能够执行特定条件下的数据查询，并支持分页功能，以应对大规模数据检索需求。在实际操作中，需要特别注意以下几点：

  • 请求参数配置：确保每次调用时传递正确的过滤条件和分页参数，以避免漏单或重复获取。
  • 限流控制：针对API请求量可能过大的情况，应设计合理的限流机制，避免接口超载导致失败。

2. 数据格式转换与映射

由于金蝶云星空与轻易云平台之间的数据结构存在差异，在集成过程中必须实施自定义的数据转换逻辑。这一步骤包括：

  • 字段映射：根据业务需求，将原始字段映射为目标字段；
  • 数据类型转换：例如日期格式、数值类型等需一致化处理；

这是确保两端系统能够无缝衔接、准确传输的重要保障。

3. 批量写入及监控机制

一旦完成了数据抓取和格式转换，即可使用轻易云提供的写入API批量将整理后的数据导入指定存储表。此阶段关键要点在于：

  • 高吞吐能力利用：充分发挥轻易云的平台优势，实现海量数据快速注入。
  • 实时监控与告警设置：利用集中监控功能随时跟踪任务状态，如果出现异常立即触发告警并启动重试机制，确保任务稳定运行且不丢失任何一条记录。

以上步骤构建了一个完整、高效且可靠的数据对接方案，为后续进一步优化和扩展打下坚实基础。在下一部分内容中，将详细讲解具体实施细节，包括代码示例及最佳实践等。 金蝶与SCM系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取组织信息，并对数据进行初步加工。

接口配置与调用

首先，我们需要了解元数据配置中的各个字段及其作用。以下是关键字段的解析：

  • api: 接口名称，这里是executeBillQuery。
  • effect: 操作类型，这里是查询（QUERY）。
  • method: 请求方法，使用POST。
  • number, id, name: 这些字段用于标识和校验数据。
  • request: 请求参数列表，包括编码、名称和组织ID等。
  • otherRequest: 其他请求参数，如分页参数、过滤条件等。

请求参数详解

在实际调用中，我们需要构建一个完整的请求体。以下是请求参数的详细说明：

  1. 基本请求参数：

    • FNumber: 编码
    • FName: 名称
    • FOrgID: 组织ID

  2. 其他请求参数：

    • Limit: 最大行数，用于分页控制。
    • StartRow: 开始行索引，用于分页控制。
    • TopRowCount: 返回总行数。
    • FilterString: 过滤条件，例如FSupplierId.FNumber = 'VEN00010' and FApproveDate>=。
    • FieldKeys: 查询字段key集合，例如FPOOrderEntry_FEntryId,FPurchaseOrgId.FNumber。
    • FormId: 表单ID，这里为ORG_Organizations。

以下是一个示例请求体：

{
    "FormId": "ORG_Organizations",
    "FieldKeys": "FNumber,FName,FOrgID",
    "FilterString": "FApproveDate>='2023-01-01'",
    "Limit": "100",
    "StartRow": "0"
}

数据处理与清洗

在获取到原始数据后，需要对数据进行初步清洗和加工，以便后续的数据转换与写入。轻易云平台提供了自动填充响应（autoFillResponse）功能，可以简化这一过程。

例如，假设我们从金蝶云星空获取到以下原始数据：

[
    {"FNumber": "001", "FName": "组织A", "FOrgID": "1001"},
    {"FNumber": "002", "FName": "组织B", "FOrgID": "1002"}
]

我们可以通过配置自动填充响应，将这些数据映射到目标系统所需的格式。例如，将字段名转换为目标系统所需的命名规范，或者根据业务逻辑进行必要的数据转换。

实践案例

假设我们需要将金蝶云星空中的组织信息同步到另一个系统中，我们可以按照以下步骤进行操作：

  1. 构建请求体：根据元数据配置构建请求体，并调用executeBillQuery接口获取数据。
  2. 解析响应：解析接口返回的数据，并根据需求进行初步清洗和加工。
  3. 映射与转换：将清洗后的数据映射到目标系统所需的格式，准备写入操作。

以下是一个完整的代码示例：

import requests
import json

# 构建请求体
payload = {
    "FormId": "ORG_Organizations",
    "FieldKeys": ["FNumber", "FName", "FOrgID"],
    "FilterString": "FApproveDate>='2023-01-01'",
    "Limit": 100,
    "StartRow": 0
}

# 调用接口
response = requests.post("https://api.kingdee.com/executeBillQuery", json=payload)
data = response.json()

# 初步清洗和加工
cleaned_data = []
for item in data:
    cleaned_data.append({
        "org_code": item["FNumber"],
        "org_name": item["FName"],
        "org_id": item["FOrgID"]
    })

# 输出清洗后的数据
print(json.dumps(cleaned_data, indent=4))

通过上述步骤，我们成功地从金蝶云星空获取了组织信息，并对其进行了初步清洗和加工，为后续的数据转换与写入做好了准备。这一过程展示了轻易云平台在实现异构系统间无缝对接方面的强大能力。 数据集成平台可视化配置API接口

使用轻易云数据集成平台进行ETL转换并写入目标平台

在数据集成过程中，ETL（Extract, Transform, Load）是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台，将从源系统（金蝶）获取的组织信息进行ETL转换，并最终写入目标平台。

数据请求与清洗

首先，从金蝶系统中提取组织信息。这一步骤主要涉及到API调用和数据清洗。假设我们已经通过API成功获取了所需的组织信息数据，并进行了初步的清洗和格式化，使其符合我们内部处理的标准。

数据转换

接下来，我们需要将清洗后的数据转换为目标平台能够接受的格式。这里，我们需要特别注意元数据配置中的各项参数，以确保数据能够正确地被目标平台识别和处理。

元数据配置如下：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}
  1. API接口：指定了目标平台的API接口为“写入空操作”。这意味着我们需要将处理后的数据通过该接口提交到目标平台。
  2. Effect：设置为“EXECUTE”，表示执行该操作。
  3. Method：使用POST方法，这通常用于创建或更新资源。
  4. ID Check：设置为true，表示在写入前需要进行ID检查，以确保不重复写入相同的数据。

数据写入

在完成数据转换后，下一步是将这些数据写入到目标平台。以下是一个示例代码片段，展示了如何通过轻易云集成平台的API接口完成这一操作：

import requests
import json

# 定义要写入的数据
data = {
    "org_id": "12345",
    "org_name": "示例组织",
    "org_type": "部门"
}

# API接口地址
url = "https://api.qingyiyun.com/write"

# 请求头部信息
headers = {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer your_access_token'
}

# 发起POST请求，将数据写入目标平台
response = requests.post(url, headers=headers, data=json.dumps(data))

# 检查响应状态码
if response.status_code == 200:
    print("数据成功写入目标平台")
else:
    print(f"写入失败，状态码：{response.status_code}, 响应内容：{response.text}")

在上述代码中，我们首先定义了要写入的数据，然后通过POST请求将其发送到指定的API接口。为了确保安全性和正确性，我们还添加了必要的请求头部信息，包括内容类型和授权令牌。

ID检查机制

ID检查是一个关键步骤，用于避免重复写入相同的数据。在实际操作中，可以通过查询目标平台现有的数据来实现这一点。如果发现ID已经存在，则可以选择更新现有记录而不是创建新记录。

以下是一个简单的ID检查示例：

# 查询现有记录是否存在
check_url = f"https://api.qingyiyun.com/check/{data['org_id']}"
check_response = requests.get(check_url, headers=headers)

if check_response.status_code == 200 and check_response.json().get('exists'):
    # 如果记录存在，则更新现有记录
    update_url = f"https://api.qingyiyun.com/update/{data['org_id']}"
    update_response = requests.put(update_url, headers=headers, data=json.dumps(data))

    if update_response.status_code == 200:
        print("记录已更新")
    else:
        print(f"更新失败，状态码：{update_response.status_code}, 响应内容：{update_response.text}")
else:
    # 如果记录不存在，则创建新记录
    create_response = requests.post(url, headers=headers, data=json.dumps(data))

    if create_response.status_code == 200:
        print("新记录已创建")
    else:
        print(f"创建失败，状态码：{create_response.status_code}, 响应内容：{create_response.text}")

通过上述步骤，我们实现了从金蝶系统获取组织信息，并经过ETL转换后成功写入到目标平台。这一过程不仅确保了数据的一致性和准确性，还提高了整体业务流程的效率。 用友BIP接口开发配置

版权声明

该文章《快速集成金蝶云星空数据至第三方平台的方法》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案