ETL转换与数据集成：从金蝶云星空到轻易云平台

  • 轻易云集成顾问-何语琴

高效数据集成：金蝶云星空到轻易云的实现方案

在企业信息化系统中，数据流转和处理的效率直接影响着整体业务运作。为了应对大量数据快速写入、精确监控和及时报警等需求，我们采用了“Done-金蝶-分步式调出单--->空操作”方案，实现了金蝶云星空与轻易云平台的数据集成。

本篇文章将聚焦于这一技术案例，从API接口调用、数据转换逻辑到异常处理机制，详细解析关键步骤及其实现方法。

我们使用了以下两个主要API接口：

  1. 获取金蝶云星空的数据（executeBillQuery API）
  2. 写入到轻易云平台（写入空操作 API）

1. 数据抓取与分页处理

首先，通过executeBillQuery接口定时可靠地抓取来自金蝶云星空的数据。这个过程需要特别关注分页和限流问题，以确保不漏单并且不超载系统负荷。这里，我们设计了一套智能调度策略，根据返回结果中的总数和每页数量动态调整请求频率，并结合重试机制来保证数据完整性。

2. 自定义数据转换逻辑

从不同系统获取的数据格式通常存在差异，为此我们自定义了一组转换逻辑，将原始的JSON格式数据统一映射至符合目标结构的形式。在这一步中，灵活应用轻易云提供的可视化工具，使得复杂的数据映射工作变得直观高效，同时支持各类业务规则定制化需求。

3. 数据批量写入与质量监控

接下来，通过调用“写入空操作” API，支持高吞吐量批量将整理后的数据快速导入轻易云集成平台。这一过程中，还引用了集中监控和告警功能，对每一次任务执行状态进行实时跟踪，一旦发现异常情况立即触发预警，并自动记录日志以供分析。

至此阶段，我们成功搭建了一个稳健、高效且透明度极高的数据集成流程。不仅满足日常业务运营需要，也为未来可能遇到的大规模扩展留有充裕空间。在后续内容中，将进一步探讨具体实施细节以及如何优化这些环节中的性能表现。 泛微OA与ERP系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据并进行初步加工。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来实现这一目标。

接口配置与调用

首先，我们需要配置调用金蝶云星空接口的元数据。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FBillNo",
  "id": "FSTKTRSOUTENTRY_FEntryID",
  "name": "FBillNo",
  ...
}

该配置定义了API名称、请求方法以及主要字段标识符等。我们需要特别注意request和otherRequest字段，它们定义了请求参数和其他请求选项。

请求参数详解

在调用接口时，我们需要传递一系列请求参数，这些参数在元数据配置中的request字段中定义。以下是部分关键字段及其描述：

  • FSTKTRSOUTENTRY_FEntryID: 分录ID，用于唯一标识每条记录。
  • FID: 实体主键。
  • FBillNo: 单据编号。
  • FDocumentStatus: 单据状态，可能值包括“暂存”、“创建”、“审核中”、“已审核”等。
  • FStockOrgID_FNumber: 调入库存组织编号。
  • FDate: 日期。

这些字段确保我们能够准确地查询到所需的数据，并且可以根据业务需求进行过滤和排序。

其他请求选项

除了基本的请求参数外，我们还可以使用一些其他请求选项来优化查询。这些选项在元数据配置中的otherRequest字段中定义，例如：

  • Limit: 最大行数，用于分页查询。
  • StartRow: 开始行索引，用于分页查询。
  • FilterString: 过滤条件，用于精确筛选数据。例如，可以设置为FSupplierId.FNumber = 'VEN00010' and FApproveDate >= '2023-01-01'。

这些选项使得我们能够灵活地控制查询结果的范围和内容，从而提高数据处理效率。

数据获取与初步加工

在完成接口调用并获取到原始数据后，我们需要对其进行初步加工。这一步通常包括以下几个步骤：

  1. 数据清洗：去除无效或重复的数据，确保数据质量。例如，可以过滤掉单据状态为“暂存”的记录。
  2. 数据转换：将原始数据转换为目标系统所需的格式。例如，将日期格式从“YYYY-MM-DD”转换为“MM/DD/YYYY”。
  3. 字段映射：将源系统的字段映射到目标系统的字段。例如，将金蝶云星空中的FBillNo映射到目标系统中的“单据编号”。

示例代码

以下是一个示例代码片段，展示了如何通过轻易云平台调用金蝶云星空接口并进行初步加工：

import requests
import json

# 定义请求URL和头信息
url = "https://api.kingdee.com/executeBillQuery"
headers = {
    "Content-Type": "application/json"
}

# 定义请求参数
payload = {
    "FormId": "STK_TRANSFEROUT",
    "FieldKeys": ["FBillNo", "FDate", "FDocumentStatus"],
    "FilterString": "(FModifyDate>='2023-01-01' or FApproveDate >='2023-01-01') and FStockInOrgID.FNumber in ('102') and FDocumentStatus='C'",
    "Limit": 100,
    "StartRow": 0
}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 检查响应状态码
if response.status_code == 200:
    data = response.json()
    # 数据清洗与转换
    cleaned_data = []
    for record in data:
        if record['FDocumentStatus'] == 'C':
            cleaned_record = {
                '单据编号': record['FBillNo'],
                '日期': record['FDate'],
                '状态': '已审核'
            }
            cleaned_data.append(cleaned_record)

    # 输出清洗后的数据
    print(cleaned_data)
else:
    print(f"Error: {response.status_code}")

通过上述代码，我们可以成功地从金蝶云星空获取并加工所需的数据，为后续的数据处理和写入奠定基础。 用友与SCM系统接口开发配置

数据集成生命周期中的ETL转换与写入

在数据集成过程中，ETL（Extract, Transform, Load）转换是至关重要的一步。本文将重点探讨如何将已经集成的源平台数据进行ETL转换，并转为目标平台轻易云集成平台API接口所能够接收的格式，最终写入目标平台。

ETL转换与数据清洗

在数据从源平台提取之后，首先需要对其进行清洗和转换。数据清洗的目的是确保数据的完整性、一致性和准确性。常见的数据清洗操作包括去除重复数据、填补缺失值、标准化数据格式等。

例如，从金蝶系统中提取的调出单数据可能包含多种格式的不一致性，如日期格式、货币单位等。在进行ETL转换时，需要统一这些格式，以便后续处理。

def clean_data(data):
    # 示例代码：清洗日期格式
    for record in data:
        record['date'] = standardize_date(record['date'])
    return data

def standardize_date(date_str):
    # 将日期字符串转换为标准格式
    return datetime.strptime(date_str, '%Y-%m-%d').strftime('%Y%m%d')

数据转换

在完成数据清洗后，下一步是将数据转换为目标平台所需的格式。这一步通常涉及到字段映射、数据类型转换等操作。

假设我们需要将金蝶系统中的调出单数据转换为轻易云集成平台API接口所能接收的JSON格式，可以使用如下示例代码：

def transform_data(data):
    transformed_data = []
    for record in data:
        transformed_record = {
            "order_id": record["调出单号"],
            "order_date": record["日期"],
            "items": [{
                "item_id": item["物料编码"],
                "quantity": item["数量"]
            } for item in record["物料明细"]]
        }
        transformed_data.append(transformed_record)
    return transformed_data

数据写入目标平台

完成数据转换后，最后一步是将其写入目标平台。根据提供的元数据配置，我们需要调用轻易云集成平台的API接口，将处理后的数据POST到指定的接口上。

元数据配置如下：

{
    "api":"写入空操作",
    "effect":"EXECUTE",
    "method":"POST",
    "idCheck":true
}

根据该配置，我们可以编写如下代码来实现数据写入：

import requests

def write_to_target_platform(data):
    url = "https://api.qingyiyun.com/execute"
    headers = {"Content-Type": "application/json"}

    for record in data:
        response = requests.post(url, json=record, headers=headers)
        if response.status_code == 200:
            print(f"Record {record['order_id']} written successfully.")
        else:
            print(f"Failed to write record {record['order_id']}: {response.text}")

# 主流程
source_data = extract_data_from_kingdee()
cleaned_data = clean_data(source_data)
transformed_data = transform_data(cleaned_data)
write_to_target_platform(transformed_data)

上述代码首先从金蝶系统中提取原始数据，然后依次进行清洗、转换，并最终通过POST请求将其写入轻易云集成平台。每一步都严格按照元数据配置和API接口要求进行，以确保整个流程的顺利进行。

通过这种方式，我们实现了不同系统间的数据无缝对接，确保了业务流程的高效运作。 打通金蝶云星空数据接口

版权声明

该文章《企业高效数据集成案例：从金蝶云星空到轻易云》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案