ETL过程详解：如何通过轻易云API接口实现数据转换与写入

  • 轻易云集成顾问-卢剑航

金蝶云星空与轻易云集成平台的MOM-WWYLQD-委外用料清单数据对接方案

在企业信息系统中，数据的高效集成和实时监控一直是业务部门关注的重点。本文将分享一个具体的技术案例，即如何将金蝶云星空中的“委外用料清单”通过API接口executeBillQuery准确、快速、安全地集成到轻易云的数据集成平台，实现全面透明的业务流程管理。

接口调用与数据流动

首先，通过金蝶云星空提供的API接口executeBillQuery获取“委外用料清单”的数据信息。在此过程中，我们面临分页和限流的问题，需要进行精细化处理，以确保每次请求的数据都是完整且无遗漏的。为此，可以利用轻易云支持批量数据写入以及定时抓取功能，在设定时间内多次执行数据拉取操作，并使用自定义逻辑进行分页控制。

在成功获取到相关数据后，为了解决金蝶云星空与轻易云之间的数据格式差异问题，我们需要使用轻易云集成平台提供的数据转换工具，对原始数据结构做必要调整，使其适应新的目标存储结构。这不仅提高了数据的一致性，还避免了因格式不匹配导致的数据损失或错误写入。此外，自定义映射逻辑也可以进一步优化复杂字段间的关联关系，从而最大限度保障业务需求得到满足。

数据写入及监控

针对从金蝶云星空获取到的大量数据信息，必须保证其能迅速且无误地写入至轻易云集成平台。为了实现这一点，可以依赖于该平台优秀的大吞吐量支持，与相应写入API（如：写入空操作）结合运作，有效减小高并发情况下潜在性能瓶颈。同时，通过集中式监控和告警系统，可随时跟踪任务执行状态，一旦发现异常立即触发告警并启动自动重试机制，大幅提升整体可靠性以及容灾能力。

通过以上步骤，对接整个过程显得尤为简洁明快，各环节交互既具灵活性又有稳定保障，这也正是我们选择这两大平台协同工作的初衷与最终收益所在。随后会进一步介绍详细实操配置过程及举措，敬请期待下文解析...... 打通金蝶云星空数据接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，获取并加工委外用料清单数据。

接口配置与调用

首先，我们需要配置元数据以便正确调用executeBillQuery接口。以下是关键的元数据配置项：

  • api: executeBillQuery
  • method: POST
  • FormId: SUB_PPBOM
  • FieldKeys: 需要查询的字段集合
  • FilterString: 过滤条件
  • Limit: 最大行数
  • StartRow: 开始行索引
  • TopRowCount: 返回总行数

这些配置项确保了我们能够准确地请求到所需的数据，并且可以根据业务需求进行分页和过滤。

请求参数详解

在实际调用过程中，我们需要构建一个包含所有必要字段的请求体。以下是一些关键字段及其描述：

  1. FID (实体主键):

    • 类型：string
    • 描述：Fentity_FEntryID
    • 示例值："FID"

  2. FBillNo (单据编号):

    • 类型：string
    • 描述：单据编号
    • 示例值："FBillNo"

  3. FDocumentStatus (单据状态):

    • 类型：string
    • 描述：单据状态（创建：A，审核中：B，已审核：C，重新审核：D，暂存：Z）
    • 示例值："FDocumentStatus"

  4. FApproveDate (审核日期):

    • 类型：datetime
    • 描述：审核日期
    • 示例值："FApproveDate"

  5. FSubReqBillNO (委外订单编号):

    • 类型：string
    • 描述：创建日期
    • 示例值："FSubReqBillNO"

  6. FMaterialID (产品编码):

    • 类型：string
    • 描述：创建人_名称
    • 示例值："FMaterialID"

  7. FSupplyOrg_FNumber (发料组织):

    • 类型：string
    • 描述：供应商_名称
    • 示例值："FSupplyOrg.FNumber"

  8. FilterString (过滤条件):

    • 类型：string
    • 描述： 
      示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>='{{LAST_SYNC_TIME|dateTime}}' and FSubOrgId.FNumber in ('T02', 'T02.01')

  9. FieldKeys (需查询的字段key集合):

    [
  "FID", "FBillNo", "FDocumentStatus", "FApproveDate", "FCreateDate",
  "FModifyDate", "FSubReqBillNO", "FSubReqEntrySeq", "fPurOrderNo",
  "fPurOrderEntrySeq", "FMaterialID", "FSubOrgId.FNumber", "FQty",
  "FUnitID.FNumber", "FSubReqType.FNumber", "FBaseUnitID.FNumber",
  "FMaterialID2.FNumber", "FMaterialModel2", "FMaterialType",
  "FUnitID2.FNumber", "FNeedDate2", "FIssueType",
  "FSupplyOrg.FNumber", "FSubReqId", "FSubReqEntryId",
  "FMaterialID.FNumber", "Fentity_FSeq"
]

数据请求与清洗

在构建好请求体后，通过POST方法发送请求至金蝶云星空API。返回的数据可能包含多种格式和类型，因此需要进行初步清洗和转换，以确保数据的一致性和完整性。

例如，对于日期类型的数据，需要将其转换为标准的ISO格式；对于数值类型的数据，需要确保其精度和单位的一致性。这些清洗工作可以通过轻易云平台提供的内置工具和脚本来完成。

实际案例应用

假设我们需要查询最近10分钟内所有已审核的委外用料清单数据，可以设置如下过滤条件：

{
  "FilterString": "FApproveDate>='{{MINUTE_AGO_10|datetime}}' and FDocumentStatus='C' and FSubOrgId.FNumber in ('T02', 'T02.01')"
}

结合分页参数，我们可以实现对大规模数据的分批次获取：

{
  "Limit": 3000,
  "StartRow": "{PAGINATION_START_ROW}"
}

通过上述配置，我们可以高效地从金蝶云星空系统中提取所需的数据，并进行进一步处理和分析。

自动化与异常处理

为了提高系统的鲁棒性，可以设置自动化任务和异常处理机制。例如，通过定时任务定期检查并补充遗漏的数据：

{
  "crontab": "*\/5 * * * *",
  "takeOverRequest": {
    ...
  }
}

这种机制确保了即使在网络波动或系统故障情况下，也能最大程度保证数据的一致性和完整性。

综上所述，通过合理配置元数据并利用轻易云平台提供的工具，我们可以高效、可靠地实现对金蝶云星空系统接口的调用与数据集成，为后续的数据处理和分析打下坚实基础。 钉钉与CRM系统接口开发配置

数据转换与写入：轻易云数据集成平台API接口的实现

在数据集成的生命周期中，ETL（Extract, Transform, Load）过程是将源平台的数据转换为目标平台所能接受的格式，并最终写入目标平台的关键步骤。本文将深入探讨如何通过轻易云数据集成平台，将已经集成的源平台数据进行ETL转换，并通过API接口写入目标平台。

数据请求与清洗

在进入数据转换与写入阶段之前，首先需要完成数据请求与清洗。这一步骤确保从源系统获取的数据是准确且符合预期的。假设我们已经从源系统中成功提取了委外用料清单（MOM-WWYLQD）的相关数据，并进行了必要的清洗和预处理。

数据转换

接下来，我们需要将清洗后的数据进行转换，以符合目标平台轻易云集成平台API接口所能接受的格式。以下是一个典型的数据转换示例：

def transform_data(source_data):
    transformed_data = []
    for item in source_data:
        transformed_item = {
            "material_id": item["materialCode"],
            "quantity": item["requiredQuantity"],
            "unit": item["unitOfMeasure"],
            "supplier_id": item["supplierCode"]
        }
        transformed_data.append(transformed_item)
    return transformed_data

在这个示例中，我们将源数据中的materialCode、requiredQuantity、unitOfMeasure和supplierCode字段映射到目标数据结构中的相应字段。

数据写入

完成数据转换后，我们需要将这些数据通过API接口写入目标平台。根据提供的元数据配置，API接口的信息如下：

  • API路径：写入空操作
  • 方法：POST
  • ID检查：true

以下是使用Python和requests库实现这一过程的示例代码：

import requests
import json

def write_to_target_platform(transformed_data):
    url = "https://api.qingyiyun.com/execute"
    headers = {
        "Content-Type": "application/json",
        "Authorization": "Bearer YOUR_ACCESS_TOKEN"
    }

    payload = {
        "api": "写入空操作",
        "effect": "EXECUTE",
        "method": "POST",
        "idCheck": True,
        "data": transformed_data
    }

    response = requests.post(url, headers=headers, data=json.dumps(payload))

    if response.status_code == 200:
        print("Data written successfully.")
    else:
        print(f"Failed to write data. Status code: {response.status_code}, Response: {response.text}")

# 示例调用
source_data = [
    {"materialCode": "MAT001", "requiredQuantity": 100, "unitOfMeasure": "kg", "supplierCode": "SUP001"},
    {"materialCode": "MAT002", "requiredQuantity": 200, "unitOfMeasure": "kg", "supplierCode": "SUP002"}
]

transformed_data = transform_data(source_data)
write_to_target_platform(transformed_data)

在上述代码中，transform_data函数用于将源数据转换为目标格式，而write_to_target_platform函数则负责通过API接口将转换后的数据写入目标平台。

元数据配置解析

根据提供的元数据配置，我们可以看到以下关键点：

  • api: 指定了要调用的API路径，这里是“写入空操作”。
  • effect: 表示此次操作的效果，这里是“EXECUTE”，即执行操作。
  • method: 指定了HTTP方法，这里是“POST”。
  • idCheck: 表示是否进行ID检查，这里为true。

这些配置信息确保我们能够正确地调用API并成功地将数据写入目标平台。

通过以上步骤，我们完成了从源系统提取、清洗、转换并最终通过API接口写入目标平台的数据集成过程。这一过程不仅确保了数据的一致性和准确性，还极大地提高了业务流程的效率和透明度。 用友BIP接口开发配置

版权声明

该文章《ETL过程详解：如何通过轻易云API接口实现数据转换与写入》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

旺店通金蝶对接业财一体化数据集成方案包全业务流程图下载
更多系统对接方案