配置与实现K3-WISE到轻易云数据的ETL转换与加载

  • 轻易云集成顾问-叶威宏

案例分享：金蝶K3-WISE数据集成到轻易云平台

在企业信息化系统中，如何有效整合多种来源的数据一直是一大挑战。本文将探讨一个具体的实际应用案例——金蝶K3-WISE系统与轻易云数据集成平台的对接。这个项目的核心目标是通过Material/GetList接口查询K3物料，并将获取的数据定时可靠地抓取、批量写入到轻易云平台，同时实现对数据格式差异和分页限流问题的处理。

首先，在确保数据不漏单方面，我们采用了定时任务机制，每隔固定时间段调用一次Material/GetList接口，用来抓取最新的物料数据，并记录上次成功操作的位置，以便在异常情况下进行错误重试。这一过程不仅保障了数据获取的一致性和完整性，还提升了系统健壮性。

其次，大量数据快速写入也是一项技术难题。在本案例中，我们利用轻易云集成平台提供的大规模并发写入API接口，实现了高效的数据传输。为了应对分页和限流的问题，通过细粒度控制请求频率，同时借助日志记录功能实时监控每个步骤，从而确保整个流程都处于可控状态。

同时，对于两者间存在的数据格式差异，采取了一系列预处理措施，包括在线字段映射和类型转换，这些预处理工作都由轻易云的平台具备高度灵活性的自定义映射规则来完成。此外，为提高整体运行效率，该方案还支持自动化检测与异常处理机制，一旦发生错误可以立即触发重试程序，尽可能减少人工干预。

这一套全面的方法，不仅让我们能够准确、高效地完成从金蝶K3-WISE到轻易云集成平台的数据迁移，也为类似场景下的信息化改造提供了宝贵经验与参考价值。在接下来部分，将详细介绍具体实施方案中的关键技术点及其实现策略。

如何对接金蝶云星空API接口

调用金蝶K3-WISE接口Material/GetList获取并加工数据

在数据集成生命周期的第一步，我们需要调用源系统金蝶K3-WISE的接口Material/GetList来获取物料信息，并对数据进行初步加工。本文将详细介绍如何通过轻易云数据集成平台配置元数据，完成这一过程。

接口调用配置

首先，我们需要配置API调用的基本信息。根据提供的元数据配置，接口路径为Material/GetList，请求方法为POST。以下是具体的配置细节：

{
  "api": "Material/GetList",
  "method": "POST",
  "number": "FNumber",
  "id": "FItemId",
  "pagination": {
    "pageSize": 100
  },
  "idCheck": true,
  "request": [
    {"field":"FHelpCode","label":"助记码","type":"string","value":"FHelpCode"},
    {"field":"FModel","label":"规格型号","type":"string","value":"FModel"},
    {"field":"FAuxClassID","label":"辅助属性类别","type":"string","value":"FAuxClassID"},
    {"field":"FErpClsID","label":"物料属性","type":"string","value":"FErpClsID"},
    {"field":"FTypeID","label":"物料分类","type":"string","value":"FTypeID"},
    {"field":"FUnitGroupID","label":"计量单位组","type":"string","value":"FUnitGroupID"},
    {"field":"FUnitID","label":"基本计量单位","type":"string","value":"FUnitID"},
    {"field":"FOrderUnitID","label":"采购计量单位","type":"string","value":"FOrderUnitID"},
    {"field":"FSaleUnitID","label":"销售计量单位","type":"string","value":"FSaleUnitID"},
    {"field":"FProductUnitID","label":"生产计量单位","type":"string","value":"FProductUnitID"},
    {"field":"FStoreUnitID","label":"库存计量单位","type":"string","value":"FStoreUnitID"},
    {"field": "FSecUnitID", "label": "辅助计量单位", "type": "string", "value": "FSecUnitID"}
  ],
  "otherRequest": [
    {"field": "Top", "label": "当前记录数", "type": "string", "value": "900000000"},
    {"field": "PageSize", "label": "每页条数", "type": "string", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "PageIndex", "label": "开始行索引", "type": "string", 
        "value": "_function {PAGINATION_START_PAGE}+1"}
  ]
}

数据请求与清洗

在完成API调用配置后，我们需要处理返回的数据。由于金蝶K3-WISE返回的数据可能包含大量字段，我们可以根据业务需求选择性地提取和清洗数据。例如，我们可以只保留以下关键字段：

  • 助记码（FHelpCode）
  • 规格型号（FModel）
  • 辅助属性类别（FAuxClassID）
  • 基本计量单位（FUnitID）

通过轻易云平台的可视化界面，可以方便地配置这些字段的提取和清洗规则。以下是一个示例代码片段，用于提取和清洗上述字段：

{
  "$selectFields$":[
      "$.data[*].FHelpCode as HelpCode",
      "$.data[*].FModel as Model",
      "$.data[*].FAuxClassID as AuxClass",
      "$.data[*].FUnitID as Unit"
   ]
}

数据转换与写入

在完成数据清洗后，我们需要将数据转换为目标系统所需的格式，并写入到目标数据库或系统中。轻易云平台支持多种异构系统间的数据转换和写入，可以根据具体需求进行灵活配置。

例如，如果目标系统是一个关系型数据库，我们可以将清洗后的数据转换为SQL插入语句，并批量写入数据库：

INSERT INTO MaterialInfo (HelpCode, Model, AuxClass, Unit)
VALUES (?, ?, ?, ?)

通过轻易云平台，可以自动生成并执行上述SQL语句，从而实现数据的无缝对接。

实时监控与调试

在整个数据集成过程中，实时监控和调试是确保数据准确性和完整性的关键。轻易云平台提供了全面的监控和日志功能，可以实时查看API调用状态、数据处理进度以及错误日志，帮助快速定位和解决问题。

通过以上步骤，我们成功实现了从金蝶K3-WISE接口获取物料信息，并对数据进行初步加工，为后续的数据转换与写入打下了坚实基础。这一过程充分利用了轻易云平台的强大功能，实现了高效、透明的数据集成。 金蝶与MES系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入目标平台

在数据集成的生命周期中，ETL（提取、转换、加载）过程是至关重要的一环。本文将深入探讨如何通过轻易云数据集成平台将已集成的源平台数据进行ETL转换，最终写入目标平台。

数据提取与清洗

在进行ETL过程之前，首先需要从源系统中提取数据，并对其进行初步清洗。假设我们从K3系统中查询物料信息，这些数据通常包含多个字段，如物料编码、物料名称、规格型号等。在提取过程中，我们需要确保数据的完整性和准确性。

数据转换

在轻易云数据集成平台中，数据转换是一个关键步骤。我们需要将从K3系统中提取的数据转换为目标平台所能接收的格式。这一步通常涉及以下几个方面：

  1. 字段映射：将源系统中的字段映射到目标系统中的对应字段。例如，将K3系统中的“物料编码”映射到目标平台中的“itemCode”。
  2. 数据类型转换：确保源系统和目标系统之间的数据类型一致。例如，将字符串类型的日期转换为目标系统所需的日期格式。
  3. 业务规则应用：根据业务需求对数据进行处理，例如计算总价、添加默认值等。

具体实现时，可以使用轻易云提供的可视化界面或编写自定义脚本来完成这些操作。

数据加载

在完成数据转换后，需要将处理好的数据加载到目标平台。根据提供的元数据配置，我们可以看到以下配置项：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

这些配置项定义了如何调用目标平台的API接口来写入数据。下面详细解释每个配置项的含义：

  • api: 指定了要调用的API接口名称。在这里，我们使用的是“写入空操作”接口。
  • effect: 定义了API调用的效果。在这个例子中，设置为“EXECUTE”，表示执行操作。
  • method: 指定了HTTP请求的方法，这里使用的是POST方法。
  • idCheck: 表示是否需要进行ID检查。如果设置为true，则在写入之前会检查是否存在重复ID，以避免重复写入。

基于上述配置，我们可以编写一个简单的HTTP POST请求，将转换后的数据发送到目标平台。例如，使用Python代码实现这一过程：

import requests
import json

# 定义API接口URL
url = "https://api.qingyiyun.com/write"

# 构建请求头
headers = {
    "Content-Type": "application/json"
}

# 构建请求体
data = {
    "itemCode": "12345",
    "itemName": "测试物料",
    "specification": "规格型号"
}

# 发送POST请求
response = requests.post(url, headers=headers, data=json.dumps(data))

# 检查响应状态码
if response.status_code == 200:
    print("数据写入成功")
else:
    print("数据写入失败:", response.text)

以上代码展示了如何通过HTTP POST请求将处理好的数据发送到目标平台。实际应用中，可以根据具体业务需求调整请求体的数据结构和内容。

总结

通过轻易云数据集成平台，我们可以高效地完成从源系统到目标平台的数据ETL过程。本文重点介绍了如何进行字段映射、数据类型转换以及业务规则应用，并详细讲解了如何利用API接口将处理后的数据加载到目标平台。这些技术细节对于实现高效、可靠的数据集成至关重要。 用友BIP接口开发配置

版权声明

该文章《配置与实现K3-WISE到轻易云数据的ETL转换与加载》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案