用轻易云数据集成平台实现ETL转换与数据写入

  • 轻易云集成顾问-吴伟

金蝶云星空数据集成至轻易云集成平台

在实现企业信息系统整合过程中，我们经常需要对接不同的业务系统，实现数据的无缝流通和处理。本案例中，我们将重点介绍如何通过轻易云数据集成平台，完成金蝶云星空系统的数据对接与导入。具体方案涉及到从金蝶云星空获取物料信息，并定时将这些数据可靠地写入轻易云。

案例背景：查询金蝶物料

为了确保业务运作顺畅，需要实时抓取金蝶云星空中的物料数据，并进行适当的数据处理后，将其批量写入轻易云集成平台。此次对接具有一定的挑战性，例如如何调用executeBillQuery接口高效获取大量数据、解决分页和限流问题，以及在两大平台之间处理格式差异等。

实现步骤概述

  1. 调用executeBillQuery接口抓取数据
    首先，通过配置查询API executeBillQuery 从金蝶云星空系统实时拉取所需的物料信息。在这个步骤中，我们必须应对可能出现的高并发请求限制以及分页操作的问题，以确保取得完整且准确的数据不漏单。

  2. 定制化映射与转换
    获取到原始数据之后，需要根据需求进行必要的字段映射和格式转换，这样才能保证能正确地导入至目标数据库。这一过程尤为重要，因为两个不同系统间通常会存在字段命名及类型的不一致。

  3. 批量快速写入
    经过转化后的数据信息，通过轻易云提供的大容量、高效率批量写入机制能够迅速被录入到目标数据库。在此步中，还要做好错误重试机制的设计，以保障任何由于网络波动或其他异常情况引起的数据缺失能够被及时发现并修正。

  4. 监控与日志记录
    为了充分掌握整个流程中的各个环节状态，需启用实时监控功能，并详细记录每一次任务执行情况，包括成功条目数量、失败原因等细节。这些日志对于后续调优和故障排查有着重要价值。

本文将在以下段落详细讲解上述关键步骤，其中包括API调用细节、分页策略、格式转换逻辑以及异常处理方案等技术要点。 金蝶与外部系统打通接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空接口executeBillQuery来获取并加工物料数据。

接口配置与调用

首先，我们需要配置接口的元数据。根据提供的元数据配置，executeBillQuery接口使用POST方法进行调用，其主要参数包括业务对象表单ID、查询字段集合、过滤条件等。

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FNumber",
  "id": "FMasterId",
  "name": "FNumber",
  "request": [
    {"field":"FMasterId","label":"id","type":"string","describe":"id","value":"FMasterId"},
    {"field":"FNumber","label":"编码","type":"string","describe":"编码","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","describe":"名称","value":"FName"},
    {"field":"FSpecification","label":"规格型号","type":"string","describe":"规格型号","value":"FSpecification"},
    {"field":"FOldNumber","label":"旧物料编码","type":"string","describe":"旧物料编码","value":"FOldNumber"},
    {"field":"FDescription","label":"描述","type":"string","describe":"描述","value":"FDescription"},
    {"field":"FMaterialGroup_FNumber","label":"物料分组","type":"string","describe":"物料分组","value":"FMaterialGroup.FNumber"},
    {"field":"FErpClsID","label":"物料属性","type":"string","describe":"物料属性","value":"FErpClsID"},
    {"field":"FForbidStatus","label":"禁用状态","type":"string","describe":"禁用状态","value":"FForbidStatus"},
    {"field":...}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "2000"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field":...}
  ],
  ...
}

请求参数解析

  1. FormId: 表单ID，指定为BD_MATERIAL，表示我们要查询的是物料信息。
  2. FieldKeys: 查询字段集合，通过解析器将数组转换为字符串格式，如"FMasterId,FNumber,FName,..."。
  3. FilterString: 用于过滤查询结果，例如："FUseOrgId.fnumber='100' and FModifyDate>='{{LAST_SYNC_TIME|dateTime}}'"。
  4. Limit和StartRow: 分页参数，用于控制每次查询的数据量和起始位置。

数据请求与清洗

在实际操作中，我们通过API请求获取到的数据通常需要进行清洗和预处理。以下是一个示例请求体：

{
  "FormId": "BD_MATERIAL",
  "FieldKeys": ["FMasterId", ...].join(","),
  ...
}

通过上述请求，我们可以从金蝶云星空系统中获取到原始的物料数据。接下来，需要对这些数据进行清洗和转换，以便后续的数据处理和写入。

数据转换与写入

在清洗过程中，我们可能需要对某些字段进行格式转换或合并。例如，将多个字段组合成一个新的字段，或者将日期格式统一为标准格式。以下是一个简单的数据清洗示例：

function cleanData(rawData) {
  return rawData.map(item => ({
    id: item.FMasterId,
    code: item.FNumber,
    name: item.FName,
    specification: item.FSpecification,
    oldCode: item.FOldNumber,
    description: item.FDescription,
    materialGroup: item.FMaterialGroup_FNumber,
    ...
  }));
}

经过清洗后的数据可以直接用于后续的数据写入阶段。在这个过程中，我们可以利用轻易云平台提供的可视化工具和实时监控功能，确保每个环节都透明可见，并及时发现和解决潜在问题。

实际案例分析

假设我们需要从金蝶云星空系统中获取所有启用状态下的物料信息，并将其导入到目标系统中。我们可以设置如下过滤条件：

{
  ...
  "FilterString": "(FForbidStatus = 'A')"
}

通过这种方式，我们能够精准地筛选出符合条件的数据，并通过轻易云平台实现高效的数据集成和处理。

综上所述，通过合理配置和调用金蝶云星空接口executeBillQuery，我们能够高效地获取并加工所需的物料数据，为后续的数据处理奠定坚实基础。 钉钉与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换和数据写入

在数据集成的生命周期中，ETL（Extract, Transform, Load）是至关重要的一步。本文将深入探讨如何利用轻易云数据集成平台，将已经集成的源平台数据进行ETL转换，并最终写入目标平台。

数据提取与清洗

首先，我们从金蝶物料系统中提取原始数据。提取的数据可能包含多种格式和冗余信息，因此需要进行初步的清洗操作。这一步骤确保数据的准确性和一致性，为后续的转换和写入奠定基础。

数据转换

在数据清洗完成后，接下来是将这些数据转换为目标平台所需的格式。在轻易云数据集成平台中，这一步骤可以通过配置元数据来实现。以下是一个典型的元数据配置示例：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

这个配置文件定义了API接口相关的信息，包括API名称、操作类型、HTTP方法以及是否需要ID检查等关键参数。

  1. API名称："api": "写入空操作"，指定了目标API接口。
  2. 操作类型："effect": "EXECUTE"，表示执行操作。
  3. HTTP方法："method": "POST"，指定了使用POST方法进行数据提交。
  4. ID检查："idCheck": true，确保在写入前进行ID验证，以避免重复或错误的数据插入。

数据写入

在完成数据转换后，下一步是将转换后的数据写入目标平台。通过上述配置文件，我们可以调用轻易云集成平台的API接口，将处理好的数据发送到目标系统。

以下是一个具体的技术案例：

  1. 构建请求体： 根据目标API接口要求，构建符合规范的JSON请求体。例如：

    {
 "materialId": "12345",
 "materialName": "Example Material",
 "quantity": 100,
 "unitPrice": 50.0
}

  2. 发送请求： 使用HTTP POST方法，将构建好的请求体发送到目标API接口。例如，在Python中可以使用requests库实现：

    import requests

url = 'https://api.qingyiyun.com/write'
headers = {'Content-Type': 'application/json'}
data = {
   'materialId': '12345',
   'materialName': 'Example Material',
   'quantity': 100,
   'unitPrice': 50.0
}

response = requests.post(url, json=data, headers=headers)

if response.status_code == 200:
   print("Data written successfully")
else:
   print("Failed to write data", response.text)

  3. 处理响应： 检查API响应状态码及返回信息，以确认数据是否成功写入。如果出现错误，根据返回的信息进行相应的处理和调整。

实时监控与日志记录

在整个ETL过程中，实时监控和日志记录是必不可少的。通过轻易云数据集成平台提供的可视化界面，可以实时监控每个环节的数据流动和处理状态。一旦出现问题，可以迅速定位并解决，从而保证整个流程的顺利进行。

总结

通过上述步骤，我们详细介绍了如何使用轻易云数据集成平台进行ETL转换，并将处理后的数据写入目标平台。关键在于合理配置元数据文件，并严格按照API接口规范构建和发送请求，从而实现高效、准确的数据集成。 钉钉与WMS系统接口开发配置

版权声明

该文章《用轻易云数据集成平台实现ETL转换与数据写入》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案