用友BIP数据集成到轻易云集成平台案例分享 — 查询YS物料-01-ok

在实际业务环境中，如何高效、可靠地实现系统间的数据对接是一项关键任务。本次技术案例将详细介绍如何通过轻易云集成平台，将用友BIP系统中的物料信息查询接口（/yonbip/digitalModel/product/querylist）成功集成，实现高效的数据同步和管理。

方案简介：查询YS物料-01-ok

该方案旨在通过调用用友BIP的产品查询API，将YS物料数据批量抓取，然后利用轻易云集成平台的强大写入能力和可视化操作界面进行处理，并最终写入目标数据库。整个过程中，我们关注以下几个技术要点：

1. 定时可靠抓取与分页处理： 利用调度功能，按指定时间周期从用友BIP接口稳定获取数据，同时解决API分页限流问题，确保完整性与连续性。

2. 自定义数据转换逻辑： 根据业务需求，通过轻易云提供的灵活映射工具，自定义转换从原始格式到目标结构的数据格式，使其符合下游系统要求。

3. 实时监控及告警机制： 集成功能中引入集中监控和告警模块，即时跟踪每个步骤的状态和性能表现，当出现异常或错误重试机制触发条件时立即通知相关人员。

4. 高吞吐量及批量写入： 在大量YS物料数据迁移过程中，充分发挥平台支持的大规模并行处理能力，以提升整体执行效率并保证先进先出的顺序原则。

5. 错误捕获与重试机制： 在多变复杂网络环境下，加强请求发送期间的容错策略，包括自动重试失败请求、记录异常日志等，提高任务执行完整度。

技术实现细节概述：

我们首先配置了一个定时调度任务，通过HTTP调用方式访问/yonbip/digitalModel/product/querylist接口获取物料列表。为了应对可能存在的大量数据，本例采用了分页抓取，每次仅拉取固定数量条目，同时配合限流控制避免过快触达上限。得益于轻易云的平台特性，可以通过直观拖拽设计出复杂但清晰的数据流图，提高开发效率并减少潜在错误风险。

调用用友BIP接口获取并加工数据的技术案例

在数据集成过程中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用用友BIP接口/yonbip/digitalModel/product/querylist来获取并加工数据。

接口配置与调用

首先，我们需要配置元数据以便正确调用用友BIP接口。根据提供的元数据配置，接口的基本信息如下：

• API路径: /yonbip/digitalModel/product/querylist
• 请求方法: POST
• 功能: 查询YS物料列表

请求参数包括：

• pageIndex: 页码，默认值为1
• pageSize: 每页记录数，默认值为200
• beganTime: 开始时间（时间戳），用于增量同步
• endTime: 结束时间（时间戳），用于增量同步

这些参数确保了我们能够分页获取数据，并且支持基于时间戳的增量同步。

请求参数配置

在轻易云平台中，我们可以通过以下方式配置请求参数：

{
  "api": "/yonbip/digitalModel/product/querylist",
  "effect": "QUERY",
  "method": "POST",
  "number": "code",
  "id": "id",
  "request": [
    {
      "field": "pageIndex",
      "label": "页码",
      "type": "string",
      "describe": "例：1 默认值：1",
      "value": "1"
    },
    {
      "field": "pageSize",
      "label": "每页数",
      "type": "string",
      "describe": "例：10 默认值：10",
      "value": "200"
    },
    {
      "field": "beganTime",
      "label": "开始时间（时间戳对比使用）",
      "type": "string",
      "describe": "例：false 默认值：false",
      "value": "{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "endTime",
      "label": "结束时间（时间戳对比使用）",
      "type": "string",
      "",
      "",
"describe":"例：false 默认值：false","value":"{{CURRENT_TIME|datetime}}"}],"autoFillResponse":true}

数据请求与清洗

在完成请求参数配置后，我们可以发起HTTP POST请求来获取数据。以下是一个示例请求体：

{
  “pageIndex”: “1”,
  “pageSize”: “200”,
  “beganTime”: “2023-01-01T00:00:00Z”,
  “endTime”: “2023-01-31T23:59:59Z”
}

响应结果将包含物料列表及其详细信息。为了确保数据质量和一致性，我们需要对返回的数据进行清洗和转换。例如，可能需要处理空值、格式化日期字段、过滤无效记录等。

数据转换与写入

清洗后的数据需要进行适当的转换，以便写入目标系统或数据库。在轻易云平台中，可以利用内置的数据转换工具进行字段映射、类型转换等操作。例如，将日期字段从字符串格式转换为标准的日期对象，或者将物料编码从字符串转换为整数。

以下是一个简单的数据转换示例：

{
  “materialCode”: “code”,
  “materialName”: “name”,
  “creationDate”: {“$dateFromString”: {“dateString”: “creationDate”, “format”: “%Y-%m-%dT%H:%M:%S.%LZ”}}
}

实时监控与调试

在整个数据集成过程中，实时监控和调试是确保系统稳定运行的重要环节。轻易云平台提供了全面的日志记录和监控功能，可以帮助我们及时发现并解决问题。例如，通过查看日志，可以快速定位到某个特定请求失败的原因，并进行相应调整。

总结

通过上述步骤，我们成功地调用了用友BIP接口/yonbip/digitalModel/product/querylist，并对返回的数据进行了清洗和转换。这一过程展示了如何利用轻易云平台实现高效的数据集成和处理，为后续的数据分析和业务决策提供了坚实基础。

使用轻易云数据集成平台进行ETL转换并写入目标平台的技术案例

在数据集成生命周期中，ETL（Extract, Transform, Load）转换是关键步骤之一。本文将详细探讨如何利用轻易云数据集成平台，将已经集成的源平台数据进行ETL转换，并最终写入目标平台。

数据请求与清洗

在完成数据请求与清洗后，我们获取了源平台的数据。接下来，我们需要将这些数据转换为目标平台能够接收的格式。这一过程涉及多个技术细节，包括数据格式的转换、字段映射和API接口调用。

数据转换与写入

为了将清洗后的数据转化为目标平台所需的格式，我们需要进行以下几个步骤：

1. 字段映射：

   • 确定源数据和目标数据之间的字段对应关系。例如，源平台的物料编码可能需要映射到目标平台的产品ID。
   • 使用轻易云提供的可视化界面，可以直观地拖拽和配置字段映射关系，确保每个字段都能正确匹配。

2. 数据格式转换：

   • 确保源数据格式符合目标API接口要求。例如，如果目标接口要求日期格式为YYYY-MM-DD，而源数据为DD/MM/YYYY，则需要进行相应的日期格式转换。
   • 轻易云平台提供了丰富的数据转换工具，可以通过简单配置实现复杂的数据格式转换。

3. API接口调用：

   • 配置API接口调用参数，包括URL、HTTP方法、请求头和请求体等。
   • 根据元数据配置示例：

     {
     "api": "写入空操作",
     "effect": "EXECUTE",
     "method": "POST",
     "idCheck": true
     }

     我们可以看到，需要使用POST方法调用“写入空操作”API，并且需要进行ID检查。

4. 执行ETL任务：

   • 在轻易云平台上创建一个新的ETL任务，将上述配置应用于任务中。
   • 配置任务调度，确保定时或实时执行ETL任务。
   • 实时监控任务执行状态，查看日志和报表，以便及时发现并解决问题。

技术案例：具体实现步骤

1. 创建字段映射规则： 在轻易云平台上，进入“字段映射”模块，创建一个新的映射规则。假设我们有以下字段需要映射：

   • 源平台字段：material_code 映射到 目标平台字段：product_id
   • 源平台字段：material_name 映射到 目标平台字段：product_name

2. 配置数据格式转换： 在“数据转换”模块中，为日期字段配置格式转换规则。例如，将 DD/MM/YYYY 转换为 YYYY-MM-DD。

3. 设置API接口调用： 在“API接口”模块中，根据元数据配置设置API调用参数：

   {
    "api": "https://target-platform.com/api/write",
    "method": "POST",
    "headers": {
      "Content-Type": "application/json"
    },
    "body": {
      "product_id": "{{material_code}}",
      "product_name": "{{material_name}}"
    },
    "idCheck": true
   }

4. 创建并执行ETL任务： 在“任务管理”模块中，创建一个新的ETL任务，将上述配置应用于任务中。设置调度策略，例如每天凌晨1点执行一次。启动任务后，可以在“监控中心”查看实时执行情况和日志。

通过上述步骤，我们成功地将源平台的数据进行了ETL转换，并通过API接口写入到了目标平台。这不仅提高了数据处理效率，还确保了数据的一致性和准确性。