ETL转换与写入：轻易云平台实现从金蝶云仓库数据到目标系统

  • 轻易云集成顾问-杨嫦

金蝶云星空与轻易云集成平台的数据对接实践

在本案例中，我们将探讨如何将金蝶云星空的仓库数据高效、安全地集成到轻易云数据集成平台，以实现实时数据查询和业务处理。我们主要关注的接口是金蝶云星空API中的executeBillQuery，以及轻易云的写入操作。

首先，通过调用金蝶云星空的executeBillQuery接口，我们能够定时、可靠地抓取仓库管理系统中的最新数据信息。在这过程中，为了确保大量数据在高并发环境下被快速且准确地写入到轻易云集成平台，我们利用其支持批量数据处理和自定义转换逻辑等特性，将原始数据进行标准化和整合。

在实施方案过程中，还需要注意处理分页和限流问题。为此，我们设计了一套分段抓取和动态调整速率的机制，确保每次请求都能有效获取目标数据而不超负荷。此外，通过轻易云提供的数据质量监控与异常检测功能，可以及时发现并解决可能出现的数据一致性或缺失问题，从而避免漏单现象发生。

接下来是一系列关键步骤，包括如何调用上述API，实现跨平台元数据映射，以及通过集中监控系统跟踪任务状态。这些技术要点不仅提高了整体效率，还增强了对整个集成流程的可视化管理能力，使企业得以更好掌握各环节运行情况，实现资源最大化利用。 轻易云数据集成平台金蝶集成接口配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取并加工仓库数据。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用金蝶云星空的API。以下是具体的元数据配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FStockId",
  "pagination": {
    "pageSize": 100
  },
  "autoFillResponse": true,
  "request": [
    {"field":"FStockId","label":"id","type":"string","value":"FStockId"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    {"field":"FGroup","label":"分组","type":"string","value":"FGroup"},
    {"label":"使用组织","field":"FUseOrgId","type":"string","value":"FUseOrgId.FNumber"}
  ],
  "otherRequest": [
    {"field":"Limit","label":"最大行数","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"StartRow","label":"开始行索引","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
    {"field":"TopRowCount","label":"返回总行数","type":"int","describe":"金蝶的查询分页参数"},
    {"field":"FilterString","label":"过滤条件","type":"string","describe":"示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>='{{LAST_SYNC_TIME|dateTime}}'","value":"FModifyDate>='{{LAST_SYNC_TIME|dateTime}}'"},
    {"field":"FieldKeys","label":"需查询的字段key集合","type": "array", "describe": "金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber", "parser":{"name": "ArrayToString", "params": ","}},
    {"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "BD_STOCK"}
  ]
}

请求结构解析

  1. API和方法：我们使用的是executeBillQuery API，并且采用POST方法进行请求。
  2. 分页设置：每次请求的数据量设置为100条，通过pageSize字段控制。
  3. 请求字段：包括仓库ID（FStockId）、编码（FNumber）、名称（FName）、分组（FGroup）以及使用组织（FUseOrgId.FNumber）。
  4. 其他请求参数：
    • Limit: 最大行数，取值为分页大小。
    • StartRow: 开始行索引，用于分页。
    • TopRowCount: 返回总行数。
    • FilterString: 用于过滤条件，这里示例为修改日期大于上次同步时间。
    • FieldKeys: 查询字段集合，以逗号分隔。
    • FormId: 表单ID，这里指定为仓库表单ID BD_STOCK。

调用接口与处理响应

在配置好元数据后，我们可以通过轻易云平台发起对金蝶云星空API的调用。以下是一个示例请求体：

{
  "FormId": "BD_STOCK",
  "FieldKeys": ["FStockId", "FNumber", "FName", "FGroup", "FUseOrgId.FNumber"].join(","),
  "FilterString": `FModifyDate>='${LAST_SYNC_TIME}'`,
  "Limit": 100,
  "StartRow": START_ROW_INDEX
}

在实际操作中，START_ROW_INDEX会根据分页逻辑进行动态调整，而LAST_SYNC_TIME则是上次同步时间。

数据清洗与转换

获取到响应数据后，需要对其进行清洗和转换，以便后续的数据处理和存储。轻易云平台提供了自动填充响应功能（autoFillResponse），使得我们可以直接将API返回的数据映射到目标字段中。

例如，返回的数据结构可能如下：

{
  "Result": [
    {
      "id": "<仓库ID>",
      "编码": "<仓库编码>",
      "名称": "<仓库名称>",
      ...
    },
    ...
  ]
}

通过自动填充功能，我们可以直接将这些字段映射到目标系统所需的数据模型中，无需额外手动处理。

实时监控与调试

在整个过程中，实时监控和调试是确保数据集成顺利进行的重要环节。轻易云平台提供了全面的日志和监控功能，可以帮助我们及时发现并解决问题。

总结来说，通过合理配置元数据并利用轻易云平台强大的功能，我们可以高效地从金蝶云星空获取并加工所需的数据，为后续的数据处理和分析奠定坚实基础。 金蝶与SCM系统接口开发配置

数据集成生命周期中的ETL转换与写入

在数据集成生命周期的第二步中，核心任务是将已经集成的源平台数据进行ETL转换，并转为目标平台所能够接收的格式，最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台的API接口实现这一过程。

数据请求与清洗

在开始进行ETL转换之前，首先需要完成数据请求与清洗工作。假设我们已经从金蝶仓库成功获取了原始数据，并对其进行了必要的清洗和预处理，使其符合初步的质量要求。

数据转换与写入

接下来，我们进入数据转换与写入阶段。这一阶段的核心任务是将清洗后的数据按照目标平台的要求进行格式转换，并通过API接口写入目标平台。

元数据配置解析

根据提供的元数据配置：

{
  "api": "写入空操作",
  "method": "POST",
  "idCheck": true
}

我们需要调用轻易云集成平台的“写入空操作”API接口，使用POST方法提交数据，并且在提交前进行ID检查。

API接口调用步骤

  1. 准备请求数据： 首先，我们需要将清洗后的数据转换为符合API接口要求的数据格式。假设我们的源数据如下：

    {
 "warehouse_id": "WH123",
 "product_id": "P456",
 "quantity": 100,
 "timestamp": "2023-10-01T12:00:00Z"
}

    转换后的目标格式可能如下：

    {
 "id": "WH123-P456",
 "data": {
   "warehouse_id": "WH123",
   "product_id": "P456",
   "quantity": 100,
   "timestamp": "2023-10-01T12:00:00Z"
 }
}

  2. ID检查： 在提交数据之前，需要确保ID唯一性。如果idCheck为true，则需要先查询目标平台是否已经存在相同ID的数据记录。如果存在，则可以选择更新操作；如果不存在，则进行插入操作。

  3. 构建HTTP请求： 使用POST方法构建HTTP请求，将转换后的数据作为请求体发送到API接口。

    import requests
import json

url = 'https://api.qingyiyun.com/write_empty_operation'
headers = {'Content-Type': 'application/json'}

data = {
 "id": "WH123-P456",
 "data": {
   "warehouse_id": "WH123",
   "product_id": "P456",
   "quantity": 100,
   "timestamp": "2023-10-01T12:00:00Z"
 }
}

response = requests.post(url, headers=headers, data=json.dumps(data))

if response.status_code == 200:
   print("Data written successfully.")
else:
   print(f"Failed to write data. Status code: {response.status_code}")

  4. 处理响应： 根据API接口返回的响应状态码，判断写入操作是否成功。如果成功，则记录日志或执行后续操作；如果失败，则需要根据错误信息进行相应处理。

技术要点总结
  • 元数据配置：明确API接口、HTTP方法和其他参数，如ID检查等。
  • 数据格式转换：确保源数据符合目标平台API接口的数据格式要求。
  • 唯一性检查：在提交前验证ID唯一性，以避免重复记录。
  • HTTP请求构建：使用合适的方法（如POST）构建并发送HTTP请求。
  • 响应处理：根据返回结果判断操作是否成功，并采取相应措施。

通过上述步骤，我们能够高效地完成从源平台到目标平台的数据ETL转换和写入过程。轻易云集成平台提供了强大的API支持，使得这一过程更加简洁和高效。 钉钉与WMS系统接口开发配置

版权声明

该文章《ETL转换与写入：轻易云平台实现从金蝶云仓库数据到目标系统》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云企业AIGC应用
更多系统对接方案