金蝶云星空与旺店通奇门系统数据集成实践

轻易云平台助力旺店通·企业奇门API数据ETL转换

2022-02-28 00:33:50
轻易云集成顾问-何语琴

金蝶云星空数据集成到旺店通·企业奇门的实践案例

在本次技术分享中，我们聚焦于金蝶云星空数据与旺店通·企业奇门系统之间的数据集成过程，尤其是通过cp_KQM货品同步方案实现高效、可靠的数据对接。首先，让我们从技术角度深入探讨关键步骤和必要的最佳实践。

数据获取与转换

为了实现金蝶云星空中的商品信息高效导入到旺店通·企业奇门，首要任务是使用executeBillQuery API接口从金蝶云星空获取最新的商品数据。这个过程中，需要特别注意接口的分页和限流问题，以保证全量且不漏单地抓取所需数据。同时，通过支持自定义的数据转换逻辑，适配特定业务需求和不同系统的数据结构差异，是成功实施该项目的重要环节。

数据写入及性能优化

随着大量商品数据被抓取并完成必要格式转换后，将其快速、高效地推送至旺店通·企业奇门便成为下一步工作重点。在此过程中，wdt.goods.push API接口起到了核心作用。如何处理大批量数据写入时的吞吐量和实时性，是值得关注的问题。为提高效率，我们采用了分片处理机制，并结合集中监控与告警系统，对每个步骤进行实时跟踪，确保任务运行状态透明可控，一旦发现异常能够及时处理。此外，为应对潜在错误及重试场景，也设置了完善的异常处理机制。

通过这些技术手段，不仅保障了整个集成过程拥有极佳的一致性，还显著提升了两端系统间数据交互的可靠性。这些措施使得整个方案不仅具备高稳定性，同时也易于维护和扩展。

接下来将在具体内容中进一步细化解决方案，以及多种优化策略，以全面展示cp_KQM货品同步方案实战经验。如何开发企业微信API接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据。本文将详细介绍如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取并加工数据。

接口配置与调用

首先，我们需要配置元数据以便调用金蝶云星空的API接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FMasterId",
  "pagination": {
    "pageSize": 100
  },
  "request": [
    {"field":"FMasterId","label":"id","type":"string","value":"FMasterId"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    // ...其他字段省略
  ],
  "otherRequest": [
    {"field":"Limit","label":"最大行数","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"StartRow","label":"开始行索引","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
    {"field":"FilterString","label":"过滤条件","type":"string","describe":"示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=","value":"FApproveDate>='{{LAST_SYNC_TIME|datetime}}' and FUseOrgId.FNumber in( '100','200')"},
    {"field":"FieldKeys","label":"需查询的字段key集合","type":"array","describe":"金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber"}
  ]
}

配置解析

API与方法：
- api: executeBillQuery
- method: POST
分页设置：
- pagination.pageSize: 每次请求的数据条数，设置为100。
请求字段：
- request数组中列出了需要从金蝶云星空获取的字段，包括FMasterId（物料主键ID）、FNumber（物料编码）、FName（物料名称）等。
其他请求参数：
- Limit: 最大行数，对应分页参数。
- StartRow: 开始行索引，对应分页参数。
- FilterString: 用于筛选数据，例如根据最后同步时间和使用组织编号进行过滤。
- FieldKeys: 查询字段集合，指定需要返回的字段。

数据请求与清洗

在完成元数据配置后，我们可以通过轻易云平台发起HTTP POST请求，从金蝶云星空获取原始数据。以下是一个示例请求体：

{
  "FormId": "BD_MATERIAL",
  "FieldKeys": ["FMasterId", "FNumber", "FName", ...],
  "FilterString": "FApproveDate>='2023-01-01' and FUseOrgId.FNumber in('100','200')",
  "Limit": 100,
  "StartRow": 0
}

响应结果将包含我们指定的字段和符合条件的数据记录。接下来，我们需要对这些原始数据进行清洗和转换，以便后续处理和写入目标系统。

数据转换与写入

在轻易云平台上，我们可以利用内置的数据转换工具对获取的数据进行处理。例如，可以使用映射规则将金蝶云星空中的字段名转换为目标系统所需的字段名，并进行必要的数据格式转换。

以下是一个简单的数据映射示例：

{
  "sourceField": "FNumber",
  "targetField": "item_code"
},
{
  "sourceField": "FName",
  "targetField": "item_name"
}
// ...其他映射规则

通过这种方式，我们可以确保从源系统获取的数据能够无缝对接到目标系统中，实现不同系统间的数据同步和集成。

实时监控与调试

轻易云平台提供了实时监控功能，可以随时查看数据流动和处理状态。如果在调用API或处理数据过程中出现问题，可以通过日志和监控界面快速定位并解决问题，确保整个集成过程顺利进行。

综上所述，通过合理配置元数据并利用轻易云平台的强大功能，我们能够高效地从金蝶云星空获取并加工所需数据，为后续的数据集成打下坚实基础。打通金蝶云星空数据接口

使用轻易云数据集成平台实现旺店通·企业奇门API接口的数据ETL转换

在数据集成的生命周期中，第二步是将已经集成的源平台数据进行ETL转换，并转为目标平台所能接收的格式。本文将详细探讨如何使用轻易云数据集成平台，将源平台的数据转换为旺店通·企业奇门API接口所需的格式，并最终写入目标平台。

元数据配置解析

首先，我们需要理解元数据配置中的各个字段及其含义。以下是一个典型的元数据配置示例：

{
  "api": "wdt.goods.push",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "goods_list",
      "label": "货品节点",
      "type": "array",
      "describe": "货品表主键",
      "children": [
        {
          "field": "goods_no",
          "label": "货品编号",
          "type": "string",
          "describe": "代表货品(spu)所有属性的唯一编号，用于系统货品区分，，SPU概念介绍,单击这里",
          "value": "{FNumber}",
          "parent": "goods_list"
        },
        {
          ...
        }
      ]
    }
  ]
}

该配置定义了如何将源数据映射到目标API接口所需的字段。具体来说，它包含了以下几个关键部分：

api: 目标API接口名称。
method: HTTP请求方法。
idCheck: 是否进行ID检查。
request: 请求参数列表，其中包括多个字段和子字段，每个字段都有其特定的属性和描述。

数据转换与写入过程

数据请求与清洗：此步骤已在生命周期的第一步完成，确保我们拥有干净且结构化的数据。
数据映射与转换：
- 货品节点（goods_list）：这是一个数组类型的字段，包含多个货品信息。每个货品信息又包含多个子字段，如goods_no、goods_type、goods_name等。
- 单品节点（spec_list）：这是一个嵌套在goods_list中的数组类型字段，包含SKU级别的信息，如spec_no、barcode、spec_name等。

以下是具体的映射示例：

{
  "field": "goods_no",
  "label": "货品编号",
  "type": "string",
  "describe": "...",
  "value": "{FNumber}",
  ...
}

在这个示例中，源平台的数据字段FNumber被映射到目标API接口中的goods_no字段。这种映射关系确保了数据能够正确地从源平台转换并写入到目标平台。

特殊处理：
- 对于某些需要特殊处理的数据字段，可以使用函数进行转换。例如，将重量单位从kg转换为g，将长度单位从m转换为cm等。在元数据配置中，这些函数通常以_function开头：
```
{
...
"field": "length",
...
"_function {FLENGTH}*100"
}
```
写入目标平台：
- 最后一步是将转换后的数据通过HTTP POST请求写入到旺店通·企业奇门API接口。此过程由轻易云数据集成平台自动处理，只需确保元数据配置正确即可。

实际案例

假设我们有如下源数据：

{
  "FNumber": "12345",
  ...
}

经过上述ETL过程，该数据将被转换为如下格式并发送至目标API接口：

{
  ...
  {
    goods_no: '12345',
    goods_type: '1',
    goods_name: 'Example Product',
    class_name: 'Category A',
    spec_list: [
      {
        spec_no: '12345-001',
        barcode: '12345-001',
        spec_name: 'Spec A',
        is_allow_neg_stock: '1',
        is_sn_enable: '0',
        weight: '0.5',
        length: '50',
        width: '30',
        height: '20'
      }
    ]
  }
}

通过这种方式，我们可以确保源平台的数据被准确、高效地转换并写入到旺店通·企业奇门API接口，从而实现不同系统间的数据无缝对接。如何对接金蝶云星空API接口