轻易云平台的ETL转换与金蝶云星空API接口集成

  • 轻易云集成顾问-曾平安

聚水潭数据集成到金蝶云星空案例分享：其他入库单同步

在当今企业信息化过程中，系统之间的数据对接和集成显得尤为重要。本文将专注于分享一个具体技术案例——如何通过轻易云平台，将聚水潭的其他入库单数据成功同步到金蝶云星空，实现跨两个ERP系统的数据无缝对接。

引言

为了实现聚水潭中其他入库单数据高效、准确地写入到金蝶云星空，我们需要仔细考虑多个技术环节，包括但不限于API调用、分页处理、限流控制以及异常重试机制。本案例中的方案实施主要包括以下几个关键步骤：

  1. 数据抓取与预处理：通过调用聚水潭的API /open/other/inout/query 定时可靠地捕获指定时间段内新增或更新的“其他入库单”数据，确保不漏单。
  2. 批量写入策略：利用轻易云平台提供的大量数据快速写入功能，将获取的数据以批量方式提交至金蝶云星空，通过其 API batchSave 进行持久化存储。
  3. 格式转换与映射：由于聚水潭和金蝶云星空在数据格式方面存在差异，我们必须进行适配映射，以确保每条记录能够正确被目标系统识别并存储。
  4. 错误重试与日志监控：针对可能出现的接口调用失败或网络异常情况，设计了全方位的异常处理和错误重试机制，并结合实时监控解决潜在问题。

下面我们详细解析各个步骤的具体实现方法及注意事项。

数据抓取与预处理

调用聚水潭接口获取原始数据

首先，依据业务需求设定好定时任务，从而周期性地调用聚水潭开放API /open/other/inout/query。这个过程需要特别注意分页拉取，因为APIs通常会设置返回结果数目的上限，因此合理设计分页参数至关重要。此外，为应对频繁调用所带来的压力，还需适当配置限流策略以避免触发接口限制。

# 示例代码片段，用Python请求示例展示如何调分页拉取 API 

import requests
from datetime import datetime, timedelta

def fetch_data(start_time, end_time, page_size=100):
    url = 'https://api.jushuitan.com/open/other/inout/query'
    headers = {'Content-Type': 'application/json'}
    data_list = []

    for page in range(1, int(1e6)):  # 假设最大页数为1百万，仅作示例
        payload = {
            "start
![电商OMS与ERP系统接口开发配置](https://pic.qeasy.cloud/D39.png~tplv-syqr462i7n-qeasy.image)
### 调用聚水潭接口获取并加工数据的技术案例

在数据集成生命周期的第一步中，调用源系统接口获取数据是至关重要的一环。本文将深入探讨如何通过轻易云数据集成平台调用聚水潭接口 `/open/other/inout/query` 获取并加工数据。

#### 接口配置与请求参数

首先，我们需要配置元数据以便正确调用聚水潭的API接口。以下是关键的元数据配置项：

- **API路径**: `/open/other/inout/query`
- **请求方法**: `POST`
- **分页设置**: 每页50条记录
- **ID检查**: 启用（`idCheck: true`）

请求参数包括：
1. **修改起始时间 (`modified_begin`)**：使用上次同步时间 `{{LAST_SYNC_TIME|datetime}}`。
2. **修改结束时间 (`modified_end`)**：使用当前时间 `{{CURRENT_TIME|datetime}}`。
3. **单据类型 (`types`)**：指定为“其它进仓”和“其它退货”，并通过 `StringToArray` 解析器将字符串转换为数组。
4. **单据状态 (`status`)**：固定为“Confirmed”。
5. **开始页码 (`page_index`)**：默认值为1。
6. **每页行数 (`page_size`)**：使用分页设置中的值 `{PAGINATION_PAGE_SIZE}`。

```json
{
  "api": "/open/other/inout/query",
  "method": "POST",
  "number": "io_id",
  "id": "io_id",
  "pagination": {
    "pageSize": 50
  },
  "idCheck": true,
  "request": [
    {"field":"modified_begin","label":"修改起始时间","type":"string","value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field":"modified_end","label":"修改结束时间","type":"string","value":"{{CURRENT_TIME|datetime}}"},
    {"field":"types","label":"单据类型","type":"string","describe":"单据类型 :其它退货,其它出库,其它进仓","value":"其它进仓,其它退货","parser":{"name":"StringToArray","params":","}},
    {"field":"status","label":"单据状态","type":"string","describe":"单据状态，Confirmed=生效，WaitConfirm待审核，Archive=归档，Cancelled=取消","value":"Confirmed"},
    {"field":"page_index","label":"开始页码","type":"string","value":"1"},
    {"field":"page_size","label":"每页行数","type":"string","value":"{PAGINATION_PAGE_SIZE}"}
  ]
}

数据过滤与条件设置

为了确保我们只获取到需要的数据，我们在元数据中定义了条件过滤：

  • 条件一：单据类型等于“其它进仓”。
  • 条件二：单据类型等于“其它退货”。
{
  "condition": [
    [{"field": "type", "logic": "eq", "value": "其它进仓"}],
    [{"field": "type", "logic": "eq", "value": "其它退货"}]
  ]
}

此外，我们还定义了一个备用条件（condition_bk），用于处理特殊情况：

{
  "condition_bk": [
    [{"field": "type", "logic": "neq", "value": "销售退货"}, {"field": "type", "logic": "eq", "value": "其它退货"}]
  ]
}

异常处理与补救机制

为了确保数据同步过程的可靠性，我们还配置了异常处理和补救机制。例如，当某些情况下无法获取到最新的数据时，可以通过定时任务（crontab）来执行补救操作：

{
  "omissionRemedy": {
    "crontab": "30 10 * * *",
    "takeOverRequest": [
      {
        "field": "modified_begin",
        "label": "修改起始时间",
        ...
        ...
        ...
      }
    ]
  }
}

实际调用与数据处理

在实际调用过程中，轻易云平台会根据上述配置生成并发送HTTP POST请求到聚水潭接口。返回的数据将经过清洗和转换，以便后续写入目标系统。在这个过程中，平台提供全透明可视化界面，实时监控每个环节的数据流动和处理状态。

通过这种方式，我们可以确保从源系统高效、准确地获取所需的数据，并为后续的数据转换与写入打下坚实基础。 企业微信与OA系统接口开发配置

轻易云数据集成平台生命周期的第二步：ETL转换与写入金蝶云星空API接口

在轻易云数据集成平台中，ETL（Extract, Transform, Load）转换是数据处理生命周期中的关键步骤之一。本文将详细探讨如何将已经集成的源平台数据进行ETL转换，转为金蝶云星空API接口所能够接收的格式，并最终写入目标平台。

数据请求与清洗

在数据进入ETL流程之前，已经完成了数据请求与清洗阶段。在此阶段，数据从源系统中提取出来，并经过初步的清洗和标准化处理，为后续的转换和加载做好准备。

数据转换与写入

在本案例中，我们需要将其他入库单的数据转换为金蝶云星空API接口能够接受的格式，并通过API接口将其写入目标平台。以下是具体的元数据配置和实现步骤。

元数据配置解析

元数据配置定义了如何将源数据映射到目标API接口所需的字段格式。以下是关键字段的解析：

  • FBillNo: 单据编号，对应源系统中的io_id。
  • FBillTypeID: 单据类型，固定值QTRKD01_SYS。
  • FStockOrgId: 库存组织，固定值100。
  • FStockDirect: 库存方向，固定值GENERAL。
  • FDate: 日期，对应源系统中的io_date。
  • FOwnerTypeIdHead: 货主类型，固定值BD_OwnerOrg。
  • FOwnerIdHead: 货主，固定值100。
  • FDEPTID: 部门，固定值BM000001。
  • FNOTE: 备注，对应源系统中的remark。
  • FEntity: 明细信息，包括物料编码、收货仓库、实收数量、成本价和备注。
数据转换示例

假设我们从源系统获取到如下原始数据：

{
    "io_id": "IO20231001",
    "io_date": "2023-10-01",
    "remark": "月度盘点",
    "items": [
        {"i_id": "MAT001", "qty": 100},
        {"i_id": "MAT002", "qty": 200}
    ]
}

根据元数据配置，我们需要将其转换为金蝶云星空API所需的格式：

{
    "FormId": "STK_MISCELLANEOUS",
    "IsVerifyBaseDataField": true,
    "Operation": "Save",
    "IsAutoSubmitAndAudit": true,
    "Model": {
        "FBillNo": "IO20231001",
        "FBillTypeID": {"FNumber": "QTRKD01_SYS"},
        "FStockOrgId": {"FNumber": "100"},
        "FStockDirect": "GENERAL",
        "FDate": "2023-10-01",
        "FOwnerTypeIdHead": {"FNumber":"BD_OwnerOrg"},
        "FOwnerIdHead": {"FNumber":"100"},
        "FDEPTID":{"FNumber":"BM000001"},
        "FNOTE":"月度盘点",
        "FEntity":[
            {
                "FMATERIALID":{"FNumber":"MAT001"},
                "FSTOCKID":{"FNumber":"CK"},
                "FQty":"100"
            },
            {
                "FMATERIALID":{"FNumber":"MAT002"},
                "FSTOCKID":{"FNumber":"CK"},
                "FQty":"200"
            }
        ]
    }
}
API调用示例

使用POST方法调用金蝶云星空API batchSave 接口，将上述转换后的JSON数据发送到目标平台：

POST /k3cloud/api/batchSave HTTP/1.1
Host: api.kingdee.com
Content-Type: application/json
Authorization: Bearer <access_token>

{
    ...
}

在实际操作中，需要确保正确设置HTTP头信息，例如Content-Type和Authorization等，以便成功调用API并写入数据。

实践注意事项

  1. 字段映射准确性：确保所有字段都正确映射到目标API接口所需的格式，包括必要的解析器（如ConvertObjectParser）。
  2. 错误处理机制：在实际操作中，需要设计健全的错误处理机制，以便及时捕获和处理可能出现的数据转换或API调用错误。
  3. 性能优化：对于大批量的数据处理，可以考虑批量操作（如batchArraySave）以提升效率。

通过上述步骤，我们实现了从源系统到金蝶云星空平台的数据无缝对接。这不仅提高了业务流程的自动化程度，也确保了数据的一致性和准确性。 用友与CRM系统接口开发配置

版权声明

该文章《轻易云平台的ETL转换与金蝶云星空API接口集成》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星空与旺店通打通
更多系统对接方案