吉客云数据集成到金蝶云星空案例分享：仓库方案-I0102

在本次技术案例中，我们将探讨如何通过轻易云平台实现吉客云与金蝶云星空的高效数据对接，具体方案为“仓库方案-I0102”。该案例旨在解决企业仓储管理中的实时数据同步和批量数据导入需求。

1. 系统对接背景

为了提升仓库管理系统的数据准确性与实时性，我们选择使用吉客云API接口erp.warehouse.get来获取最新的库存信息，并利用金蝶云星空API接口batchSave进行批量写入。此过程中，面临着诸如分页处理、限流控制以及格式转换等技术挑战。

2. 数据提取与处理

首先，通过调用吉客云的API erp.warehouse.get定时抓取库存数据。为了确保不会漏单并省去重复调用，通过设置合理的分页参数和限流策略，可以避免因请求频率过高导致的数据丢失或性能瓶颈。同时，为了适配业务需求，还可以自定义数据转换逻辑，将原始数据结构映射到符合金蝶要求的数据模型。

3. 实时监控与异常处理

整个集成过程不仅需要高吞吐量的数据传输能力，而且必须要有可靠的监控和告警机制。通过轻易云的平台特有功能，可以集中监控每个任务执行状态，一旦发生异常状况（如网络中断、错误返回码等），系统会立即触发告警，并启用自动重试机制，最大化保证了集成流程的稳定运行。

在本文后续部分我们将详细介绍具体操作步骤，包括如何调用相应API接口、配置分页参数、设定限流策略以及执行异常捕获和重试逻辑，从而实现无缝衔接吉客云到金蝶云星空的数据集成过程。

调用源系统吉客云接口erp.warehouse.get获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用吉客云的erp.warehouse.get接口，并对获取的数据进行初步加工。

接口调用配置

首先，我们需要配置元数据以便正确调用吉客云的API。以下是我们使用的元数据配置：

{
  "api": "erp.warehouse.get",
  "effect": "QUERY",
  "method": "POST",
  "number": "warehouseCode",
  "id": "warehouseCode",
  "idCheck": true,
  "request": [
    {"label": "页码", "field": "pageIndex", "type": "string"},
    {"label": "页大小", "field": "pageSize", "type": "string", "value": "50"},
    {"label": "起始开始时间", "field": "gmtModifiedStart", "type": "string", 
        "value":"{{LAST_SYNC_TIME|datetime}}"},
    {"label": "结束修改时间", "field":"gmtModifiedEnd","type":"string",
        "value":"{{CURRENT_TIME|datetime}}"}
  ],
  "autoFillResponse": true,
  "condition_bk":[[{"field":"isBlockup","logic":"ieqv2","value":"0"}]],
  "condition":[[{"field":"isBlockup","logic":"eqv2","value":"0"}]]
}

请求参数解析

在上述配置中，我们定义了几个关键请求参数：

• pageIndex 和 pageSize：用于分页请求，确保每次请求的数据量可控。
• gmtModifiedStart 和 gmtModifiedEnd：用于限定查询时间范围，确保只获取特定时间段内修改的数据。

这些参数通过模板变量（如 {{LAST_SYNC_TIME|datetime}} 和 {{CURRENT_TIME|datetime}}）动态生成，以确保每次调用时参数值都是最新的。

数据过滤条件

为了保证数据的准确性和有效性，我们在元数据中设置了过滤条件：

• condition_bk 和 condition：这两个字段定义了过滤条件，确保只获取未被封存（即 isBlockup = 0）的仓库数据。

数据请求与清洗

一旦配置完成，我们可以通过轻易云平台发起POST请求，调用吉客云的API。返回的数据会自动填充到响应结构中（由于设置了 autoFillResponse: true）。

接下来是对返回的数据进行清洗和初步加工。这一步通常包括以下几个步骤：

1. 数据格式化：将返回的数据格式化为统一的结构，以便后续处理。
2. 字段映射：根据业务需求，将API返回的数据字段映射到目标系统所需的字段。例如，将 warehouseCode 映射为目标系统中的仓库编码。
3. 异常处理：对返回的数据进行异常处理，如检查是否存在空值或不符合预期的数据类型，并进行相应处理。

示例代码

以下是一个示例代码片段，用于展示如何通过轻易云平台调用吉客云接口并处理返回的数据：

import requests
import json
from datetime import datetime

# 配置API请求参数
url = 'https://api.jikexiu.com/erp.warehouse.get'
headers = {'Content-Type': 'application/json'}
payload = {
    'pageIndex': '1',
    'pageSize': '50',
    'gmtModifiedStart': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
    'gmtModifiedEnd': datetime.now().strftime('%Y-%m-%d %H:%M:%S')
}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 检查响应状态
if response.status_code == 200:
    data = response.json()

    # 数据清洗和初步加工
    cleaned_data = []
    for item in data['data']:
        if item['isBlockup'] == '0':
            cleaned_data.append({
                'warehouseCode': item['warehouseCode'],
                # 添加其他需要映射的字段
            })

    # 输出清洗后的数据
    print(cleaned_data)
else:
    print(f"Error: {response.status_code}")

以上代码展示了如何发起API请求、处理响应并进行初步数据清洗。通过这种方式，可以确保从源系统获取到高质量、符合业务需求的数据，为后续的数据转换与写入打下坚实基础。

轻易云数据集成平台：ETL转换与金蝶云星空API接口集成技术案例

在数据集成生命周期的第二阶段，关键任务是将已经清洗和准备好的源平台数据进行ETL转换，并将其转化为目标平台——金蝶云星空API接口所能接收的格式，最终写入目标平台。本文将深入探讨这一过程中的技术细节，特别是如何配置和使用元数据来实现这一目标。

API接口配置

在本案例中，我们使用的是金蝶云星空的batchSave API接口。该接口允许批量保存数据，并且支持POST请求方式。以下是具体的元数据配置：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field": "FName", "label": "仓库名称", "type": "string", "value": "{warehouseName}"},
    {"field": "FNumber", "label": "编码", "type": "string", "value": "{warehouseCode}"},
    {"field": "FStockProperty", "label": "仓库属性", "type": "string", "value":"1"},
    {"field": "FCreateOrgId", "label":"FCreateOrgId","type":"string","value":"I0102","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field": "FUseOrgId", "label":"FUseOrgId","type":"string","value":"I0102","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field": "FAllowMinusQty", "label":"允许即时库存","type":"string","value":"true"}
  ],
  "otherRequest":[
    {"field":"FormId","label":"业务对象表单Id","type":"string","describe":"必须填写金蝶的表单ID如:PUR_PurchaseOrder","value":"BD_STOCK"},
    {"field":"Operation","label":"执行的操作","type":"string","describe":"执行的操作","value":"BatchSave"},
    {"field":"IsAutoSubmitAndAudit","label":"提交并审核","type":"bool","describe":"提交并审核","value":"true"},
    {"field":"IsVerifyBaseDataField","label":"验证基础资料","type":"bool","describe":"是否验证所有的基础资料有效性，布尔类，默认false（非必录）","value":"true"}
  ],
  "operation":{"method":"batchArraySave","rows":100,"rowsKey":"array"}
}

数据转换与写入

在进行ETL转换时，我们需要确保源平台的数据字段能够正确映射到目标平台所需的字段格式。这就涉及到对元数据配置中各个字段的详细解析。

1. 字段映射与解析：

   • FName 和 FNumber 分别对应仓库名称和编码，这些字段从源数据中提取并直接映射到目标API请求中。
   • FStockProperty 固定值为"1"，表示仓库属性。
   • FCreateOrgId 和 FUseOrgId 均为"I0102"，通过 ConvertObjectParser 转换器进行处理，以确保符合金蝶云星空系统要求。
   • FAllowMinusQty 设置为"true"，表示允许即时库存。

2. 其他请求参数：

   • FormId 设置为"BD_STOCK"，这是金蝶云星空系统中业务对象表单ID。
   • Operation 设置为"BatchSave"，表示执行批量保存操作。
   • IsAutoSubmitAndAudit 设置为"true"，自动提交并审核数据。
   • IsVerifyBaseDataField 设置为"true"，确保所有基础资料有效性。

3. 批量处理： 配置中的 operation 部分指定了批量处理方法和每次处理的行数 (rows) 为100，以及批量数据键 (rowsKey) 为"array"。这意味着我们可以一次性处理多条记录，提高效率。

实施步骤

1. 准备源数据： 从源系统提取需要转换的数据，确保其格式符合预期。例如，从ERP系统导出仓库信息，包括名称、编码等。

2. 配置ETL流程： 在轻易云数据集成平台上，按照上述元数据配置创建ETL流程。确保所有字段正确映射，并设置必要的转换器。

3. 执行转换与写入： 启动ETL流程，将源数据转换为目标格式，并通过API接口写入金蝶云星空系统。实时监控流程状态，确保每个步骤顺利完成。

4. 验证与调整： 完成初步写入后，检查金蝶云星空系统中的数据是否准确无误。如有必要，根据反馈调整元数据配置或ETL流程，再次执行。

通过以上步骤，我们能够高效地将源平台的数据转换并写入到金蝶云星空系统，实现不同系统间的数据无缝对接。这不仅提升了业务透明度和效率，还确保了数据的一致性和准确性。