轻易云助力马帮和金蝶系统高效数据对接

深入解析金蝶云星空API数据写入技术

2022-06-21 11:21:46
轻易云集成顾问-叶威宏

系统对接集成案例分享：店铺同步马帮 => 金蝶（测试通过）

在系统集成的实际业务需求中，如何高效、精准地将不同平台的数据进行无缝对接是一项关键技术挑战。本文将重点探讨一个实际运行成功的案例，即如何将马帮数据集成到金蝶云星空。

为了确保整个数据处理过程顺利进行，我们使用了轻易云的数据集成平台来配置和管理元数据，从而实现了定时可靠地抓取马帮接口数据并批量写入到金蝶云星空。同时，解决了分页、限流等问题，以及两者之间的数据格式差异。

在这个案例中，我们主要涉及以下具体接口：

马帮获取店铺列表的API: sys-get-shop-list
金蝶云星空写入数据的API: batchSave

通过调用马帮接口sys-get-shop-list，我们定期从马帮系统中抓取最新的店铺信息，并基于这些信息对金蝶云星空中的相关数据进行更新。在此过程中，特别注重以下几个方面：

确保不漏单：每次调用sys-get-shop-list接口后，都需要记录最后一次成功获取的数据标识，以便下次调用能够从正确的位置继续，提高数据抓取的完整性。
快速批量写入：大量数据通过高效机制批量写入到金蝶云星空，这不仅提高了速度，同时减少了资源占用。
实时监控与日志记录：集成全程实时监控，每一步操作都生成详细日志，有助于快速定位和解决潜在问题。
异常处理与错误重试机制：针对网络波动等导致的数据传输失败场景，实现自动重试及修复机制，确保最终一致性。

现在，让我们深入剖析这个具体实施方案，从细节层面了解每个环节是如何紧密配合，实现两个系统间高效、稳定、安全的数据同步。电商OMS与WMS系统接口开发配置

调用马帮接口sys-get-shop-list获取并加工数据的技术实现

在数据集成过程中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用马帮接口sys-get-shop-list，并对获取的数据进行加工处理。

接口调用配置

首先，我们需要配置接口调用的元数据。以下是针对sys-get-shop-list接口的元数据配置：

{
  "api": "sys-get-shop-list",
  "effect": "QUERY",
  "method": "POST",
  "number": "name",
  "id": "id",
  "idCheck": true,
  "omissionRemedy": {
    "crontab": "35 */6 * * *",
    "takeOverRequest": [
      {
        "field": "expressTimeStart",
        "label": "修改时间开始段",
        "type": "string",
        "is_required": true,
        "describe": null,
        "value": "_function FROM_UNIXTIME( unix_timestamp() -21600 , '%Y-%m-%d %H:%i:%s' )"
      }
    ]
  },
  "request": [
    {
      "field": "status",
      "label": "状态",
      "type": "int",
      "describe": "111",
      "value": 1
    },
    {
      "field": "financeCode",
      "label": "财务编码",
      "type": "string"
    }
  ],
  "autoFillResponse": true,
  "condition": [
    [
      {
        "field": "name",
        "logic":"neqv2",
        "value":"B2B"
      }
    ]
  ]
}

请求参数解析

在请求参数部分，我们定义了两个字段：

status: 状态，类型为整数，默认值为1。
financeCode: 财务编码，类型为字符串。

此外，为了确保数据的完整性和准确性，我们使用了自动填充响应 (autoFillResponse) 功能，这意味着系统会自动处理和填充返回的数据。

数据过滤与条件设置

为了过滤不需要的数据，我们设置了一个条件：

name 字段不等于 B2B (neqv2逻辑)。

这种条件设置可以帮助我们在数据请求阶段就过滤掉无关的数据，提高后续处理的效率。

异常处理与补救措施

在实际操作中，可能会遇到数据遗漏或请求失败的情况。为了应对这些问题，我们配置了补救措施 (omissionRemedy)：

使用 crontab 定时任务，每6小时执行一次。
在请求参数中添加 expressTimeStart 字段，用于指定修改时间的开始段，其值通过函数 _function FROM_UNIXTIME( unix_timestamp() -21600 , '%Y-%m-%d %H:%i:%s' ) 动态生成。

这种设计确保了即使在某些情况下请求失败，也能通过定时任务和补救措施来弥补数据缺失。

实际调用与数据加工

在完成上述配置后，我们可以通过轻易云平台发起实际的API调用。以下是一个示例代码片段：

import requests
import json

url = 'https://api.mabang.com/sys-get-shop-list'
headers = {'Content-Type': 'application/json'}
payload = {
    'status': 1,
    'financeCode': '',
    'expressTimeStart': '2023-01-01 00:00:00'
}

response = requests.post(url, headers=headers, data=json.dumps(payload))
data = response.json()

# 数据加工
filtered_data = [shop for shop in data if shop['name'] != 'B2B']

# 输出结果
print(filtered_data)

上述代码展示了如何通过Python脚本发起POST请求，并对返回的数据进行简单的过滤处理。

总结

通过以上步骤，我们成功地调用了马帮接口sys-get-shop-list并对获取的数据进行了初步加工。这一过程展示了如何利用轻易云平台提供的元数据配置功能，实现高效、可靠的数据集成。在实际应用中，可以根据具体需求进一步扩展和优化这些配置，以满足不同业务场景下的数据处理需求。金蝶与外部系统打通接口

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口的技术案例

在本技术案例中，我们将深入探讨如何利用轻易云数据集成平台，将已经集成的源平台数据进行ETL转换，最终转为金蝶云星空API接口所能够接收的格式，并成功写入目标平台。我们将重点关注API接口的配置和数据处理细节。

元数据配置解析

首先，我们来看一下元数据配置。该配置定义了如何将源数据映射到金蝶云星空API接口所需的格式。

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field": "FName", "label": "FName", "type": "string", "describe": "111", "value": "{name}"},
    {"field": "FNumber", "label": "FNumber", "type": "string", "describe": "111", "value": "{id}"},
    {"field": "FCreateOrgId", "label": "创建组织", "type": "string", "describe": "111", 
        "value": "100", 
        "parser":{"name":"ConvertObjectParser","params":"FNumber"}
    },
    {"field": "FUseOrgId", ...
  ],
  ...
}

数据字段映射与转换

基本字段映射
- FName 和 FNumber 字段直接从源数据中获取，分别对应 {name} 和 {id}。
- FCreateOrgId 和 FUseOrgId 字段固定值为 "100"，并使用 ConvertObjectParser 转换器。
嵌套对象与数组
- 地址信息 (FT_BD_CUSTCONTACT) 和联系人信息 (FT_BD_CUSTLOCATION) 是嵌套数组，需要特别处理每个子字段，如详细地址和联系人编码等。
- 商务信息 (FT_BD_CUSTOMEREXT) 是嵌套对象，同样需要处理其内部字段，如默认联系人。
其他固定值字段
- 国家 (FCOUNTRY)、结算币别 (FTRADINGCURRID)、客户类别 (FCustTypeId) 等字段均设置了固定值，并使用 ConvertObjectParser 转换器。

API请求构建

根据元数据配置，我们需要构建一个符合金蝶云星空API接口要求的请求体。以下是一个示例请求体：

{
  "FormId": "BD_Customer",
  "Operation": {
    ...
  },
  ...
}

数据转换与写入流程

数据提取与清洗 从源平台提取原始数据，并根据业务需求进行清洗和预处理。这一步确保数据质量，为后续的转换打下基础。
ETL转换 利用元数据配置中的映射规则，将清洗后的数据进行转换。特别注意嵌套对象和数组的处理，确保每个子字段都正确映射。
构建API请求体 根据转换后的数据，构建符合金蝶云星空API接口要求的请求体。确保所有必填字段都已填充，并按照API文档规范格式化请求体。
发送请求并处理响应 使用HTTP POST方法将构建好的请求体发送到金蝶云星空API接口。处理响应结果，记录成功或失败的信息，以便后续追踪和调试。

示例代码片段

以下是一个简化的Python代码示例，用于展示如何利用上述元数据配置进行ETL转换并发送API请求：

import requests
import json

def transform_data(source_data):
    transformed_data = {
        'FormId': 'BD_Customer',
        'Operation': 'BatchSave',
        'Data': []
    }

    for item in source_data:
        transformed_item = {
            'FName': item['name'],
            'FNumber': item['id'],
            'FCreateOrgId': '100',
            'FUseOrgId': '100',
            ...
        }
        transformed_data['Data'].append(transformed_item)

    return transformed_data

def send_request(transformed_data):
    url = 'https://api.kingdee.com/batchSave'
    headers = {'Content-Type': 'application/json'}

    response = requests.post(url, headers=headers, data=json.dumps(transformed_data))

    if response.status_code == 200:
        print('Data successfully written to Kingdee Cloud')
    else:
        print('Failed to write data:', response.text)

# Example usage
source_data = [{'name': 'Test Store', 'id': '12345'}, ...]
transformed_data = transform_data(source_data)
send_request(transformed_data)

通过以上步骤，我们实现了从源平台到目标平台的数据ETL转换和写入过程。该流程不仅保证了数据的一致性和完整性，还提高了系统间的数据交互效率。数据集成平台可视化配置API接口