ETL技术：将金蝶数据导入马帮平台的解决方案

  • 轻易云集成顾问-何语琴

案例分享：金蝶云星空数据集成至马帮

在实际业务运作中，供应商信息的及时、准确同步对于物流和库存管理至关重要。本次我们分享一个成功将金蝶云星空的数据集成到马帮系统的技术案例，方案名称为“新增供应商同步金蝶=》马帮（测试通过）”。此案例旨在介绍如何利用轻易云数据集成平台高效可靠地实现多源数据之间的无缝对接。

集成背景与挑战

一、确保不漏单

为了保证从金蝶云星空获取到每一条供应商信息，我们调用了executeBillQuery接口，该接口支持根据特定查询条件提取待处理记录。利用批量抓取机制，可以有效防止因为网络波动或其它原因导致的数据遗漏。同时，为应对API限流问题，我们进行了合理分页并实施重试机制，以降低请求失败率。

二、大量数据快速写入

从金蝶云星空获取的大量供应商数据，需要迅速写入到马帮。我们采用分批次写入策略，将大型数据集拆分成适当大小的小批次，通过调用马帮的pur-do-add-provider接口，实现高效稳定的数据传输。在传输过程中，实时监控工具帮助我们准确掌握每个环节的状态，从而即时发现和解决潜在问题。

数据格式转换与映射

三、自定义映射规则

由于两个系统之间的数据格式存在差异，例如字段命名、数据类型等不同，在导入前必须进行适配处理。使用轻易云提供的数据映射功能，对来自金蝶云星空的数据字段进行转换，以符合马帮要求。这不仅提高了开发效率，还减少了人为配置错误概率，提高整体系统稳定性。

通过上述关键步骤，我们实现了一套全面且灵活的供应商信息同步解决方案，为企业实现在跨平台环境下的信息无障碍流通提供强有力支持。 轻易云数据集成平台金蝶集成接口配置

使用轻易云数据集成平台调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据。本文将详细介绍如何使用轻易云数据集成平台调用金蝶云星空接口executeBillQuery，并对获取的数据进行初步加工。

接口配置与调用

首先，我们需要配置和调用金蝶云星空的executeBillQuery接口。根据提供的元数据配置，我们可以看到该接口采用POST方法进行请求，主要用于查询操作（effect: "QUERY"）。

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  ...
}

请求参数设置

在调用接口之前，需要设置请求参数。以下是一些关键字段及其描述：

  • FSupplierId: 供应商ID
  • FNumber: 编号
  • FName: 名称
  • FCreateOrgId_FNumber: 创建组织编号
  • FUseOrgId_FNumber: 使用组织编号
  • FDescription: 描述
  • FShortName: 简称

这些字段在请求体中以JSON格式传递。例如：

{
  "FSupplierId": "12345",
  "FNumber": "SUP001",
  "FName": "供应商A",
  ...
}

分页参数与过滤条件

为了提高查询效率，通常需要设置分页参数和过滤条件。以下是一些常用的分页参数：

  • Limit: 每页记录数
  • StartRow: 起始行数
  • TopRowCount: 顶部行数

过滤条件通过FilterString字段指定，例如：

{
  "FilterString": "FAuditDate>='2023-01-01' AND FGroup.FNumber in ('BCPWG','CPWG') AND FForbidStatus = 'A'"
}

主键字段与表单ID

在请求中，还需要指定主键字段和表单ID：

  • FieldKeys: 主键字段，例如：["FSupplierId", "FNumber"]
  • FormId: 表单ID，例如："BD_Supplier"

完整的请求体示例如下：

{
  "FormId": "BD_Supplier",
  "FieldKeys": ["FSupplierId", "FNumber"],
  ...
}

数据获取与初步加工

成功调用接口后，将返回包含供应商信息的数据。我们可以对这些数据进行初步加工，例如格式化日期、转换编码等。

假设返回的数据如下：

[
  {
    "FSupplierId": "12345",
    "FNumber": "SUP001",
    "FName": "供应商A",
    ...
  },
  ...
]

我们可以对数据进行清洗和转换，例如将日期格式化为标准格式，将编码转换为可读文本等。

实践案例：新增供应商同步

假设我们需要将新增的供应商信息从金蝶云星空同步到另一个系统（如马帮）。首先，通过executeBillQuery接口获取新增供应商的信息，然后对数据进行清洗和转换，最后将处理后的数据写入目标系统。

  1. 调用接口获取数据：

    {
 "FormId": "BD_Supplier",
 ...
}

  2. 清洗和转换数据：

    def clean_data(data):
   for record in data:
       record['FAuditDate'] = format_date(record['FAuditDate'])
       record['FGroup'] = decode_group(record['FGroup'])
   return data

  3. 写入目标系统：

    def write_to_target_system(cleaned_data):
   for record in cleaned_data:
       target_system_api.write(record)

通过上述步骤，我们实现了从金蝶云星空获取新增供应商信息，并将其同步到马帮系统。这不仅提高了数据处理效率，还确保了数据的一致性和准确性。 电商OMS与ERP系统接口开发配置

使用轻易云数据集成平台实现ETL转换并写入马帮API接口

在数据集成的生命周期中，ETL（提取、转换、加载）是一个关键步骤。本文将重点探讨如何使用轻易云数据集成平台，将源平台的数据进行ETL转换，最终写入目标平台——马帮API接口。

元数据配置解析

在本案例中，我们的目标是将金蝶系统中的供应商数据同步到马帮系统。为此，我们需要配置相应的元数据，以确保数据能够正确地从源系统提取、转换，并通过API接口写入到目标系统。

以下是我们要使用的元数据配置：

{
  "api": "pur-do-add-provider",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field": "provider", "label": "供应商名字", "type": "string", "describe": "111", "value": "{FName}"},
    {"field": "companyId", "label": "公司ID", "type": "string", "value": "{FNumber}"},
    {"field": "flag", "label": "状态", "type": "string", "value": "1"},
    {"field": "contactAliw", "label": "联系旺旺（只用作区分）", "type": "string", "value":"金蝶云转入马帮供应商"}
  ]
}

数据提取与清洗

首先，我们需要从金蝶系统中提取供应商相关的数据。假设我们已经通过轻易云平台完成了数据请求和初步清洗，得到了如下结构的数据：

{
  "FName": ["供应商A", ...],
  "FNumber": ["12345", ...]
}

数据转换

接下来，我们需要将这些数据转换为马帮API所能接受的格式。根据元数据配置，字段映射关系如下：

  • provider 对应 FName
  • companyId 对应 FNumber
  • flag 固定值为 1
  • contactAliw 固定值为 金蝶云转入马帮供应商

基于此映射关系，我们可以编写转换逻辑，将提取的数据转换为目标格式。

编写ETL脚本

以下是一个简单的Python示例脚本，用于将提取的数据转换为符合马帮API要求的格式，并发送POST请求：

import requests
import json

# 提取的数据
data = {
    'FName': ['供应商A', '供应商B'],
    'FNumber': ['12345', '67890']
}

# 转换后的数据列表
transformed_data = []
for name, number in zip(data['FName'], data['FNumber']):
    transformed_record = {
        'provider': name,
        'companyId': number,
        'flag': '1',
        'contactAliw': '金蝶云转入马帮供应商'
    }
    transformed_data.append(transformed_record)

# API URL
api_url = 'https://api.mabang.com/pur-do-add-provider'

# 发送POST请求
for record in transformed_data:
    response = requests.post(api_url, json=record)
    if response.status_code == 200:
        print(f"Successfully added provider: {record['provider']}")
    else:
        print(f"Failed to add provider: {record['provider']}, Status Code: {response.status_code}")

数据加载

最后一步是将转换后的数据通过POST请求写入到马帮系统。上述脚本已经展示了如何利用Python的requests库发送HTTP POST请求，将每条记录逐一写入目标系统。

实时监控与错误处理

在实际操作中，为了确保每条记录都能成功写入目标系统，我们需要实时监控请求的响应状态。如果出现错误，可以记录日志并进行相应处理，例如重试机制或告警通知。

通过以上步骤，我们实现了从金蝶系统到马帮系统的数据同步。在轻易云数据集成平台上，这些操作可以通过可视化界面和自动化流程进一步简化和优化，从而提升整体效率和可靠性。 用友与WMS系统接口开发配置

版权声明

该文章《ETL技术：将金蝶数据导入马帮平台的解决方案》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星空与旺店通打通
更多系统对接方案