如何实现百胜ME3与金蝶云星空的高效数据集成

使用轻易云进行ETL转换：百胜销售出库与金蝶云星空对接

2022-02-12 06:17:47
轻易云集成顾问-胡秀丛

案例分享：百胜ME3数据集成到金蝶云星空

在企业运营中，销售出库数据的精准记录和处理至关重要。本文将重点探讨如何通过系统对接，实现百胜ME3的数据集成到金蝶云星空，并以“百胜销售出库对接金蝶销售出库”为具体案例进行详细说明。

首先，我们需要确保从百胜ME3获取的数据完整且无遗漏。通过调用API接口 orm.order.detail_get，我们可以定时可靠地抓取所需的销售订单详情。在实现过程中，针对分页和限流问题进行了优化处理，以避免大量请求对系统造成冲击。同时，通过实时监控与日志记录功能，对整个数据获取流程进行了全面追踪，保障了数据传输的可靠性。

其次，在向金蝶云星空写入数据时，我们采用了批量写入的方式，使得大量销售出库数据能够快速、高效地导入系统。这主要是通过调用 batchSave API 实现。然而，在实际操作中，由于两个系统间存在一定的数据格式差异，需要进行必要的数据映射和转换。这一步尤为关键，因为它直接影响到最终导入结果的准确性。因此，我们为此制定了一套完善、定制化的数据映射规则，以便将百胜ME3中的原始数据正确转化为符合金蝶标准格式的信息。

此外，为应对可能出现的异常情况，例如网络故障或接口响应超时等，还设计并实现了一套错误重试机制。当遇到无法预料的问题时，这一机制可自动触发重试流程，有效提升了整体运作稳定性。

本案例展示了多个技术解决方案，如如何面对分页处理与限流控制、不同系统之间的数据格式转换以及高效而稳定的数据写入过程，这些都将在后续部分逐一拆解阐述。钉钉与CRM系统接口开发配置

调用百胜ME3接口orm.order.detail_get获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用百胜ME3接口orm.order.detail_get来获取订单详情，并对数据进行初步加工。

接口调用配置

首先，我们需要配置API接口的元数据。根据提供的metadata，我们可以看到该接口使用GET方法，并且需要传递多个参数来完成请求。以下是关键参数及其描述：

lylx: 订单来源平台
orderSn: 订单编号
deal_code: 交易号
user_name: 会员名称
startModified: 查询起始时间（最后变更时间）
shipping_status: 配送状态
is_electronic: 是否是电子凭证订单
endModified: 查询结束时间（最后变更时间）
shipping_time_fh_start: 发货开始时间，默认值为上次同步时间
is_hh: 是否换货单
shipping_time_fh_end: 发货结束时间，默认值为当前时间
is_yugou: 是否预售单
is_shougong: 是否手工单
zf_time_start: 作废开始时间
zf_time_end: 作废结束时间
is_copy: 是否复制单
pageNo: 页码，默认值为1
is_handup: 是否挂起
pageSize: 每页条数
sd_code: 店铺代码
order_status: 订单状态
fh_ck_name: 发货仓库名称
pay_status: 付款状态

请求参数设置

在实际操作中，我们需要根据业务需求设置这些参数。例如，如果我们希望获取某个特定店铺在某一时段内的所有已发货订单，可以这样配置请求参数：

{
    "lylx": "online",
    "startModified": "2023-01-01T00:00:00",
    "endModified": "2023-01-31T23:59:59",
    "shipping_status": "6",
    "sd_code": "STORE123",
    "pageNo": "1",
    "pageSize": "100"
}

上述配置将会获取店铺代码为STORE123的所有在2023年1月内已发货的订单，每页返回100条记录。

数据清洗与转换

在成功调用API并获取到原始数据后，需要对数据进行清洗和转换，以便后续处理和写入目标系统。常见的数据清洗操作包括：

字段映射：将源系统中的字段映射到目标系统中的字段。例如，将orderSn映射到目标系统中的order_id。
格式转换：将日期格式从源系统的格式转换为目标系统所需的格式。
数据过滤：根据业务规则过滤掉不需要的数据。例如，只保留配送状态为“已发货”的订单。

以下是一个简单的数据清洗示例：

def clean_data(raw_data):
    cleaned_data = []
    for record in raw_data:
        cleaned_record = {
            "order_id": record["orderSn"],
            "customer_name": record["user_name"],
            "order_date": convert_date_format(record["startModified"]),
            "shipping_status": map_shipping_status(record["shipping_status"]),
            # 更多字段映射和转换...
        }
        cleaned_data.append(cleaned_record)
    return cleaned_data

def convert_date_format(date_str):
    # 实现日期格式转换逻辑，例如从"YYYY-MM-DDTHH:MM:SS"转换为"YYYY/MM/DD HH:MM:SS"
    pass

def map_shipping_status(status_code):
    # 实现配送状态码到描述的映射，例如"6" -> "已发货"
    pass

实时监控与日志记录

为了确保数据集成过程的透明度和可追溯性，实时监控和日志记录是必不可少的。通过轻易云平台提供的实时监控功能，可以随时查看API调用状态、数据处理进度以及可能出现的错误。

此外，建议在每次API调用和数据处理过程中记录详细日志，包括请求参数、响应结果、处理步骤等信息。这些日志不仅有助于问题排查，还能为后续优化提供依据。

import logging

logging.basicConfig(level=logging.INFO)

def log_request(params):
    logging.info(f"Request params: {params}")

def log_response(response):
    logging.info(f"Response data: {response}")

def log_processing_step(step, details):
    logging.info(f"{step}: {details}")

通过以上步骤，我们可以高效地调用百胜ME3接口获取订单详情，并对数据进行清洗和转换，为后续的数据写入和业务处理打下坚实基础。如何开发企业微信API接口

使用轻易云数据集成平台实现百胜销售出库对接金蝶云星空API接口的ETL转换

在数据集成过程中，将源平台的数据转换为目标平台能够接收的格式是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台将百胜销售出库数据转换并写入金蝶云星空API接口。

元数据配置解析

在进行ETL转换之前，我们需要了解元数据配置。以下是关键的元数据字段及其解析：

api: "batchSave" 表示调用金蝶云星空的批量保存接口。
method: "POST" 表示使用HTTP POST方法提交请求。
idCheck: true 表示需要进行ID检查。
operation: 定义了操作的具体细节，包括行键和方法。
request: 包含了一系列字段映射，用于将源数据转换为目标格式。

关键字段解析与转换

单据类型 (FBillTypeID):

{"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"XSCKD01_SYS"}

这里使用了ConvertObjectParser解析器，将固定值XSCKD01_SYS转换为金蝶系统可识别的单据类型编号。

单据编号 (FBillNo):
```
{"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号"}
```
单据编号直接从源数据中获取，无需额外处理。

日期 (FDate):

{"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{{orderListGet.last_update}}"}

日期字段通过模板语法从源数据中的last_update字段获取。

发货组织 (FStockOrgId) 和 销售组织 (FSaleOrgId):

{"field":"FStockOrgId","label":"发货组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"102.01"}
{"field":"FSaleOrgId","label":"销售组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value": "_mongoQuery ..."}

发货组织和销售组织均使用ConvertObjectParser解析器，其中销售组织还涉及到MongoDB查询以动态获取值。

客户 (FCustomerID):

{"field":"FCustomerID","label":"客户 ","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value": "_mongoQuery ..."}

客户信息同样通过MongoDB查询动态获取，并使用解析器进行转换。

订单号 (F_OrderID):

{"field":"F_OrderID","label":"订单号","type":"string","describe":"文本", "value": "{order_sn}"}

订单号直接从源数据中的order_sn字段获取。

财务信息 (SubHeadEntity):

结算组织 (FSettleOrgID):

{"field": "FSettleOrgID", "label": "结算组织", "type": "string", "describe": "基础资料", "value": "_mongoQuery ...", "parent": "SubHeadEntity", "parser": {"name": "ConvertObjectParser", "params": "FNumber"}, "mappingDirection": "positive"}

结算币别 (FSETTLECURRID):

{"field": "FSETTLECURRID", "label": "结算币别", "type": "string", "describe": "基础资料", "value": "PRE001", "parent": "SubHeadEntity", "parser": {"name": "ConvertObjectParser", "params": "FNumber"}}

明细信息 (FEntity):

物料编码 (FMaterialID):

{"field": "FMaterialID", "label": "物料编码 ", "type": "string",  "describe":  "基础资料",  "parser":{"name" : "ConvertObjectParser" , "params" : "FNumber"},  "value" : "{{orderDetailGets.goods_sn}}"}

实发数量 (FRealQty):

{"field" : "FRealQty",  "label" : "实发数量 ",  "type" : "string",  "value" : "{{orderDetailGets.goods_number}}"}

含税单价 (FTaxPrice):

{"field" : "FTaxPrice",  "label" : "含税单价 ",  "type" : "string",  "value" : "{{orderDetailGets.share_price}}"}

数据提交与写入

配置完成后，通过HTTP POST请求将处理后的数据提交至金蝶云星空API接口。以下是请求示例：

POST /k3cloud/api/batchSave HTTP/1.1
Host: k3cloud.kingdee.com
Content-Type: application/json

{
    ...
}

在实际应用中，确保每个字段都正确映射并符合目标平台的要求是成功的关键。通过轻易云的数据集成平台，可以实现复杂的数据转换和无缝对接，大大提高了业务流程的自动化和效率。打通用友BIP数据接口

版权声明

该文章《如何实现百胜ME3与金蝶云星空的高效数据集成》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。