ETL转换实践:将电商平台数据导入金蝶云星空

  • 轻易云集成顾问-胡秀丛

柏为采购入库单08.02:旺店通·旗舰奇门与金蝶云星空的集成实践

在电商系统中,库存管理是一项至关重要且复杂的任务。为了实现高效、精准的数据管理,我们选用柏为采购入库单08.02方案,将旺店通·旗舰奇门的数据无缝集成到金蝶云星空。这一过程中主要采用了API接口技术,通过轻易云数据集成平台进行配置和优化,以确保业务流程的流畅运行。

首先,为了保证从旺店通·旗舰奇门获取的数据不漏单,我们调用了接口wdt.wms.stockin.purchase.querywithdetail。这个接口能够实时抓取详细的采购入库数据,并支持定时执行,从而保障数据更新的一致性。另外,在处理大批量数据时,通过高并发请求和分页机制有效解决了API限流问题,使得大量数据快速、安全地传输至金蝶云星空。

为了将这些采集到的数据写入金蝶云星空,我们使用了其提供的批量保存接口 batchSave。然而,面对不同系统间的数据格式差异,需要进行精细化的数据映射和转换。在映射过程中,还特别注意处理异常情况,设计可靠的错误重试机制来防止因网络或其他突发故障导致数据丢失。

此外,为进一步提高整个对接过程中的可观测性和维护效率,我们在操作流程中加入实时监控与日志记录功能。通过这一机制,不仅可以及时发现潜在问题,还能追踪每个步骤及操作状态,确保所有环节透明可查。这种全生命周期管理使得我们的系统更加稳定、高效。

总之,此次实施方案不仅解决了实际业务需求,更显著提升了库存管理中的自动化水平,实现了一站式、多场景下的灵活应用。 用友与外部系统接口集成开发

调用旺店通·旗舰奇门接口获取并加工数据

在数据集成的生命周期中,调用源系统接口是关键的第一步。本文将详细探讨如何通过轻易云数据集成平台调用旺店通·旗舰奇门接口wdt.wms.stockin.purchase.querywithdetail获取采购入库单数据,并进行初步的数据加工。

接口概述

接口wdt.wms.stockin.purchase.querywithdetail用于查询采购入库单的详细信息。该接口采用POST请求方式,支持分页查询,并可以根据多种业务参数进行过滤。以下是元数据配置中的关键字段:

  • api: wdt.wms.stockin.purchase.querywithdetail
  • method: POST
  • number: order_no
  • id: stockin_id
  • idCheck: true

请求参数配置

请求参数分为分页参数和业务参数两部分:

  1. 分页参数(pager)

    • page_size: 分页大小,默认为50。
    • page_no: 页号,默认为1。
  2. 业务参数(params)

    • start_time: 开始时间,使用上次同步时间({{LAST_SYNC_TIME|datetime}})。
    • end_time: 结束时间,使用当前时间({{CURRENT_TIME|datetime}})。
    • status: 入库单状态,可选值包括10(已取消)、20(编辑中)、30(待审核)、37(待质检)、40(质检确认)、80(已完成)。
    • warehouse_no: 仓库编号。
    • stockin_no: 入库单号。
    • purchase_no: 采购单号。

数据请求与清洗

在轻易云数据集成平台中,我们首先配置API调用的元数据,并设置相应的请求参数。以下是一个典型的请求示例:

{
  "pager": {
    "page_size": "50",
    "page_no": "1"
  },
  "params": {
    "start_time": "{{LAST_SYNC_TIME|datetime}}",
    "end_time": "{{CURRENT_TIME|datetime}}",
    "status": "80",
    "warehouse_no": "",
    "stockin_no": "",
    "purchase_no": ""
  }
}

通过上述配置,我们可以实现对采购入库单的分页查询,并且根据业务需求过滤特定状态和时间范围内的数据。

数据转换与写入

获取到原始数据后,需要对其进行清洗和转换,以便后续写入目标系统。在这个过程中,可以利用轻易云平台提供的数据处理功能,例如字段映射、数据格式转换等。

例如,将原始数据中的时间戳字段转换为标准日期格式,或者将状态码转换为更具可读性的文本描述。这些操作可以通过平台内置的脚本或规则引擎来实现。

以下是一个简单的数据清洗示例:

def clean_data(raw_data):
    cleaned_data = []
    for record in raw_data:
        cleaned_record = {
            "order_no": record["order_no"],
            "stockin_id": record["stockin_id"],
            "status_text": get_status_text(record["status"]),
            "timestamp": convert_to_datetime(record["timestamp"])
        }
        cleaned_data.append(cleaned_record)
    return cleaned_data

def get_status_text(status_code):
    status_mapping = {
        "10": "已取消",
        "20": "编辑中",
        "30": "待审核",
        "37": "待质检",
        "40": "质检确认",
        "80": "已完成"
    }
    return status_mapping.get(status_code, "未知状态")

def convert_to_datetime(timestamp):
    # 假设timestamp是一个Unix时间戳
    return datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d %H:%M:%S')

通过上述代码,我们可以将原始数据中的状态码和时间戳转换为更易于理解和处理的格式。

总结

调用源系统接口并进行初步的数据加工,是数据集成过程中的重要环节。通过合理配置请求参数和清洗转换数据,可以确保后续的数据处理更加高效和准确。在实际应用中,根据具体业务需求调整这些配置和处理逻辑,以达到最佳效果。 打通企业微信数据接口

使用轻易云数据集成平台将数据转换并写入金蝶云星空API接口

在数据集成过程中,ETL(Extract, Transform, Load)转换是关键步骤之一。本文将详细探讨如何使用轻易云数据集成平台将已经集成的源平台数据转换为金蝶云星空API接口所能接收的格式,并最终写入目标平台。

配置元数据

在进行ETL转换之前,需要配置好元数据。以下是一个典型的元数据配置示例:

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "单据类型",
      ...
    },
    ...
  ],
  ...
}

数据请求与清洗

在此阶段,我们通过轻易云的数据请求功能从源系统获取原始数据,并进行必要的清洗操作。清洗后的数据将作为输入,进入下一步的ETL转换阶段。

数据转换与写入

  1. 字段映射与转换

    • 单据类型(FBillTypeID):通过ConvertObjectParser解析器,将单据类型编号(FNumber)进行转换。
    • 业务类型(FBusinessType):直接从源系统中提取。
    • 单据编号(FBillNo):直接映射为order_no
    • 收料组织(FStockOrgId):固定值100,通过解析器进行编号转换。
    • 供应商(FSupplierId):从源系统中提取供应商编号,并通过解析器进行编号转换。
  2. 嵌套对象与数组处理

    • 财务信息(FInStockFin):包含结算组织、付款组织等子字段,这些字段同样需要通过解析器进行编号转换。
    • 明细信息(FInStockEntry):这是一个数组,每个元素代表一条明细记录。包括物料编码、实收数量、仓库等字段,同样需要通过解析器进行相应的编号转换和映射。
  3. 动态值计算与条件判断

    • 是否赠品(FGiveAway):通过自定义函数,根据税价判断是否为赠品。
    • 含税单价(FTaxPrice)、税率(FEntryTaxRate)、订单编号(FPOOrderNo)等字段:需要根据采购单号和物料编码,从源系统中动态查询并填充。
  4. 关联关系处理

    • 关联关系数组(FInStockEntry_Link):包含源单ID、下推关系、表体ID等信息,通过动态查询获取并填充。

API调用与写入

完成所有字段的映射和转换后,构造最终的请求体:

{
  "FormId": "STK_InStock",
  "IsAutoSubmitAndAudit": true,
  "Operation": "Save",
  ...
}

使用配置好的API接口参数,调用金蝶云星空的batchSave接口,将处理后的数据批量写入目标平台。

import requests

url = 'https://api.kingdee.com/batchSave'
headers = {'Content-Type': 'application/json'}
data = {
    # 填充完整的数据结构
}

response = requests.post(url, headers=headers, json=data)
if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud.")
else:
    print(f"Failed to write data: {response.text}")

总结

通过上述步骤,我们实现了从源系统到金蝶云星空的ETL过程。利用轻易云的数据集成平台,配置元数据并进行字段映射、嵌套对象处理、动态值计算和关联关系处理,最终成功将清洗后的数据写入目标平台。这种方法不仅提高了数据处理效率,还确保了数据的一致性和准确性。 电商OMS与WMS系统接口开发配置

更多系统对接方案