轻易云平台实现ETL:金蝶到旺店通的数据转换与加载

  • 轻易云集成顾问-何语琴
### 金蝶生产退料单集成到旺店通其他入库单的技术实现 在实际业务场景中,如何高效、精准地将金蝶云星空(Kingdee Cloud)中的生产退料单数据转化并写入至旺店通·企业奇门(ERP系统),是许多企业面临的数据集成挑战。本文将以具体的技术实现案例来分享我们如何通过定时抓取金蝶云星空接口数据,并确保不漏单地批量写入旺店通·企业奇门。 首先,为了从金蝶云星空获取生产退料单,我们调用了其API:`executeBillQuery`。这个接口能够实时返回符合条件的数据清单,但需要解决分页和限流问题。在本方案中,我们设计了一种定时器机制,每隔一定时间周期性地发起请求,通过处理分页参数,逐一获取所有待处理的生产退料单。这保证了我们的数据同步不会因为一次性请求造成服务器压力,同时也避免了因查询数量庞大而导致的数据遗漏。 接下来,在处理完来自金蝶云星空的数据后,需要进行相应格式的转换,以符合旺店通·企业奇门可接受的输入结构。在这里,我们根据两者API约束进行了数据映射,将每条生产退料订单明细转化为对应的其他入库订单记录。这一步不仅涉及字段名称和类型的匹配,还需对部分关键业务逻辑进行特别处理,例如日期格式、金额计算等。 完成数据转换之后,通过调用`wdt.stockin.order.push` API,将整理好的其它入库订单批量推送至旺店通·企业奇门。然而过程中可能会遇到网络异常或数据冲突等问题,因此我们还设立了一套完善的异常处理与错误重试机制。所有操作都伴随着详尽日志记录,可在必要时追踪每一个环节,从而进一步保障系统对接过程中的稳定与可靠。 此外,为提升透明度并便于监控整个流程运行情况,我们实施了实时监控模块,该模块通过轻易云提供的一些特性,可以即时反映出当前工作状态以及各类数据信息。这不仅帮助开发运维人员及时发现问题,也使得整体项目管理更有序、高效。 以上是关于将金蝶云星空中的生产退料单数据无缝集成到旺店通·企业奇门其他入库订单全过程的一些核心技术要点,下文将详细展开各步骤及代码实现细节。 ![电商OMS与WMS系统接口开发配置](https://pic.qeasy.cloud/D12.png~tplv-syqr462i7n-qeasy.image) ### 调用金蝶云星空接口executeBillQuery获取并加工数据 在数据集成的生命周期中,调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用金蝶云星空的`executeBillQuery`接口,获取并加工生产退料单的数据。 #### 接口配置与请求参数 首先,我们需要了解`executeBillQuery`接口的基本配置和请求参数。根据提供的元数据配置,该接口使用POST方法进行数据查询,主要参数如下: - **FormId**: 业务对象表单Id,必须填写金蝶的表单ID,如:`PRD_ReturnMtrl`。 - **FieldKeys**: 需查询的字段key集合,格式为数组。 - **FilterString**: 过滤条件,用于筛选特定的数据。 - **Limit**: 最大行数,用于分页查询。 - **StartRow**: 开始行索引,用于分页查询。 #### 请求示例 为了更好地理解这些参数,我们来看一个具体的请求示例: ```json { "FormId": "PRD_ReturnMtrl", "FieldKeys": [ "FID", "FBillNo", "FPrdOrgId.FNumber", "FStockOrgId.FNumber", "FDate", "FBillType.FNumber", "FCurrId", "FTransferBizType", "FSTOCKERID", "FReturnerId", "FIsCrossTrade", "FVmiBusiness", "FSourceType", "FIsOwnerTInclOrg", "FEntity_FEntryID", "FPPBOMEntryId", "FMaterialId.FNumber", "FMaterialName", "FSpecification", "FAPPQty", "FQty", "FReturnType", "FStockId.FNumber", "FMoId", "FMoBillNo", "FMoEntryId", "FMoEntrySeq", "FStockStatusId", "FOwnerTypeId", "FOwnerId.FNumber", "FReturnReason", "FParentOwnerTypeId", "FParentOwnerId", "FParentMaterialId.FNumber", "FDocumentStatus" ], "FilterString": "'FBillNo'='PRD20230101' and FDocumentStatus='C'", "Limit": 100, "StartRow": 0 } ``` 在这个示例中,我们查询了生产退料单(表单ID为`PRD_ReturnMtrl`)中所有状态为“已审核”(`C`)且单据编号为“PRD20230101”的记录。我们还设置了分页参数,每次最多返回100条记录,从第0行开始。 #### 数据清洗与转换 获取到原始数据后,需要对其进行清洗和转换,以便后续处理。以下是一些常见的数据清洗和转换操作: 1. **字段重命名**:将原始字段名转换为目标系统所需的字段名。例如,将`FBillNo`重命名为`bill_number`。 2. **数据类型转换**:确保所有字段的数据类型符合目标系统要求。例如,将日期字符串转换为标准日期格式。 3. **过滤无效数据**:移除不符合业务逻辑的数据记录。例如,删除实退数量(`FQty`)为零的记录。 #### 数据写入目标系统 完成数据清洗和转换后,可以将处理后的数据写入目标系统。在轻易云平台上,这一步通常通过配置相应的写入接口实现。以下是一个简单的数据写入示例: ```json { "_id": "{{_id}}", "_source": { "_type": "{{_type}}", "_index": "{{_index}}" }, "_op_type": "{{_op_type}}" } ``` 在这个示例中,我们使用了占位符来动态填充具体的数据值。这种方式可以确保灵活性和可扩展性。 #### 实时监控与错误处理 在整个数据集成过程中,实时监控和错误处理也是不可忽视的重要环节。轻易云平台提供了全面的监控功能,可以实时跟踪每个数据处理环节,并及时发现和解决问题。例如,可以设置告警机制,当某个接口调用失败或返回异常数据时,立即通知相关人员进行处理。 通过上述步骤,我们可以高效地调用金蝶云星空接口获取生产退料单的数据,并进行必要的清洗和转换,为后续的数据处理打下坚实基础。这不仅提升了业务透明度和效率,也确保了数据的一致性和准确性。 ![泛微OA与ERP系统接口开发配置](https://pic.qeasy.cloud/S24.png~tplv-syqr462i7n-qeasy.image) ### 轻易云数据集成平台生命周期第二步:ETL转换与写入旺店通·企业奇门API接口 在轻易云数据集成平台中,ETL(提取、转换、加载)过程是数据处理的核心环节之一。本文将详细探讨如何将已经集成的源平台数据进行ETL转换,并转为目标平台——旺店通·企业奇门API接口所能够接收的格式,最终写入目标平台。 #### 数据请求与清洗 首先,我们需要从源系统(如金蝶生产退料单)提取原始数据。这一步骤通常包括数据请求和初步清洗,以确保数据的完整性和一致性。在此不做详细描述,重点关注ETL转换阶段。 #### 数据转换与写入 在完成初步的数据请求和清洗后,我们进入ETL过程的第二步:数据转换与写入。以下是具体步骤和技术细节。 1. **元数据配置解析** 我们需要根据提供的元数据配置来理解目标API接口的需求。以下是关键元数据配置: ```json { "api": "wdt.stockin.order.push", "method": "POST", "idCheck": true, "operation": { "method": "merge", "field": "FBillNo", "bodyName": "details", "bodySum": ["FQty"], "header": ["FBillNo", "FStockId", "FLot", "FPrdOrgId_Fnumber"], "body": ["FMaterialId", "FQty", "FLot", "FMemo", "FPrdOrgId_Fnumber"] }, ... } ``` 2. **构建请求报文** 根据元数据配置,我们需要构建一个符合旺店通·企业奇门API接口规范的请求报文。以下是具体字段映射: - `outer_no` 映射到 `FBillNo` - `warehouse_no` 映射到 `FStockId` - `goods_list` 映射到 `details`,其中包含多个子字段如 `spec_no`、`stockin_num` 等。 示例代码如下: ```json { "outer_no": "{FBillNo}", "warehouse_no": "{FStockId}", ... "goods_list": [ { "spec_no": "{FMaterialId}", "stockin_num": "{FQty}", ... } ], ... } ``` 3. **实现字段合并与汇总** 元数据配置中指定了需要合并和汇总的字段,如 `FBillNo` 和 `FQty`。我们需要在构建请求报文时进行相应处理: ```python def merge_and_sum(data): merged_data = {} for item in data: bill_no = item['FBillNo'] if bill_no not in merged_data: merged_data[bill_no] = item else: merged_data[bill_no]['FQty'] += item['FQty'] return list(merged_data.values()) cleaned_data = merge_and_sum(raw_data) ``` 4. **发送HTTP请求** 最后一步是通过HTTP POST方法将构建好的请求报文发送到旺店通·企业奇门API接口: ```python import requests url = 'https://api.wangdiantong.com/wdt.stockin.order.push' headers = { 'Content-Type': 'application/json', 'Authorization': 'Bearer YOUR_ACCESS_TOKEN' } response = requests.post(url, json=cleaned_data, headers=headers) if response.status_code == 200: print("Data successfully pushed to Wangdiantong API") else: print(f"Failed to push data: {response.text}") ``` 通过上述步骤,我们成功地将源平台的数据经过ETL转换,并推送到目标平台——旺店通·企业奇门API接口。这一过程不仅确保了数据格式的一致性,还提高了系统间的数据交互效率。 ![钉钉与CRM系统接口开发配置](https://pic.qeasy.cloud/T9.png~tplv-syqr462i7n-qeasy.image)