使用轻易云平台实现ETL转换并推送数据至旺店通

  • 轻易云集成顾问-吴伟
### 案例分享:用友U8数据集成到旺店通·企业奇门 在本案例中,我们将重点探讨如何实现用友U8系统中的采购入库单数据,分页导入至旺店通·企业奇门的过程。具体方案为“B u8采购入库单(分页) => oms采购订单”。此过程中不仅要求高效的数据处理能力,还需确保数据准确无误地传输和转换。 #### 1. 数据获取与API调用 首先,通过调用用友U8提供的API`/apilink/u8api`,实现对采购入库单的定时抓取。我们采用分页方式来获取大量数据,避免一次性请求导致接口限流问题。这不仅提升了数据读取效率,也确保了每次请求的数据量都在可控范围内。 ```plaintext GET /apilink/u8api?method=getPurchaseOrder&params={...} ``` #### 2. 数据处理与格式转换 由于用友U8及旺店通·企业奇门两者的数据结构不同,需要进行自定义的数据转换逻辑。例如,将用友U8中的字段映射并转化为符合旺店通·企业奇门 API `wdt.purchase.order.push` 所需的格式: ```json { "order_id": "123456", "supplier_name": "供应商A", ... } ``` 此步骤通过轻易云平台提供的可视化设计工具完成,使得复杂逻辑变得直观且易于管理。 #### 3. 批量写入与实时监控 对于大批量数据写入需求,我们利用平台的高吞吐量支持功能,使这些经过转换后的订单数据能够快速并可靠地推送到目标系统中。当遇到异常情况时,可以通过集成的监控和告警系统,实现对任务状态及性能实时跟踪,并及时响应错误重试机制: ```plaintext POST /wdt/purchase/order.push {...} ``` #### 4. 异常检测与质量控制 为了确保每一条记录都能成功上传,我们还配置了严格的数据质量监控及异常检测机制。一旦发现问题,即刻终止相关流程、记录日志并发出告警信息,以便后续查找原因和修正,从而做到“不漏单”。 以上步骤展示了整个系统对接过程中关键技术要点,为后续详细方案实施提供了坚实基础。在下文我们将进一步深入探讨具体实施细节,包括API参数配置、分页策略设定以及容错处理等重要环节。 ![轻易云数据集成平台金蝶集成接口配置](https://pic.qeasy.cloud/D11.png~tplv-syqr462i7n-qeasy.image) ### 用友U8接口调用与数据加工技术案例 在数据集成过程中,调用源系统接口获取并加工数据是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用用友U8接口`/apilink/u8api`,并对获取的数据进行初步加工,以实现采购入库单的集成。 #### 接口配置与请求参数 首先,我们需要配置API接口的元数据。根据提供的元数据配置,我们可以看到该接口采用POST方法进行数据请求,主要包含以下几个部分: 1. **消息体参数**:包括过滤条件、分页参数等。 2. **其他请求参数**:如id列表接口和详情接口。 具体的请求参数配置如下: ```json { "api": "/apilink/u8api", "effect": "QUERY", "method": "POST", "number": "ccode", "id": "id", "name": "poid", "idCheck": true, "request": [ { "field": "data", "label": "消息体参数", "type": "object", "children": [ { "field": "过滤条件_1", "label": "过滤条件_1", "type": "object", "children": [ {"field": "名称", "label": "开始时间", "type": "string", "value":"dnmaketime"}, {"field": "比较符号", "label":"大于等于", "type":"string", "value" : ">="}, {"field":"值","label":"短日期","type":"date","value":"{{LAST_SYNC_TIME|datetime}}"} ] }, { ... } ] } ], ... } ``` #### 数据请求与清洗 在实际操作中,我们需要根据业务需求设置具体的过滤条件。例如,设定时间范围、分页大小和页码等。以下是一个示例请求体: ```json { "data":{ ... { ... { ... { ... { ... { ... { ... { ... { ... { ... { ... { ... { ... { ... { ... { ... ![金蝶与外部系统打通接口](https://pic.qeasy.cloud/S2.png~tplv-syqr462i7n-qeasy.image) ### 使用轻易云数据集成平台进行ETL转换并推送至旺店通·企业奇门API接口 在数据集成的生命周期中,ETL(提取、转换、加载)过程是至关重要的一环。本文将详细探讨如何使用轻易云数据集成平台,将源平台的采购入库单数据转换为旺店通·企业奇门API接口所能接收的格式,并最终写入目标平台。 #### 数据请求与清洗 首先,我们需要从源平台(例如U8系统)提取采购入库单数据。假设我们已经完成了这一阶段,并且得到了清洗后的原始数据。接下来,我们将重点放在如何进行数据转换和写入目标平台上。 #### 数据转换与写入 为了将清洗后的数据转换为旺店通·企业奇门API接口所需的格式,我们需要按照以下元数据配置进行操作: ```json { "api": "wdt.purchase.order.push", "effect": "EXECUTE", "method": "POST", "idCheck": true, "request": [ { "field": "provider_no", "label": "供应商编号", "type": "string", "describe": "供应商编号,ERP供应商档案必须存在此编号,否则推送失败", "value": "{cvencode}", "mapping": { "target": "64195f5b50c1154794577594", "direction": "positive" } }, { "field": "warehouse_no", "label": "仓库编号", "type": "string", "describe": "...", ... }, ... ], ... } ``` ##### 核心字段映射与配置 1. **供应商编号(provider_no)**: - 源字段:`cvencode` - 描述:确保ERP系统中的供应商档案存在此编号。 - 示例值:`{cvencode}` 2. **仓库编号(warehouse_no)**: - 源字段:`cwhcode` - 描述:用于区分不同仓库的唯一编码。 - 示例值:`{cwhcode}` 3. **API单号(outer_no)**: - 源字段:`id` - 描述:确保唯一性,长度不能超过20。 - 示例值:`{id}` 4. **预计到货时间(expect_arrive_time)**: - 源字段:`dveridate` - 描述:时间格式要求为YYYY-MM-DD HH:MM:SS。 - 示例值:`{dveridate}` 5. **备注(remark)**: - 源字段组合:`cmemo`, `carvcode`, `WH230400118` - 描述:包含到货信息和入库信息。 - 示例值:`{cmemo}-到货{carvcode}-入库{WH230400118}` 6. **采购明细节点(details_list)**: 包含多个子字段,如下: ```json { "field": "spec_no", ... ... { "field": "num", ... ... { "field": "price", ... ... { "field": "tax", ... ... } } } } ``` ##### 配置示例代码片段 以下是一个完整的配置示例,用于将采购订单推送至旺店通·企业奇门: ```json { ..., { ..., { ..., { ..., { ..., { ..., { ..., { ..., { ..., { field: 'details_list', label: '采购明细节点', type: 'array', describe: '请求参数的2级数据节点,包含采购单所有货品明细信息的数据节点,节点下数据字段详见下述“details_list”', value: 'body', children: [ { field: 'spec_no', label: '商家编码', type: 'string', describe: 'sku', value: '{{body.cinvcode}}' }, { field: 'num', label: '采购数量', type: 'string', value: '{{body.iquantity}}' }, { field: 'price', label: '采购价格', type: 'string', value: '{{body.ioricost}}' }, { field: 'tax', label: '税率', type: 'string', value: '0.13' } ] } } } } } } } } }, ... } ``` #### 实际操作步骤 1. **配置元数据映射**: 在轻易云平台上,根据上述元数据配置文件,设置相应的映射关系。确保每个字段都能正确地从源平台获取并转换为目标格式。 2. **执行ETL流程**: 使用轻易云平台提供的可视化工具,执行ETL流程,将清洗后的源数据通过上述映射关系转换为目标格式。 3. **推送至目标平台**: 最后,通过POST请求,将转换后的数据推送至旺店通·企业奇门API接口。 以上就是使用轻易云数据集成平台进行ETL转换并推送至旺店通·企业奇门API接口的详细技术步骤。通过这种方式,可以实现不同系统间的数据无缝对接,提高业务处理效率。 ![如何对接金蝶云星空API接口](https://pic.qeasy.cloud/T29.png~tplv-syqr462i7n-qeasy.image)