API接口调用与数据处理：吉客云数据的获取与加工

ETL技术在数据集成中的应用：轻易云平台的ETL转换及金蝶云星空写入

2021-06-18 02:06:20
轻易云集成顾问-贺强

吉客云与金蝶云星空的系统对接集成案例分享：组装拆卸出库对接207v2

在本次技术案例中，我们探讨了如何通过数据集成平台将吉客云的数据无缝迁移并写入到金蝶云星空，以实现高效、可靠的数据对接。具体而言，本文集中展示“组装拆卸出库对接207v2”的解决方案。

集成目标及数据来源接口

为了确保吉客云数据在传输到金蝶云星空过程中不漏单且快速完成，我们首先从吉客云获取相关库存出库信息。使用吉客云提供的API接口erp.storage.goodsdocout.v2，可以定时可靠地抓取所需的数据信息。这些数据需要经过适配处理后，再通过金蝶云星空提供的批量写入接口batchSave进行存储。

技术挑战与解决方案

确保集成吉客云数据不漏单
- 采用周期性任务调度机制，定时调用erp.storage.goodsdocout.v2接口抓取最新的数据。
- 实现去重逻辑和状态管理，避免重复读取或遗漏记录。
大量数据快速写入
- 对于大规模的数据量，通过分批次处理方式，将解析后的记录按一定数量打包，然后逐一调用金蝶云星空API batchSave进行上传操作，保证每个批次都成功写入，同时减少网络延迟带来的影响。
分页和限流问题
- 利用轻易预定义配置手册中的分页参数和限流策略，对查询结果进行控制，从而有效处理大规模请求，提高系统稳定性并防止过载风险。
实时监控与日志记录
- 在整个流程中嵌入实时监控模块，并结合详细日志记录功能，使得每一次调用、每一条异常都有据可查，有助于较快发现并修正潜在的问题。
错误重试机制与异常处理
- 针对可能出现的网络波动或者服务端故障等情况，引入智能错误检测及重试机制。在尝试指定次数后仍失败则触发预警措施，由运维人员进一步诊断和调整。

这些步骤不仅仅是简单的信息搬运，而是围绕着两个独立的平台之间建立了一座桥梁，让业务有效率地持续运行。下一节我们将深入讨论具体实施细节，包括如何编排工作流以及各类特异情况应急响应策略。这些方法不仅能保障每日运营平稳，还为未来扩展打下坚实基础。打通企业微信数据接口

调用吉客云接口erp.storage.goodsdocout.v2获取并加工数据

在数据集成的生命周期中，调用源系统接口是关键的第一步。本文将详细探讨如何通过轻易云数据集成平台调用吉客云接口erp.storage.goodsdocout.v2，并对获取的数据进行加工处理。

接口配置与调用

首先，我们需要配置元数据以便正确调用吉客云的API接口。以下是元数据配置的关键部分：

{
  "api": "erp.storage.goodsdocout.v2",
  "method": "POST",
  "number": "goodsdocNo",
  "id": "recId",
  "pagination": {
    "pageSize": 50
  },
  "idCheck": true,
  "request": [
    {"field": "pageIndex", "label": "分页页码", "type": "string"},
    {"field": "pageSize", "label": "分页页数", "type": "string", "value":"100"},
    {"field": "goodsDocNo", "label": "入库单号", "type": "string"},
    {"field": "gmtModifiedStart", 
     "label": "主表更新时间起始", 
     "type": "string", 
     "value":"_function from_unixtime(({LAST_SYNC_TIME}-86400),'%Y-%m-%d %H:%i:%s')"},
    {"field": "gmtModifiedEnd", 
     "label":"主表更新时间截至", 
     "type":"string", 
     "value":"_function from_unixtime(({CURRENT_TIME}-86400),'%Y-%m-%d %H:%i:%s')"},
    {"field":"startDate","label":"创建时间的起始时间","type":"datetime"},
    {"field":"endDate","label":"创建时间的结束时间","type":"datetime"},
    {"field":"inouttype","label":"出入库类型","type":"int","describe":"201-销售出库 202调拨出库 ... 207组装拆卸出库 ...","value":"207"},
    {"field":"sourceBillNo","label":"来源单号","type":"string"},
    {"field":"warehouseCode","label":"仓库编号","type":"string"},
    {"field":"vendCode","label":"供应商ID(往来单位)","type":"string"},
    {"field":"billNo","label":"上游单据号(关联单号)","type":"string"},
    {"field":"userName","label":"创建人名称","type":"string"},
    {"field":"outBillNo","label":"外部单号（全模糊匹配）","type":"string"},
    {
      ...
      // 此处省略部分字段
      ...
      }
   ]
}

请求参数详解

分页参数：pageIndex和pageSize用于控制分页请求，确保每次请求的数据量适中。
时间范围：gmtModifiedStart和gmtModifiedEnd用于指定主表更新时间的范围，采用UNIX时间戳转换函数确保时间格式正确。
业务参数：如goodsDocNo, inouttype, warehouseCode, vendCode等，用于过滤特定业务场景下的数据。

数据清洗与转换

在获取到原始数据后，需要进行清洗和转换，以便后续处理。以下是一些常见的数据清洗步骤：

字段映射：将API返回的数据字段映射到目标系统所需的字段。例如，将API返回的goodsDocDetailList.goodsId映射为目标系统中的商品ID。
格式转换：将日期、金额等字段转换为目标系统所需的格式。例如，将日期格式从字符串转换为标准日期对象。
数据过滤：根据业务需求过滤掉不必要的数据。例如，只保留状态为“已完成”的订单记录。

实际案例

假设我们需要获取过去一天内所有“组装拆卸出库”的记录，并将其导入到目标系统中。具体步骤如下：

配置请求参数：

{
 ...
 {
   ...
   // 配置分页参数
   ...
   // 配置时间范围
   ...
   // 配置业务参数
   ...
 }
}

发送请求并获取响应：

import requests

url = 'https://api.jikecloud.com/erp/storage/goodsdocout/v2'
payload = {
   'pageIndex': '1',
   'pageSize': '100',
   'inouttype': '207',
   'gmtModifiedStart': '2023-09-01 00:00:00',
   'gmtModifiedEnd': '2023-09-02 00:00:00'
}

response = requests.post(url, json=payload)
data = response.json()

处理响应数据：

processed_data = []

for record in data['data']:
   processed_record = {
       '商品ID': record['goodsDocDetailList']['goodsId'],
       '数量': record['goodsDocDetailList']['quantity'],
       '仓库编号': record['warehouseCode'],
       ...
       # 映射其他字段
       ...
   }
   processed_data.append(processed_record)

# 将处理后的数据导入目标系统

通过上述步骤，我们成功地调用了吉客云接口并对获取的数据进行了清洗和转换，为后续的数据写入奠定了基础。这一过程不仅提高了数据处理效率，也确保了数据的一致性和准确性。用友BIP接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口的技术案例

在数据集成过程中，轻易云数据集成平台不仅实现了不同系统间的数据无缝对接，还提供了强大的ETL（提取、转换、加载）功能。本文将重点探讨如何通过该平台将源平台的数据转换为金蝶云星空API接口所能接收的格式，并最终写入目标平台。

元数据配置解析

在进行数据转换和写入之前，首先需要理解元数据配置。以下是一个典型的元数据配置示例：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 10,
    "method": "batchArraySave"
  },
  "request": [
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{goodsdocNo}"},
    {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"QTCKD01_SYS"},
    {"field":"FStockOrgId","label":"库存组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{companyCode}"},
    {"field":"FPickOrgId","label":"领用组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{companyCode}"},
    {"field":"FStockDirect","label":"库存方向","type":"string","describe":"下拉列表","value":"GENERAL"},
    {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"'function DATE_FORMAT('{inOutDate}', '%Y-%m-%d')'"},
    {"field":"FDeptId","label":"领料部门","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"BM000016"},
    {"field":"FOwnerTypeIdHead","label":"货主类型","type":"string","describe":"","value":""},
    {"field":"","label":"","type":"","describe":"","value":""}
  ],
  "otherRequest":[
    {"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "", "value": ""},
    {"field": "", "label": "", "type": "", "describe": "", "value": ""}
  ]
}

数据请求与清洗

在生命周期的第一步中，已经完成了数据请求与清洗。接下来，我们需要将清洗后的数据进行转换，以适应金蝶云星空API接口的要求。

数据转换与写入

字段映射与解析：
- FBillNo（单据编号）：直接映射为源数据中的goodsdocNo。
- FBillTypeID（单据类型）：使用固定值QTCKD01_SYS，并通过ConvertObjectParser解析为金蝶系统所需格式。
- FStockOrgId和FPickOrgId（库存组织和领用组织）：均映射为源数据中的companyCode，并通过解析器转换。
- FDate（日期）：使用函数将日期格式化为金蝶系统所需的格式。
- FDeptId（领料部门）：固定值为BM000016，通过解析器转换。
明细信息处理：明细信息包含多个字段，如物料编码、实发数量、发货仓库等，需要逐一映射和解析。例如：
- FMaterialId（物料编码）：映射为源数据中的物料编码，并通过解析器转换。
- FQty（实发数量）：直接映射为源数据中的数量。
- FLot（批号）：使用固定值，并通过解析器转换。
其他请求参数：
- FormId: 固定值为金蝶的业务对象表单ID，如：STK_MisDelivery
- IsAutoSubmitAndAudit: 设置为true，表示自动提交并审核。
- IsVerifyBaseDataField: 设置为true，表示验证所有基础资料有效性。

实际操作步骤

配置API请求：根据元数据配置文件，通过轻易云平台设置API请求参数，包括URL、HTTP方法、请求头等。
组装请求体：根据元数据配置，将源平台的数据组装成符合金蝶云星空API接口要求的JSON结构。例如：

{
  "FormId": "STK_MisDelivery",
  "IsAutoSubmitAndAudit": true,
  ...
}

发送请求并处理响应：使用轻易云平台提供的工具发送HTTP POST请求至金蝶云星空API接口，并处理返回结果。如果成功，则记录日志；如果失败，则捕获错误信息进行调试。

技术要点总结

字段映射与解析：确保每个字段都正确映射和解析，以满足目标平台的要求。
明细信息处理：特别注意数组结构的数据处理，确保每个子项都正确映射。
错误处理与日志记录：在实际操作中，要注意捕获和处理错误，并记录日志以便后续调试和优化。

通过以上步骤，我们可以高效地将源平台的数据转换并写入到金蝶云星空，实现不同系统间的数据无缝对接。泛微OA与ERP系统接口开发配置

版权声明

该文章《API接口调用与数据处理：吉客云数据的获取与加工》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。