轻易云平台在吉客云·奇门数据集成中的应用

  • 轻易云集成顾问-陈洁琳

案例分享:吉客云·奇门数据集成到金蝶云星空

在本技术案例中,我们将详细介绍如何通过轻易云数据集成平台实现吉客云·奇门的数据无缝对接至金蝶云星空。具体方案为JY-BDS销售出库单(5-代销售)的集成,重点探讨API调用、数据转换及异常处理等关键技术环节。

数据获取与快速写入

我们首先聚焦于如何定时可靠地抓取吉客云·奇门的数据接口jackyun.tradenotsensitiveinfos.list.get,并迅速将大量数据写入到金蝶云星空的接口batchSave中。考虑到高吞吐量的需求,该过程必须确保每个阶段的数据传输效率和准确性。

异常处理与重试机制

在实时监控和日志记录的支持下,我们设计了完善的异常处理与错误重试机制,以应对可能出现的接口限流或分页问题。这不仅提高了任务完成的稳定性,还保障了系统运行的连续性。

数据质量监控与自定义转换逻辑

为了适应业务需求及不同系统间的数据结构差异,我们引入了自定义数据转换逻辑,并配合实施严格的数据质量监控及异常检测措施。这样可以及时发现并解决可能存在的问题,确保每一条记录都能精确映射到目标系统中。同时,通过统一视图和控制台,对API资产进行集中管理,实现资源利用优化。

以上是该案例初步涉及的一些技术点,这不仅展示了从吉客云·奇门成功集成至金蝶云星空的方法,也突显出各环节的重要技术细节。在后续部分,将进一步深入剖析具体实现步骤和代码示例。 数据集成平台API接口配置

使用轻易云数据集成平台调用吉客云·奇门接口获取并加工数据

在数据集成的生命周期中,第一步是从源系统获取数据。本文将详细介绍如何通过轻易云数据集成平台调用吉客云·奇门接口jackyun.tradenotsensitiveinfos.list.get来获取并加工数据。

接口配置与请求参数

首先,我们需要配置API接口和请求参数。根据元数据配置,接口为jackyun.tradenotsensitiveinfos.list.get,请求方法为POST。以下是主要的请求参数:

  • modified_beginmodified_end: 修改起始时间和结束时间,必须同时存在且时间间隔不能超过七天。
  • startModifiedendModified: 最后修改时间的起始和截止。
  • tradeNo: 销售单号,多个用半角逗号分隔。
  • pageSize: 每页记录数,默认20。
  • pageIndex: 页码,从0开始。
  • hasTotal: 是否返回总记录数,首次调用时传1。
  • startCreatedendCreated: 创建时间的起始和截止。
  • startAuditTimeendAuditTime: 审核时间的起始和截止。
  • startConsignTimeendConsignTime: 发货时间的起始和截止。
  • tradeStatus, tradeType, sourceTradeNos, 等其他字段。

这些参数确保了我们可以灵活地过滤和分页获取所需的数据。

数据请求与清洗

在实际操作中,我们需要根据业务需求设置具体的参数值。例如,为了获取最近两天内修改过的销售出库单,我们可以设置如下参数:

{
  "modified_begin": "2023-10-01T00:00:00",
  "modified_end": "2023-10-03T00:00:00",
  "pageSize": 20,
  "pageIndex": 0,
  "hasTotal": 1,
  "tradeType": "5"
}

通过轻易云平台,我们可以很方便地将这些参数配置到API请求中,并发起请求以获取数据。平台提供了全透明可视化的操作界面,使得每个环节都清晰易懂,并且能够实时监控数据流动和处理状态。

数据转换与写入

在获取到原始数据后,需要对其进行必要的清洗和转换。例如,我们可能需要将日期格式统一、去除无效字段、或者根据业务规则计算新的字段值。这些操作可以通过轻易云平台内置的数据处理功能来实现。

以下是一个简单的数据清洗示例:

{
  "transformations": [
    {
      "field": "tradeNo",
      "operation": "trim"
    },
    {
      "field": "gmtCreate",
      "operation": "date_format",
      "params": {
        "from_format": "yyyy-MM-dd'T'HH:mm:ss",
        "to_format": "yyyyMMdd"
      }
    }
  ]
}

上述配置将对tradeNo字段进行去除空格操作,并将gmtCreate字段的日期格式从ISO格式转换为"yyyyMMdd"格式。

异常处理与补救机制

在实际运行过程中,可能会遇到各种异常情况,例如网络故障、接口超时等。为了确保数据完整性,轻易云平台提供了完善的异常处理机制。例如,通过定时任务(crontab)定期重试失败的请求:

{
  "omissionRemedy": {
    "crontab": "30 6,18 * * *",
    "takeOverRequest": [
      {
        "field": "startConsignTime",
        "value": "{{DAYS_AGO_2|datetime}}"
      },
      {
        "field": "endConsignTime",
        "value": "{{CURRENT_TIME|datetime}}"
      }
    ]
  }
}

以上配置表示每天早上6点半和晚上6点半各执行一次补救任务,以确保遗漏的数据能够及时补充。

通过上述步骤,我们成功实现了从吉客云·奇门接口获取并加工销售出库单数据。在整个过程中,轻易云平台提供了强大的支持,使得复杂的数据集成任务变得简单高效。 金蝶与外部系统打通接口

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步,我们需要将已经集成的源平台数据进行ETL(Extract, Transform, Load)转换,并将其转为目标平台金蝶云星空API接口所能够接收的格式,最终写入目标平台。以下是具体的技术实现过程。

配置元数据

首先,我们需要配置元数据,以便正确地将源数据映射到金蝶云星空API接口所需的字段格式。以下是我们使用的元数据配置:


{
    "api": "batchSave",
    "method": "POST",
    "idCheck": true,
    "operation": {
        "rowsKey": "array",
        "rows": 1,
        "method": "batchArraySave"
    },
    "request": [
        {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"XSCKD07_SYS"},
        {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{tradeNo}"},
        {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{consignTime}"},
        {"field":"FSaleOrgID","label":"销售组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"_findCollection find textField_l2iazxw0 from a7cb0b9d-2aef-342a-bcb9-7d02e747f1d8 where textField_l2iazxvw={shopCode}"},
        {"field":"FCustomerID","label":"客户","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"_findCollection find textField_l2iazxvz from a7cb0b9d-2aef-342a-bcb9-7d02e747f1d8 where textField_l2iazxvw={shopCode}"},
        {"field":"FNote","label":"备注","type":"string","describe":"多行文本","value":"{sellerMemo}"},
        {"field":"FStockOrgID","label":"发货组织","type":"string","describe":"多类别基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"_findCollection find textField_l2ib4q9s from 0ce3a160-9fb2-36e5-a2ac-57f5ad0f3c72 where textField_l2ib4q9p={warehouseCode}"},
        {"field": "FOwnerIdHead", "label": "货主", "type": "string", "describe": "多类别基础资料", "parser": {"name": "ConvertObjectParser", "params": "FNumber"}, "value": "_findCollection find textField_l2ib4q9s from 0ce3a160-9fb2-36e5-a2ac-57f5ad0f3c72 where textField_l2ib4q9p={warehouseCode}"},
        {
            "field": "FEntity",
            "label": "明细信息",
            "type": "array",
            "children": [
                {"field": "FCustMatID", "label": "客户物料编码", "type": "string", "describe": "基础资料", 
![电商OMS与ERP系统接口开发配置](https://pic.qeasy.cloud/T27.png~tplv-syqr462i7n-qeasy.image)
更多系统对接方案