实现2B吉客云销售单到用友BIP销售出库单红字的ETL

  • 轻易云集成顾问-吕修远

吉客云·奇门数据集成到用友BIP的技术案例分享

在企业级信息系统中,数据的快速、准确流动对于业务的高效运转至关重要。本篇文章将详解如何通过轻易云数据集成平台,实现吉客云·奇门的数据无缝对接到用友BIP,确保销售单据及时准确地转换为销售出库单红字。

为了实现“2B吉客云-销售单--->YS-销售出库单红字-成功”这一方案,我们利用了吉客云·奇门提供的数据获取API(jackyun.tradenotsensitiveinfos.list.get)和用友BIP的数据写入API(/yonbip/scm/salesout/mergeSourceData/save),并结合轻易云平台强大的可视化工具和集中监控功能,有效保证了数据处理过程中的透明度与可靠性。

首先,为了解决大批量数据集成过程中可能出现的数据遗漏问题,我们设计了一套定时可靠的数据抓取机制。通过定期调用吉客云·奇门的接口,将静态分页与动态限流相结合,不仅确保了正常业务期间的大量订单能够被迅速捕获,还避免了因接口访问频率过高导致的服务端限流问题。另外,通过实时监控和告警系统,可随时跟踪任务状态及性能表现,一旦发现异常状况便能及时采取措施进行修复。

在处理从吉客云·奇门获取下来的原始数据后,需要根据业务需求进行自定义的数据转换。这一步骤不仅包括基本字段映射,还涉及一些复杂逻辑,如不同格式间的数据兼容性处理。在这一环节,利用轻易云平台提供的可视化设计工具,可以直观地配置转换规则,大幅减少手工编码带来的错误风险。

最后,将经过转换后的数据批量写入到用友BIP系统。通过使用用友BIP提供的开放API,每个记录都能够精确匹配目标表结构,从而生成合规且完整的信息实体。这一过程同样离不开合理设置重试机制,以应对网络波动或服务暂时不可用等突发状况。此外,对于字段映射及其他细节定制,用友BIP丰富灵活的配置选项也发挥了关键作用,最大程度上满足企业特有业务需求。

总之,此次实践采用的一系列技术手段不但提升了整体操作效率,也极大保障了各类敏感交易信息的不漏失与精准传输,并为今后的类似项目积累了宝贵经验。 钉钉与CRM系统接口开发配置

调用吉客云·奇门接口jackyun.tradenotsensitiveinfos.list.get获取并加工数据

在数据集成的生命周期中,调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用吉客云·奇门接口jackyun.tradenotsensitiveinfos.list.get来获取销售单数据,并对其进行初步加工。

接口配置与请求参数

首先,我们需要了解该接口的基本配置和请求参数。根据元数据配置,接口使用POST方法,主要参数如下:

  • modified_beginmodified_end:用于指定修改时间的起始和结束时间,必须同时存在且时间间隔不能超过七天。
  • startModifiedendModified:最后修改时间的起始和截止时间。
  • tradeNo:销售单号,可以多个用半角逗号分隔。
  • pageSizepageIndex:分页参数,每页记录数默认50,最大1000;页码从0开始。
  • hasTotal:首次调用时传1以获取总记录数。
  • startCreatedendCreated:创建时间的起始和截止时间。
  • startAuditTimeendAuditTime:审核时间的起始和截止时间。
  • startConsignTimeendConsignTime:发货时间的起始和截止时间,默认值分别为一天前和当前时间。
  • tradeStatustradeType:订单状态和订单类型,默认值为8(销售单)。
  • 其他字段如网店订单号、需要返回字段列表等。

请求示例

以下是一个请求示例,用于获取过去一天内发货的销售单信息:

{
  "api": "jackyun.tradenotsensitiveinfos.list.get",
  "method": "POST",
  "params": {
    "startConsignTime": "{{DAYS_AGO_1|datetime}}",
    "endConsignTime": "{{CURRENT_TIME|datetime}}",
    "pageSize": 50,
    "pageIndex": 0,
    "hasTotal": 1,
    "tradeType": 8,
    "fields": "checkTotal,tradeNo,postFee,otherFee,chargeCurrency,accountName,payType,payNo,sellerMemo,buyerMemo,goodsDetail.goodsNo,goodsDetail.goodsName"
  }
}

数据清洗与转换

在获取到原始数据后,需要对其进行清洗和转换,以便后续的数据处理。以下是一些常见的数据清洗操作:

  1. 字段筛选与重命名

    • 根据业务需求筛选必要字段,如tradeNogoodsDetail.goodsNo等,并对字段进行重命名以便后续处理。
  2. 数据格式转换

    • 将日期字符串转换为标准日期格式,以便进行时间范围查询或排序操作。
  3. 缺失值处理

    • 对于关键字段如goodsDetail.goodsNogoodsDetail.sellCount等,如果存在缺失值,需要进行填补或删除操作。
  4. 数据过滤与校验

    • 根据条件过滤无效数据,例如订单状态不符合要求的记录;校验字段值是否符合预期格式或范围。

数据写入与存储

经过清洗和转换后的数据,可以写入目标系统或数据库中。此过程通常包括以下步骤:

  1. 建立连接与认证

    • 与目标系统建立连接,并进行必要的认证操作。
  2. 批量写入操作

    • 将处理后的数据批量写入目标表中,确保高效性和一致性。
  3. 错误处理与日志记录

    • 对于写入过程中出现的错误,需要进行捕获并记录日志,以便后续排查和修复。

自动化与调度

为了确保数据集成过程的自动化和高效性,可以利用轻易云平台提供的调度功能。例如,通过设置定时任务,每隔两小时自动调用接口并处理数据:

{
  "crontab": "20 */2 * * *",
  "takeOverRequest": [
    {
      "field": "startConsignTime",
      "value": "{{HOURE_AGO_5|datetime}}"
    },
    {
      "field": "endConsignTime",
      "value": "{{CURRENT_TIME|datetime}}"
    }
  ]
}

通过上述配置,可以实现自动化的数据集成流程,大大提升业务效率。

综上所述,通过合理配置吉客云·奇门接口及轻易云平台的数据处理功能,可以高效地实现销售单数据的获取、清洗、转换与写入,为企业提供可靠的数据支持。 企业微信与ERP系统接口开发配置

使用轻易云数据集成平台将2B吉客云销售单转换为用友BIP销售出库单红字的ETL过程

在数据集成过程中,ETL(Extract, Transform, Load)是关键步骤之一。本文将详细探讨如何使用轻易云数据集成平台,将2B吉客云的销售单数据转换为用友BIP系统所能接收的格式,并通过API接口写入目标平台。

数据请求与清洗

首先,我们需要从2B吉客云提取销售单数据。这一步骤涉及到调用2B吉客云的API接口,获取原始数据,并进行必要的数据清洗和预处理。由于本文重点在于ETL过程的第二步,这里不再赘述。

数据转换与写入

在获取并清洗了源数据后,接下来就是将这些数据转换为用友BIP系统所能接受的格式,并通过API接口写入目标平台。以下是具体的元数据配置及其应用。

API接口配置

根据提供的元数据配置,我们需要调用用友BIP的/yonbip/scm/salesout/mergeSourceData/save接口,采用POST方法提交请求。以下是主要字段及其含义:

  • mergeSourceData: 是否合并上游数据,值为true时,需要提供来源单据主表ID、行ID等信息。
  • vouchdate: 单据日期,例如2020-11-30 00:00:00
  • warehouse: 仓库ID或编码,例如Z001
  • bizFlow: 流程ID,例如1082e4bb-38e0-494f-8728-778fd4ab6307
  • bizFlow_version: 流程版本,例如V1.0
  • code: 单据编号,例如XSCK20201130000002
  • bustype: 交易类型ID或编码,例如1622818252411895944
子表配置

子表字段主要包括:

  • qty: 数量,例如12
  • sourceid: 来源单据主表ID,通过MongoDB查询获取。
  • sourceautoid: 来源单据行ID,通过集合查询获取。
  • batchno: 批次号,根据条件判断是否需要填写。
  • makeRuleCode: 单据转换规则,例如salereturnTosalesout
  • goodsposition: 货位信息,例如whhw2467516
  • _status: 操作标识,一般为新增(Insert)。
孙表配置

孙表字段主要包括:

  • _status: 操作标识,一般为新增(Insert)。
  • sn: 序列号。

元数据配置应用示例

以下是一个具体的元数据配置示例,用于将2B吉客云销售单转换为用友BIP销售出库单红字:

{
  "api": "/yonbip/scm/salesout/mergeSourceData/save",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "mergeSourceData",
      "label": "是否合并上游数据",
      "type": "string",
      "describe": "是否合并上游数据。值为true的话则sourceid:来源单据主表id,sourceautoid:来源单据行id,makeRuleCode:单据转换规则,_status:操作标识,不可为空。",
      "value": "true"
    },
    {
      "field": "vouchdate",
      "label": "单据日期",
      "type": "string",
      "describe": "单据日期 示例:2020-11-30 00:00:00",
      "value": "{consignTime}"
    },
    {
      "field": "warehouse",
      "label": "仓库id或编码",
      "type": "string",
      "describe": "仓库id或编码 示例:Z001",
      "value": "{warehouseCode}"
    },
    {
      ...
    }
  ],
  ...
}

数据写入

在完成上述配置后,通过轻易云平台发起POST请求,将转换后的数据写入用友BIP系统。确保每个字段的数据格式和内容都符合目标系统的要求,以保证成功写入。

通过这种方式,我们实现了从2B吉客云到用友BIP系统的数据无缝对接,有效地完成了ETL过程中的数据转换与写入步骤。这不仅提升了业务流程的自动化程度,也确保了数据的一致性和准确性。 金蝶与CRM系统接口开发配置

更多系统对接方案