使用轻易云平台实现网易互客数据与金蝶云星空数据格式转换

  • 轻易云集成顾问-谢楷斌

网易互客数据集成到金蝶云星空

在系统对接的复杂背景中，实现高效、稳定的数据流转至关重要。本篇案例将聚焦于如何将网易互客的数据无缝集成到金蝶云星空，并确保数据的完整性和实时性。在整个过程中，我们使用了轻易云数据集成平台来统一管理和监控各环节，尤其是利用其强大的API调用与处理能力。

如何确保集成网易互客数据不漏单

为了保证从网易互客导入的数据不会遗漏，我们采用定时可靠抓取机制，通过周期性的调度任务调用openapi/trade/searchTrades接口。该接口允许我们根据时间范围和交易状态等条件进行精准抓取，从而避免重复抓取或遗漏关键订单。

大量数据快速写入到金蝶云星空

批量处理是加速大规模数据迁移的利器。我们通过分批次调度方式，将获取的订单信息快速写入到金蝶云星空的batchSave API。这不仅大幅提高了上传效率，还减少了单次请求所带来的压力和可能出现的限流问题。

处理分页和限流问题

在实际操作中，网易互客API接口存在分页及限流限制，为此我们设计了一套自动翻页机制。当API返回结果包含下一页标示时，系统会自动发起新的请求获取后续内容。同时，通过限流保护策略，我们设置了请求频率上限，以防止因过多请求而触发服务端封禁。

数据格式差异解决方案

由于两个系统之间的数据结构完全不同，对应字段名、类型甚至层级都有较大的差异，因此需要进行深度的数据映射转换。这里面包括日期格式转换、字段重命名以及嵌套对象解构等一系列复杂操作。通过预设自定义脚本，这些繁琐又容易出错的问题得到了有效解决。

上述几个方面汇聚在一起，共同保障了从网易互客至金蝶云星空这一流程中的高效、安全运行。在接下来的部分，我们将详细展开具体实现步骤及技术细节。 打通企业微信数据接口

调用网易互客接口openapi/trade/searchTrades获取并加工数据

在数据集成的生命周期中，第一步是调用源系统接口获取原始数据，并对其进行初步加工。本文将深入探讨如何通过轻易云数据集成平台调用网易互客接口openapi/trade/searchTrades，并对返回的数据进行处理。

接口调用配置

首先，我们需要配置调用网易互客接口的元数据。以下是元数据配置的详细内容：

{
  "api": "openapi/trade/searchTrades",
  "method": "POST",
  "number": "buyerNick",
  "id": "tid",
  "idCheck": true,
  "formatResponse": [
    {
      "old": "dealTime",
      "new": "dealTime_new",
      "format": "dateTime"
    }
  ],
  "condition_bk": [
    [
      {
        "field": "tid",
        "logic": "eq",
        "value": "316238254607331328"
      }
    ]
  ],
  "request": [
    {
      "field": "source",
      "label": "订单来源",
      "type": "string",
      "describe": "订单来源：1——线上商城；2——销售创建",
      "value": "2"
    },
    {
      "field": "timeRanges",
      "label": "限制时间范围查询",
      "type": "array",
      "children": [
        {
          "field": "timeType",
          "label": "时间类型",
          "type": "string",
          "describe":"时间类型 1下单时间 2成交时间",
          'value': '1',
          'parent': 'timeRanges'
        },
        {
          'field': 'startTime',
          'label': '开始时间',
          'type': 'string',
          'value': '_function REPLACE(unix_timestamp(current_timestamp(3))-72000,\'.\',\'\')',
          'parent': 'timeRanges'
        },
        {
          'field': 'endTime',
          'label': '结束时间',
          'type': 'string',
          'value': '_function REPLACE(unix_timestamp(current_timestamp(3)),\'.\',\'\')',
          'parent': 'timeRanges'
        }
      ]
    },
    {
      'field': 'page',
      'label': '查询的具体页码',
      'type': 'string',
      'value':'1'
    },
    {
      'field':'pageSize',
      'label':'每页展示的订单数量',
      'type':'string',
      'value':'10'
    }
  ]
}

请求参数解析

在请求参数中，我们设置了多个关键字段：

  • source: 表示订单来源，值为2表示销售创建。
  • timeRanges: 限制时间范围查询，包括timeType、startTime和endTime。其中，startTime和endTime使用了函数来动态生成当前时间戳。
  • page: 查询的具体页码，默认为第1页。
  • pageSize: 每页展示的订单数量，默认为10条。

这些参数确保我们能够精确地获取所需的数据，并且可以根据业务需求灵活调整。

数据格式化与转换

在获取到原始数据后，我们需要对其进行格式化和转换。元数据配置中的formatResponse部分定义了这一过程：

[
  {
    “old”: “dealTime”,
    “new”: “dealTime_new”,
    “format”: “dateTime”
  }
]

这里，我们将原始字段dealTime转换为新的字段名dealTime_new, 并将其格式化为标准的日期时间格式。这一步骤确保了数据的一致性和可读性。

条件过滤

为了确保只处理特定条件下的数据，我们在元数据中添加了条件过滤配置：

[
  [
    {
      “field”: “tid”,
      “logic”: “eq”,
      “value”: “316238254607331328”
    }
  ]
]

这个条件过滤器确保我们只处理交易ID为“316238254607331328”的记录。这种精确过滤机制有助于提高处理效率和准确性。

实际应用案例

假设我们需要从网易互客获取某一特定时间段内由销售创建的订单信息，并将其导入到金蝶客户系统中。通过上述元数据配置，我们可以实现以下步骤：

  1. 发送请求: 根据配置生成请求参数并发送POST请求到网易互客接口。
  2. 接收响应: 获取返回的数据并进行初步验证。
  3. 格式化与转换: 根据配置对返回的数据进行字段重命名和格式化。
  4. 条件过滤: 应用条件过滤器，仅保留符合条件的数据记录。
  5. 后续处理: 将处理后的数据写入目标系统（如金蝶客户系统）。

通过这种方式，我们能够高效地完成从源系统到目标系统的数据集成任务，同时确保数据的一致性和准确性。 如何开发金蝶云星空API接口

使用轻易云数据集成平台将互客客户数据转换并写入金蝶云星空API接口

在数据集成的过程中，ETL（Extract, Transform, Load）转换是一个关键步骤。本文将深入探讨如何使用轻易云数据集成平台，将已经从源平台（互客客户）获取的数据进行转换，并通过金蝶云星空API接口写入目标平台。

元数据配置解析

元数据配置是实现数据转换和写入的核心。以下是我们在本案例中使用的元数据配置：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {"field":"FName","label":"客户名称","type":"string","value":"{buyerNick}"},
    {"field":"FNumber","label":"客户编码","type":"string","value":"{buyerCid}"},
    {"field":"FCreateOrgId","label":"创建组织","type":"string","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
    {"field":"FUseOrgId","label":"使用组织","type":"string","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
    {"field":"FDescription","label":"描述","type":"string","value":"_findCollection find 唯一ID from dd359ae0-f1c0-3d0a-b38e-df1d6bf1f756 where cid={buyerCid}"}
  ],
  "otherRequest": [
    {"field":"FormId","label":"业务对象表单Id","type":"string","describe":"必须填写金蝶的表单ID如:PUR_PurchaseOrder","value":"BD_Customer"},
    {"field":"Operation","label":"执行的操作","type":"string","value":"BatchSave"},
    {"field":"IsAutoSubmitAndAudit","label":"提交并审核","type":"bool","value":"true"},
    {"field":"IsVerifyBaseDataField","label":"验证基础资料","type":"bool","describe":"是否验证所有的基础资料有效性，布尔类，默认false（非必录）", "value": "false"}
  ]
}

数据请求与清洗

首先，我们从互客客户系统中提取原始数据。这些数据包括买家昵称（buyerNick）、买家编码（buyerCid）等。提取到的数据需要经过清洗和预处理，以确保其格式和内容符合目标系统（金蝶云星空）的要求。

数据转换

在轻易云平台中，我们利用元数据配置中的request字段进行数据转换。具体字段映射如下：

  • 客户名称 (FName): 从源数据中的buyerNick字段获取。
  • 客户编码 (FNumber): 从源数据中的buyerCid字段获取。
  • 创建组织 (FCreateOrgId): 固定值100，通过ConvertObjectParser解析为目标格式。
  • 使用组织 (FUseOrgId): 固定值100，通过ConvertObjectParser解析为目标格式。
  • 描述 (FDescription): 动态生成，基于查询条件从特定集合中查找唯一ID。

数据写入

完成数据转换后，我们需要将其写入金蝶云星空系统。这一步骤通过调用金蝶云星空API接口实现。具体操作如下：

  1. API接口: 使用batchSave API，通过HTTP POST方法提交请求。
  2. 业务对象表单Id (FormId): 设置为BD_Customer，表示我们要操作的是客户信息表单。
  3. 执行的操作 (Operation): 设置为BatchSave，批量保存操作。
  4. 提交并审核 (IsAutoSubmitAndAudit): 设置为true，表示提交后自动审核。
  5. 验证基础资料 (IsVerifyBaseDataField): 设置为false，不验证所有基础资料的有效性。

实际案例应用

假设我们有以下源数据：

{
  "buyerNick": "张三",
  "buyerCid": "C12345"
}

根据上述元数据配置，生成的请求体如下：

{
  "FormId": "BD_Customer",
  "Operation": "BatchSave",
  "IsAutoSubmitAndAudit": true,
  "IsVerifyBaseDataField": false,
  "array": [
    {
      "FName": "张三",
      "FNumber": "C12345",
      "FCreateOrgId": {
        "FNumber": "100"
      },
      "FUseOrgId": {
        "FNumber": "100"
      },
      "_findCollection find 唯一ID from dd359ae0-f1c0-3d0a-b38e-df1d6bf1f756 where cid=C12345"
    }
  ]
}

通过轻易云平台，将此请求体发送至金蝶云星空API接口，实现了互客客户到金蝶客户的数据无缝对接。

以上内容展示了如何利用轻易云平台进行ETL转换，并通过金蝶云星空API接口实现最终的数据写入。在实际应用中，根据具体需求调整元数据配置，可以灵活应对各种复杂的数据集成场景。 如何开发金蝶云星空API接口

版权声明

该文章《利用轻易云高效集成网易互客与金蝶云星空数据》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台集成生命周期
更多系统对接方案