使用轻易云平台实现ETL转换和金蝶API写入技术详解

  • 轻易云集成顾问-吕修远

钉钉数据集成到金蝶云星空：实现行政报销自动化

在企业信息系统中，如何确保数据从一个平台顺利、安全地传输到另一个平台，一直都是技术人员关注的焦点。本文将分享一则实际运行的案例，展示如何通过轻易云数据集成平台，实现钉钉【行政报销类】的数据高效、成功地对接至金蝶云星空付款单【班西】，从而大幅提升业务处理效率与准确性。

1. 数据抓取与接口调用

为了获取钉钉中的报销数据，我们使用了钉钉提供的API topapi/processinstance/get。这个API能够定时、可靠地抓取指定流程实例的数据，每次调用可以获取多个流程实例的信息，但需要注意其分页和限流问题。因此，在设计方案时特别考虑了以下几点：

  • 分页处理：通过递归或循环方式逐页提取每批次最多可容纳的数据量。
  • 限流控制：对接口调用频率进行严格限制，以避免触发API请求上限。

2. 数据格式差异的转换

不同系统间的数据格式通常存在显著差异。例如，钉钉的JSON结构可能会包含一些特定字段，而这些字段在金蝶云星空中并不存在。在此过程中，通过自定义映射规则和自动转换功能，可以将两者之间的不一致性降到最低。此外，根据实际需求对于部分关键字段做额外校验，并进行适当变更以符合目标系统要求。

3. 批量写入与错误重试机制

当我们准备好经过转换后的数据后，就需要利用金蝶云星空提供的batchSave API进行批量写入操作。这一步骤同样要注意几个重要方面：

  • 快速写入：借助轻易云平台的大规模并发能力，将海量数据高效导入金蝶系统。
  • 异常处理：针对可能出现的问题，如网络故障或服务端响应超时，建立完善的错误捕捉和日志记录机制。
  • 重试策略：设置合理重试次数及间隔时间，对失败操作进行自动重新尝试，以提高整体流程稳定性。

这些实践无疑确保了整个集成过程中的数据不漏单，同时也保证了即使在各种意外情况下，依旧能保持业务连续性，并最终顺利完成数据的一体化管理。 企业微信与OA系统接口开发配置

调用钉钉接口topapi/processinstance/get获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用钉钉接口topapi/processinstance/get，并对获取的数据进行加工处理。

钉钉接口配置与调用

首先，我们需要配置元数据以便正确调用钉钉接口。根据提供的元数据配置，可以看到我们需要通过POST方法调用topapi/processinstance/get接口，并且需要传递特定的参数来过滤数据。

元数据配置如下：

{
  "api": "topapi/processinstance/get",
  "method": "POST",
  "number": "number",
  "id": "id",
  "idCheck": true,
  "condition": [
    [
      {
        "field": "报销类别",
        "logic": "eq",
        "value": "行政报销类"
      }
    ]
  ]
}

数据请求与清洗

在请求数据时，我们需要确保传递正确的参数以获取符合条件的数据。在这个案例中，我们主要关注“报销类别”为“行政报销类”的记录。以下是一个示例请求体：

{
  "process_instance_id": "<具体实例ID>",
  "user_id": "<用户ID>"
}

通过上述请求体，我们可以从钉钉系统中获取到相应的流程实例信息。返回的数据可能包含多个字段，但我们只关心特定字段，如报销金额、报销日期等。

数据转换与写入

获取到原始数据后，需要对其进行清洗和转换，以便后续写入目标系统（如金蝶付款单）。假设我们从钉钉接口获取到以下JSON响应：

{
  "process_instance_id": "123456",
  "title": "行政报销单",
  "form_component_values": [
    {
      "name": "报销金额",
      "value": "1000"
    },
    {
      "name": "报销日期",
      "value": "2023-10-01"
    }
  ]
}

我们需要提取并转换这些字段，使其符合目标系统的要求。例如，将“报销金额”转换为数值类型，将“报销日期”格式化为标准日期格式。

以下是一个简单的数据转换示例：

def transform_data(data):
    transformed_data = {}
    for item in data['form_component_values']:
        if item['name'] == '报销金额':
            transformed_data['amount'] = float(item['value'])
        elif item['name'] == '报销日期':
            transformed_data['date'] = item['value']
    return transformed_data

# 示例调用
raw_data = {
    ...
}
cleaned_data = transform_data(raw_data)

写入目标系统

完成数据清洗和转换后，下一步是将处理后的数据写入目标系统（金蝶付款单）。这一步通常涉及调用目标系统的API，并传递经过处理的数据。

例如，假设金蝶付款单API接受以下格式的数据：

{
  "payment_amount": 1000,
  "payment_date": "2023-10-01"
}

我们可以构建一个POST请求，将清洗后的数据发送到金蝶付款单API：

import requests

def write_to_target_system(data):
    url = "<金蝶付款单API URL>"
    headers = {"Content-Type": "application/json"}
    response = requests.post(url, json=data, headers=headers)
    return response.status_code

# 示例调用
status_code = write_to_target_system(cleaned_data)
if status_code == 200:
    print("Data written successfully")
else:
    print("Failed to write data")

通过以上步骤，我们实现了从钉钉获取数据、清洗和转换数据，并最终写入目标系统的全过程。这不仅提高了业务透明度和效率，也确保了不同系统间的数据无缝对接。 如何对接金蝶云星空API接口

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口的技术案例

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，使其符合目标平台——金蝶云星空API接口所能接收的格式，并最终写入目标平台。本文将详细介绍如何利用轻易云数据集成平台完成这一过程。

1. API接口配置

首先，我们需要配置金蝶云星空的API接口。根据提供的元数据配置，金蝶云星空API接口的基本信息如下：

  • API名称：batchSave
  • 请求方法：POST
  • ID检查：true
  • 操作方法：batchArraySave
  • 行数：1
  • 行键：array

2. 请求字段映射与解析

在进行ETL转换时，需要将源数据字段映射到目标API接口所需的字段，并进行必要的数据解析和转换。以下是主要字段及其映射和解析方式：

  • 单据编号 (FBillNo)：

    • 类型：string
    • 描述：单据编号
    • 值：{{extend.business_id}}

  • 单据类型 (FBillTypeID)：

    • 类型：string
    • 描述：单据类型
    • 解析器：ConvertObjectParser
    • 参数：FNUMBER
    • 值：FKDLX04_SYS

  • 业务日期 (FDATE)：

    • 类型：string
    • 描述：业务日期
    • 值：{{extend.finish_time}}

  • 结算组织 (FSETTLEORGID)：

    • 类型：string
    • 描述：100
    • 解析器：ConvertObjectParser
    • 参数：FNumber
    • 值： _findCollection find Number from 723e2cb6-f80f-3823-8b4f-6e98b9713ba3 where Name={{费用归属项目}}

3. 子字段数组处理

对于复杂的数据结构，如付款单明细（FPAYBILLENTRY），我们需要处理子字段数组。以下是主要子字段及其映射和解析方式：

  • 结算方式 (FSETTLETYPEID)：

    • 类型：string
    • 父级字段：FPAYBILLENTRY
    • 映射方向：正向（positive）
    • 值： {{付款方式}}

  • 付款用途 (FPURPOSEID)：

    • 类型：string
    • 父级字段：FPAYBILLENTRY
    • 值： SFKYT001

示例代码片段

以下是一个示例代码片段，用于展示如何配置和调用金蝶云星空API接口：

{
    "api": "batchSave",
    "method": "POST",
    "idCheck": true,
    "operation": {
        "method": "batchArraySave",
        "rows": 1,
        "rowsKey": "array"
    },
    "request": [
        {
            "field": "FBillNo",
            "label": "单据编号",
            "type": "string",
            "describe": "单据编号",
            "value": "{{extend.business_id}}"
        },
        {
            "field": "FBillTypeID",
            "label": "单据类型",
            "type": "string",
            "describe": "单据类型",
            ...
        }
    ],
    ...
}

注意事项

  1. 数据解析： 使用 ConvertObjectParser 和 _findCollection find Number from ... where Name=... 等解析器和查找函数，确保源数据能够正确转换为目标格式。

  2. 嵌套结构处理： 对于嵌套结构，如付款单明细，需要特别注意父子关系的正确配置，以确保数据能够正确传递。

  3. 基础资料验证： 配置 IsVerifyBaseDataField 为 false，避免不必要的基础资料验证，提高数据写入效率。

通过以上步骤，我们可以高效地将源平台的数据经过ETL转换后，写入到金蝶云星空API接口中，从而实现不同系统间的数据无缝对接。 金蝶与CRM系统接口开发配置

版权声明

该文章《调用钉钉接口获取并处理行政报销数据的实践》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案