如何通过轻易云平台实现钉钉与金蝶云的ETL转换

2022-04-25 05:44:38
轻易云集成顾问-陈洁琳

钉钉数据集成到金蝶云星空：钉钉通讯录 -> 金蝶员工的系统对接案例

在企业数字化管理中，实现不同系统之间的数据高效、准确流通是关键任务之一。本文将聚焦于使用轻易云数据集成平台，将钉钉中的通讯录信息无缝对接至金蝶云星空的员工模块。本次项目旨在确保数据不漏单，快速且可靠地实现大规模数据导入，同时实时监控和处理异常情况。

集成方案概述

本方案通过调用钉钉API topapi/v2/user/get接口抓取最新的用户信息，并利用金蝶云星空API batchSave批量写入员工数据。以下几个技术点尤为重要：

定时可靠的数据抓取: 为保证不同步时间段内新增或修改的用户信息能被及时捕捉，我们配置了高频率调度机制，定时触发从钉钉获取最新通讯录数据。
处理分页和限流问题: 由于接口存在分页机制，我们设计了自动翻页流程。同时，为应对接口调用频率限制，采用了智能限流策略，以防止因过多请求触发反爬虫机制导致请求失败。
数据格式转换与映射: 针对两端系统间的数据格式差异，通过灵活定制字段映射规则，使得各类原始字段对应到目标字段清晰明了，不会丢失任何关键信息。
批量写入与性能优化: 在实际操作中，大量数据需要短时间高效写入金蝶云星空，这要求我们优化批量提交算法，对传输速度进行严格控制，从而提升整体效率。
日志记录与错误重试机制: 实现每一步骤都有详细日志记录并实时监控。在出现异常状况时，会启动错误重试机制确保任务最终成功完成，无需人工干预。
特性扩展支持：
- 调用详细步骤，通过具体案例展示如何利用上述API进行精准操作。
- 重点介绍如何处理两边系统可能出现的数据类型不一致的问题，包括字符串、数值等常见转换需求。

这套解决方案不仅满足当前业务需求，还可以适当扩展应用于其他类似场景，对于复杂、多变的大型企业环境也具备强大的适应力。在后续内容中，我们将逐一详解这些关键节点以及背后的技术实现细节。打通钉钉数据接口

调用钉钉接口topapi/v2/user/get获取并加工数据

在数据集成过程中，调用源系统的API接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用钉钉接口topapi/v2/user/get，并对获取的数据进行加工处理。

接口调用配置

首先，我们需要配置元数据以便正确调用钉钉的API接口。以下是我们使用的元数据配置：

{
  "api": "topapi/v2/user/get",
  "method": "POST",
  "number": "name",
  "id": "userid",
  "idCheck": true,
  "request": [
    {"field": "userid", "label": "用户的userid", "type": "string"},
    {"field": "language", "label": "通讯录语言", "type": "string", "value": "zh_CN"},
    {"field": "dep_strategy", "label": "部门集成策略ID", "type": "string", "value": "ae9accb2-c37d-3f78-a247-1b9357cca1dc"}
  ]
}

请求参数说明

userid: 用户的唯一标识符，这是一个字符串类型的字段，必须提供。
language: 通讯录语言，这里固定为zh_CN表示中文。
dep_strategy: 部门集成策略ID，用于指定部门集成策略。

这些请求参数将通过POST方法发送到钉钉API接口，以获取特定用户的信息。

数据请求与清洗

在调用API后，我们会收到一个包含用户信息的JSON响应。假设响应如下：

{
  "errcode": 0,
  "errmsg": "",
  "result": {
    "userid": "123456",
    "name": "张三",
    ...
  }
}

为了确保数据质量和一致性，我们需要对返回的数据进行清洗和验证。以下是一些常见的数据清洗步骤：

错误码检查: 首先检查errcode是否为0，以确保请求成功。
字段验证: 验证返回的数据是否包含必要的字段，如userid和name。
数据格式化: 将数据转换为目标系统所需的格式。例如，将日期格式统一，或者将某些字段值映射到标准值。

数据转换与写入

在清洗完数据后，我们需要将其转换为目标系统（如金蝶员工系统）所需的格式，并写入数据库。这一步通常包括以下操作：

字段映射: 将源系统中的字段映射到目标系统中的相应字段。例如，将钉钉中的name映射到金蝶员工系统中的employee_name。
数据类型转换: 确保所有字段的数据类型符合目标系统的要求。例如，将字符串类型的日期转换为日期对象。
批量处理: 如果需要处理大量数据，可以考虑批量写入以提高效率。

以下是一个简单的数据转换示例：

{
  "employee_id": "{{result.userid}}",
  "employee_name": "{{result.name}}"
}

通过这种方式，我们可以确保从钉钉获取的数据能够无缝地集成到金蝶员工系统中。

实践案例

假设我们需要获取某个部门下所有员工的信息，并将其导入金蝶员工系统。我们可以按照以下步骤进行操作：

获取部门用户列表: 首先调用钉钉API获取指定部门下所有用户的userid列表。
逐个获取用户信息: 使用上述配置逐个调用topapi/v2/user/get接口，获取每个用户的详细信息。
清洗和转换数据: 对每个用户的信息进行清洗和转换，确保符合目标系统要求。
批量写入目标系统: 将处理后的数据批量写入金蝶员工系统。

通过以上步骤，我们可以高效地实现从钉钉到金蝶员工系统的数据集成，确保数据的一致性和准确性。如何开发企业微信API接口

数据集成与ETL转换：钉钉通讯录到金蝶云星空

在数据集成的生命周期中，第二步至关重要，即将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，并转为目标平台所能接收的格式。在本技术案例中，我们将探讨如何通过轻易云数据集成平台将钉钉通讯录的数据转换并写入金蝶云星空API接口。

1. API接口配置

根据元数据配置，我们需要使用金蝶云星空的batchSave API接口，通过POST方法批量保存员工信息。以下是具体的API配置：

{
    "api": "batchSave",
    "method": "POST",
    "number": "FBillNo",
    "pagination": {"pageSize": 500},
    "idCheck": true,
    "operation": {"method": "batchArraySave", "rows": 1, "rowsKey": "array"},
    "request": [
        {"field": "FName", "label": "名称", "type": "string", "value": "{name}"},
        {"field": "FNumber", "label": "编码", "type": "string", "value": "{unionid}"},
        {"field": "FUseOrgId", "label": "使用组织", "type": "string", "value":"2.01","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
        {"field": "FCreateOrgId", "label":"创建组织","type":"string","value":"2.01","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
        {"field":"FMobile","label":"手机号","type":"string"},
        {"field":"FStaffNumber","label":"员工编号","type":"string","value":"{userid}"}
    ],
    "otherRequest":[
        {"field":"FormId","label":"业务对象表单Id","type":"string","describe":"必须填写金蝶的表单ID如:PUR_PurchaseOrder","value":"BD_Empinfo"},
        {"field":"Operation","label":"执行的操作","type":"string","value":"BatchSave"},
        {"field":"IsAutoSubmitAndAudit","label":"提交并审核","type":"bool","value":"true"},
        {"field":"IsVerifyBaseDataField","label":"验证基础资料","type":"bool","describe":"是否验证所有的基础资料有效性，布尔类，默认false（非必录）","value":"false"}
    ]
}

2. 数据请求与清洗

在ETL流程中，首先需要从钉钉通讯录中提取原始数据。假设我们已经完成了数据请求和初步清洗工作，获得了如下结构的数据：

[
    {
        "name": "张三",
        "unionid": "001",
        "userid": "1001",
        "mobile": "+8613800000000"
    },
    {
        ...
    }
]

3. 数据转换

在数据转换阶段，我们需要根据API接口要求，将原始数据映射到目标字段。以下是关键字段的映射关系：

FName: 对应钉钉通讯录中的name
FNumber: 对应unionid
FUseOrgId 和 FCreateOrgId: 固定值2.01，通过ConvertObjectParser解析为金蝶系统内部编码
FMobile: 对应mobile
FStaffNumber: 对应userid

4. 构建请求体

根据上述映射关系，我们构建出符合金蝶云星空API要求的请求体：

{
    ...
    {
        ...
        {
            array: [
                {
                    FName: '张三',
                    FNumber: '001',
                    FUseOrgId: { FNumber: '2.01' },
                    FCreateOrgId: { FNumber: '2.01' },
                    FMobile: '+8613800000000',
                    FStaffNumber: '1001'
                },
                ...
            ]
        }
    }
}

5. 写入目标平台

最后一步是将转换后的数据通过POST请求写入金蝶云星空。以下是示例代码实现：

import requests
import json

url = 'https://api.kingdee.com/k3cloud/batchSave'
headers = {'Content-Type': 'application/json'}
payload = {
    'FormId': 'BD_Empinfo',
    'Operation': 'BatchSave',
    'IsAutoSubmitAndAudit': True,
    'IsVerifyBaseDataField': False,
    'array': [
        {
            'FName': '张三',
            'FNumber': '001',
            'FUseOrgId': {'FNumber': '2.01'},
            'FCreateOrgId': {'FNumber': '2.01'},
            'FMobile': '+8613800000000',
            'FStaffNumber': '1001'
        },
        ...
    ]
}

response = requests.post(url, headers=headers, data=json.dumps(payload))
print(response.json())

通过以上步骤，我们成功实现了从钉钉通讯录到金蝶云星空的数据集成和ETL转换过程。这一过程不仅确保了数据的一致性和完整性，也极大提升了业务处理效率。如何对接用友BIP接口

版权声明

该文章《如何通过轻易云平台实现钉钉与金蝶云的ETL转换》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。