使用轻易云实现ETL转化：从钉钉费用报销到MySQL数据库

  • 轻易云集成顾问-谢楷斌

钉钉数据集成到MySQL的技术实践：跨部门费用报销案例

在企业管理中，涉及多个部门的数据往往存在诸多分散和不一致的问题。为了提升数据透明度和处理效率，整合各个系统的数据是关键的一步。本篇文章将结合钉钉-跨部门费用报销 --> BI崛起-跨部门费用报销这一实际运行的方案，从技术角度详细解析如何通过轻易云数据集成平台实现钉钉与MySQL之间的数据对接。

首先，我们需要从钉钉获取费用报销相关的流程实例数据。使用API接口 topapi/processinstance/get 可以有效地提取所需信息，但我们面临几个主要挑战：保证大数据量下的高效抓取、处理分页和限流问题，以及确保每条记录无遗漏。这部分工作由定时任务来完成，利用轻易云提供的批量操作能力，在设定时间内自动调取接口并获取最新的数据。

接下来是将获取到的信息写入到Our MySQL数据库。此过程不仅要求高吞吐量以应对批量数据，同时还需关注不同格式间的数据转换问题以及异常处理机制。对于具体执行，可以调用MySQL API中的 execute 方法，将整理后的数据进行存储。在这里，我们采用了自定义的数据转化逻辑，使得源系统中的复杂结构能完美映射至目标数据库表中。

为了监控整个集成流程的状态及性能表现，我们启用了集中监控与告警功能。一旦出现如 网络异常或API响应超时等情况 ，系统会实时触发告警并记录日志，以便后续快速定位和解决问题。同时，错误重试机制也在设计之中，有力保障了任务长时间稳定运行，不因偶发故障而影响整体进程。

本文仅为开端，后续章节将进一步深入探讨如何具体实现每一步骤，从而建立一个全方位、高效且可靠的数据信息流通环境。 如何对接钉钉API接口

调用钉钉接口topapi/processinstance/get获取并加工数据

在数据集成过程中，调用源系统接口是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台调用钉钉接口topapi/processinstance/get，并对获取的数据进行加工处理。

接口配置与请求参数

首先，我们需要配置元数据以调用钉钉的API接口。根据提供的元数据配置，我们可以看到以下关键参数：

  • api: topapi/processinstance/get
  • method: POST
  • request: 包含多个字段的请求参数列表

具体的请求参数包括：

  1. process_code: 审批流的唯一码，用于标识特定的审批流程。
  2. start_time: 审批实例开始时间，Unix时间戳，单位毫秒。
  3. end_time: 审批实例结束时间，Unix时间戳，单位毫秒。
  4. size: 分页参数，每页大小，最多传20。
  5. cursor: 分页查询的游标，最开始传0，后续传返回参数中的next_cursor值。

这些参数确保我们能够准确地从钉钉系统中获取所需的数据。

请求参数示例

{
  "process_code": "PROC-46EEC275-6C7A-42B8-AAC9-EF828A7498DC",
  "start_time": "_function {LAST_SYNC_TIME}*1000",
  "end_time": "_function {CURRENT_TIME}*1000",
  "size": "20",
  "cursor": "0"
}

在这个示例中，我们使用了两个函数来动态生成时间戳：{LAST_SYNC_TIME}和{CURRENT_TIME}。这两个函数分别表示上次同步时间和当前时间，通过乘以1000将其转换为毫秒级别的Unix时间戳。

数据请求与清洗

一旦成功调用API并获取到数据，我们需要对数据进行清洗和预处理。这一步骤包括但不限于：

  1. 去除冗余字段：只保留业务需要的字段，以减少数据冗余。
  2. 格式转换：将日期、金额等字段转换为统一格式，便于后续处理。
  3. 数据校验：检查关键字段是否为空或格式是否正确，如ID字段是否唯一且有效。

例如，对于费用报销流程中的费用分摊明细，我们可能需要提取并平展（flatten）相关信息，以便进一步分析和处理。

数据转换与写入

在完成数据清洗后，我们将进入数据转换与写入阶段。这一步骤通常包括：

  1. 映射字段：将源系统的数据字段映射到目标系统的数据模型中。例如，将钉钉中的审批实例ID映射到BI系统中的唯一标识符。
  2. 数据聚合：根据业务需求，对某些字段进行聚合计算，如总费用、平均费用等。
  3. 写入目标系统：将处理后的数据写入目标系统，如BI崛起平台，以支持后续的数据分析和报表生成。

自动填充响应

根据元数据配置中的autoFillResponse设置为true，我们可以自动填充响应结果。这意味着平台会自动处理API返回的数据，并根据预定义规则进行解析和存储，大大简化了开发工作量。

实时监控与调试

在整个过程中，通过轻易云平台提供的全透明可视化操作界面，我们可以实时监控每个环节的数据流动和处理状态。如果出现问题，可以快速定位并解决，提高了业务透明度和效率。

通过以上步骤，我们实现了从调用源系统接口到数据清洗、转换及写入目标系统的完整流程。这不仅确保了不同系统间的数据无缝对接，也为后续的数据分析和决策提供了坚实基础。 金蝶与外部系统打通接口

使用轻易云数据集成平台实现ETL转换并写入MySQL API接口

在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL（提取、转换、加载）转换，转为目标平台 MySQL API 接口所能够接收的格式，并最终写入目标平台。以下是详细的技术实现过程。

数据请求与清洗

首先，我们从源平台（如钉钉）获取跨部门费用报销的数据。通过轻易云数据集成平台，我们可以轻松地配置数据请求和清洗规则。假设我们已经完成了这一步，接下来我们将重点关注如何将这些数据转换为 MySQL API 接口可接受的格式。

数据转换与写入

为了将数据写入 MySQL，我们需要使用元数据配置来定义请求参数和 SQL 语句。以下是具体的元数据配置：

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "children": [
        {"field": "bfn_id", "label": "id", "type": "string", "value": "{bfn_id}"},
        {"field": "applicant_department", "label": "申请人所属部门", "type": "string", "value": "{{申请人所属部门}}"},
        {"field": "month", "label": "所属月份", "type": "string", "value": "{{所属月份}}"},
        {"field": "reimbursement_description", "label": "报销说明", "type":"string","value":"{{报销说明}}"},
        {"field":"total_amount","label":"总额","type":"string","value":"{{总额}}"},
        {"field":"receipt_method","label":"收款方式","type":"string","value":"{{收款方式}}"},
        {"field":"other_receipt_account","label":"其他收款账号","type":"string","value":"{{其他收款账号}}"},
        {"field":"payee_name","label":"收款户名","type":"string","value":"{{收款户名}}"},
        {"field":"receipt_account","label":"收款账号","type":"string","value":"{{收款账号}}"},
        {"field":"receipt_bank","label":"收款银行","type":"string","value":"{{收款银行}}"},
        {"field":"financial_payment_method","label":"财务支付方式","type":"string","value":"{{财务支付方式}}"},
        {"field":"actual_payment_amount","label":"实付金额（元）","type":"string","value":"{{实付金额（元）}}"},
        {"field":"cost_department","label":"费用分摊明细_费用归属部门","type":"","value":"","children":[{"field":"","label":"","type":"","describe":"","children":[]}]},
        {"field":"","label":"","type":"","describe":"","children":[]}
      ]
    }
  ],
  ...
}

在这个配置中，我们定义了一个 main_params 对象，其中包含多个字段，每个字段对应于一个具体的数据项。例如，bfn_id 对应于报销单号，applicant_department 对应于申请人所属部门等。

SQL语句生成

为了将这些字段的数据插入到 MySQL 数据库中，我们需要定义一条 SQL 插入语句。在元数据配置中，这部分内容如下：

{
  ...
  {
    field: 'main_sql',
    label: 'main_sql',
    type: 'string',
    describe: '111',
    value: 'REPLACE INTO inter_department_reimbursement (bfn_id, applicant_department, month, reimbursement_description, total_amount, receipt_method, other_receipt_account, payee_name, receipt_account, receipt_bank, financial_payment_method, actual_payment_amount, cost_department, purpose_details, corresponding_subjects, amount, create_time, finish_time, originator_userid, originator_dept_id, status, result, business_id, originator_dept_name, biz_action) VALUES (:bfn_id,:applicant_department,:month,:reimbursement_description,:total_amount,:receipt_method,:other_receipt_account,:payee_name,:receipt_account,:receipt_bank,:financial_payment_method,:actual_payment_amount,:cost_department,:purpose_details,:corresponding_subjects,:amount,:create_time,:finish_time,:originator_userid,:originator_dept_id,:status,:result,:business_id,:originator_dept_name,:biz_action);'
  }
}

这条 SQL 语句使用了 REPLACE INTO 命令，以确保如果记录已经存在，则进行更新；否则插入新记录。每个占位符 :字段名 将被相应的数据值替换。

调用API接口

最后，通过轻易云平台提供的 API 接口，我们可以执行上述 SQL 语句，将处理后的数据写入 MySQL 数据库。调用接口时，需要确保传递正确的参数和方法，例如：

POST /execute
Content-Type: application/json

{
  ...
}

通过这种方式，我们可以实现从源平台到目标平台的数据无缝对接，并确保每个环节的数据准确性和完整性。这不仅提高了业务处理效率，还增强了系统间的数据一致性和透明度。 金蝶与SCM系统接口开发配置

版权声明

该文章《使用轻易云实现ETL转化：从钉钉费用报销到MySQL数据库》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

旺店通金蝶对接业财一体化数据集成方案包全业务流程图下载
更多系统对接方案