使用轻易云平台进行钉钉数据ETL转换并写入MySQL

  • 轻易云集成顾问-黄宏棵

钉钉数据集成到MySQL：品类即时报表集成方案-月度目标表v2写入

在本技术案例中，我们将深入探讨如何通过轻易云数据集成平台，实现钉钉数据高效、可靠地集成到MySQL数据库。具体应用场景为品类即时报表的月度目标表（版本2）写入。

此次方案的核心是利用API接口和高吞吐量的数据处理能力，确保大规模的数据能够及时捕获并准确写入MySQL。其中，钉钉获取数据的API路径为v1.0/yida/forms/instances/ids/{appType}/{formUuid}，而向MySQL执行批量写入操作则使用execute API。

在整个实施过程中，我们注重解决以下几个关键问题：

  1. 调用钉钉接口获取数据： 利用定时调度机制可靠抓取每个时间段内生成的新实例，通过分页策略以及限流管理，确保不会漏单，同时不超出接口调用频率限制。

  2. 处理数据格式差异： 定制化的数据映射和转换逻辑，以便适应不同系统之间的数据结构差异。针对特定业务需求，自定义转换规则进行预处理，使得原始JSON格式的数据能无缝匹配至关系型数据库中的字段结构。

  3. 异常检测与错误重试机制： 每一步都加入了全面的异常监控及错误重试功能，可以及时发现并修正潜在的问题，防止因网络波动或其他因素导致的数据丢失或重复写入现象。

  4. 快速且稳定的批量数据写入： 使用批量插入技术，提高了单次事务提交的大容量承载能力，有效地提升了整体性能，使大量报表记录能够迅速、安全地保存至MySQL中。

  5. 实时状态和性能监控： 集成中心化监控及告警系统，对各环节任务进行全程跟踪，从而保持对任务运行状况的全面掌握，并提高响应速度以应对突发情况。

通过此方案，我们不仅实现了高效、精确的信息传输，还确保从开始到结束全过程透明可视，为企业提供了一个可视化展示与决策分析的平台。在接下来的内容中，将详细阐述每个步骤及其背后的技术实现细节。 打通用友BIP数据接口

调用钉钉接口获取并加工数据的技术实现

在数据集成过程中，调用源系统接口是关键的一步。本文将深入探讨如何通过轻易云数据集成平台调用钉钉接口v1.0/yida/forms/instances/ids/{appType}/{formUuid}获取并加工数据。

接口配置与请求参数

首先，我们需要理解和配置元数据中的API接口及其请求参数。以下是元数据配置的详细信息：

{
  "api": "v1.0/yida/forms/instances/ids/{appType}/{formUuid}",
  "effect": "QUERY",
  "method": "POST",
  "number": "title",
  "id": "id",
  "idCheck": true,
  "request": [
    {"field":"appType","label":"appType","type":"string","describe":"应用编码。","value":"APP_BNJNRVQ32174RSX3MROF"},
    {"field":"formUuid","label":"formUuid","type":"string","describe":"表单ID。","value":"FORM-DA5DD28FDCC644ECB2A8F123534D3EF4I082"},
    {"field":"pageNumber","label":"pageNumber","type":"string","describe":"分页页码。","value":"1"},
    {"field":"pageSize","label":"pageSize","type":"string","describe":"分页大小。","value":"50"},
    {"field":"modifiedToTimeGMT","label":"modifiedToTimeGMT","type":"string","describe":"修改时间终止值。"},
    {"field":"systemToken","label":"systemToken","type":"string","describe":"应用秘钥。","value":"KYC664C1WR9LODIIAI09I913S0HO2G3YGREWL43"},
    {"field":"modifiedFromTimeGMT","label":"modifiedFromTimeGMT","type":"string","describe":"修改时间起始值。"},
    {"field":"language","label":"language","type":"string","describe":"语言，取值：zh_CN：中文（默认值）en_US：英文", "value": "zh_CN"},
    {"field": "searchFieldJson", "label": "searchFieldJson", "type": "string", "describe": "根据表单内组件值查询。"},
    {"field": "userId", "label": "userId", "type": "string", "describe": "用户userid。", "value": "16000443318138909"},
    {"field": "originatorId", "label": "originatorId", "type": "string", "describe": "根据流程发起人工号查询。"},
    {"field": "createToTimeGMT", "label": "createToTimeGMT", "type": "string", 
        "describe": "创建时间终止值。", 
        "value" : "{{CURRENT_TIME|datetime}}"
    },
    {"field":   "createFromTimeGMT",
        "label" :   "createFromTimeGMT",
        "type" :    "string",
        "describe" :    "创建时间起始值。",
        "value" : "{{LAST_SYNC_TIME|datetime}}"
    }
  ]
}

请求参数解析

  1. appType 和 formUuid 是必填字段，用于指定应用编码和表单ID。
  2. pageNumber 和 pageSize 用于分页控制，确保每次请求的数据量适中。
  3. systemToken 是应用秘钥，用于身份验证。
  4. language 默认设置为中文（zh_CN）。
  5. createFromTimeGMT 和 createToTimeGMT 用于限定查询的时间范围，确保只获取特定时间段内的数据。

数据请求与清洗

在轻易云平台上，我们可以通过配置上述参数来构建HTTP POST请求，从钉钉系统中获取表单实例数据。

POST /v1.0/yida/forms/instances/ids/APP_BNJNRVQ32174RSX3MROF/FORM-DA5DD28FDCC644ECB2A8F123534D3EF4I082 HTTP/1.1
Host: api.dingtalk.com
Content-Type: application/json
Authorization: Bearer KYC664C1WR9LODIIAI09I913S0HO2G3YGREWL43

{
  "pageNumber": 1,
  "pageSize": 50,
  ...
}

在接收到响应后，需要对数据进行清洗和转换，以便后续处理和写入目标系统。这一步骤通常包括：

  • 数据格式转换：将JSON格式的数据转换为目标系统所需的格式。
  • 数据过滤：根据业务需求筛选出需要的数据字段。
  • 数据校验：确保数据完整性和准确性。

实际案例分析

假设我们需要从钉钉获取某个应用的表单实例，并将其写入到另一个系统中。在轻易云平台上，我们可以通过以下步骤实现：

  1. 配置API调用：使用上述元数据配置，设置好所有必要的参数。

  2. 发送请求并接收响应：通过HTTP POST请求获取表单实例数据。

  3. 清洗与转换数据：

    • 将接收到的JSON数据解析为对象列表。
    • 筛选出需要的字段，如title、id等。
    • 对日期字段进行格式转换，确保符合目标系统要求。

  4. 写入目标系统：将清洗后的数据通过轻易云平台提供的写入功能，导入到目标系统中。

通过以上步骤，我们可以高效地实现从钉钉获取表单实例并进行加工处理，为后续的数据集成奠定基础。这不仅提高了业务透明度，还大大提升了工作效率。 用友与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入MySQL API接口的技术案例

在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，并将其转为目标平台MySQL API接口所能够接收的格式，最终写入目标平台。以下是一个具体的技术案例，展示如何通过轻易云数据集成平台实现这一过程。

元数据配置解析

首先，我们需要了解元数据配置中的各个字段及其作用。这些字段定义了如何从源系统获取数据并将其转换为目标系统所需的格式。

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "SQL",
  "number": "id",
  "id": "id",
  "name": "id",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "主参数",
      "type": "object",
      "describe": "对应主语句内的动态参数",
      ...
    }
  ],
  ...
}
  • api: 定义API操作类型，这里为execute表示执行SQL语句。
  • effect: 指定操作效果，这里为EXECUTE表示执行操作。
  • method: 指定方法类型，这里为SQL表示使用SQL语句。
  • number, id, name: 标识字段，用于唯一标识记录。
  • idCheck: 表示是否检查ID字段。

主参数配置

主参数定义了需要传递给SQL语句的动态参数。这些参数会在执行时替换为实际值。

{
  "field": "main_params",
  ...
  "children": [
    {"field": "form_instance_id", ...},
    {"field": "platform", ...},
    {"field": "date", ...},
    {"field": "shop_name", ...},
    {"field": "shop_code", ...},
    {"field": "category", ...},
    {"field": "sale_goal", ...},
    {"field": "sale_out_goal", ...},
    {"field": "create_time", ...},
    {"field": "create_by", ...},
    {"field": "create_user_id", ...},
    {"field": "modify_time", ...},
    {"field": "modify_by", ...},
    {"field": "modify_user_id", ...},
    {"field": "connect_id", ...}
  ]
}

这些子字段定义了具体的数据映射关系。例如：

  • form_instance_id: 映射到源系统中的实例ID。
  • platform: 映射到源系统中的平台信息。
  • date: 使用函数将Unix时间戳转换为日期格式。
  • shop_name, shop_code, category, sale_goal, sale_out_goal: 分别映射到店铺名称、店铺编码、品类、销售目标和出库目标等字段。

SQL语句配置

主SQL语句定义了实际执行的插入操作。该语句会使用上面定义的主参数进行动态替换。

{
  ...
  {
    "field":"main_sql",
    ...
    ,"value":"INSERT INTO `lehua`.`month_goal`
(`form_instance_id`,
`platform`,
`date`,
`shop_name`,
`shop_code`,
`category`,
`sale_goal`,
`sale_out_goal`,
`create_time`,
`create_by`,
`create_user_id`,
`modify_time`,
`modify_by`,
`modify_user_id`,
`connect_id`)
VALUES
(<{form_instance_id: }>,
<{platform: }>,
<{date: }>,
<{shop_name: }>,
<{shop_code: }>,
<{category: }>,
<{sale_goal: }>,
<{sale_out_goal: }>,
<{create_time: CURRENT_TIMESTAMP}>,
<{create_by: }>,
<{create_user_id: }>,
<{modify_time: }>,
<{modify_by: }>,
<{modify_user_id: }>,
<{connect_id: }>);"
  }
]

此处的每个占位符如 <{form_instance_id: }> 会在执行时被实际值替换，从而构建完整的SQL插入语句。

数据转换与写入过程

  1. 提取（Extract）：从源系统中提取原始数据，根据元数据配置中的映射关系获取相关字段值。
  2. 转换（Transform）：根据业务逻辑和元数据配置对提取的数据进行转换。例如，将Unix时间戳转换为标准日期格式，或者对某些字段进行类型转换。
  3. 加载（Load）：使用构建好的SQL插入语句，将转换后的数据写入目标MySQL数据库。

通过上述步骤，我们可以实现从源系统到目标系统的数据无缝对接，确保数据在不同系统间的一致性和完整性。这一过程充分利用了轻易云数据集成平台提供的全异步、多异构系统支持能力，使得复杂的数据集成任务变得简单高效。 打通用友BIP数据接口

版权声明

该文章《使用轻易云平台进行钉钉数据ETL转换并写入MySQL》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云AI数据分析
更多系统对接方案