从MySQL到金蝶云星空：全面的数据集成解决方案

  • 轻易云集成顾问-吕修远

MySQL数据集成到金蝶云星空的技术实践：MOM-CGTL-采购退料单-提交审核

在企业信息化过程中，整合不同系统的数据尤为重要。本文将深入探讨如何利用轻易云数据集成平台，完成一个特定业务场景——从MySQL数据库中获取采购退料单数据，并将其集成至金蝶云星空进行审核。

技术背景概述

该案例涉及到两个主要平台的对接：MySQL和金蝶云星空。在本次集成任务中，我们需要实现以下几个关键步骤：

  1. 从MySQL数据库中精准查询出待处理的采购退料单。
  2. 通过API接口将查询结果批量写入到金蝶云星空并触发相应的审核流程。

为了确保整个过程高效可靠，我们采取了多项技术措施，包括但不限于：

  • 定时可靠地调用MySQL接口（SELECT）获取最新数据；
  • 利用高吞吐量的数据写入能力，将大量数据快速提交至金蝶云星空；
  • 设置有效的数据质量监控与异常检测机制，及时发现并处理可能出现的问题；
  • 自定义转换逻辑，以适应两套系统之间的数据格式差异。

集成方案概览

具体而言，本次集成任务被命名为“MOM-CGTL-采购退料单-提交审核”，我们将在轻易云平台上配置相关元数据，通过可视化操作界面设计完整的数据流。从MySQL数据库中提取符合条件的记录，再经过必要的格式转换后，使用Audit API批量导入至金蝶云星空，并通过集中监控和告警系统实时跟踪任务执行状态及性能表现。

选择适用的平台功能特点：
  1. 利用定时调度功能，每隔一段时间自动触发MySQL数据库中的对应SELECT语句，实现持续、稳定的数据抓取；
  2. 自定义编写数据映射规则，将原始字段正确匹配至目标系统所需格式，为后续顺利对接打下基础；
  3. 实施全面监控与日志记录，对整个过程中发生的任何错误保持高度敏感，以便迅速定位和解决问题。

打通企业微信数据接口

调用源系统MySQL接口select获取并加工数据

在轻易云数据集成平台的生命周期中，第一步是调用源系统接口以获取并加工数据。本文将深入探讨如何通过配置元数据来实现这一过程，特别是如何使用MySQL接口进行数据请求。

元数据配置解析

元数据配置文件中包含了多个关键字段和参数，这些参数决定了如何从MySQL数据库中提取所需的数据。以下是对这些参数的详细解析：

  • api: "select" 表示我们将使用SELECT语句从数据库中查询数据。
  • effect: "QUERY" 表示这是一个查询操作。
  • method: "POST" 指定了HTTP请求的方法为POST。
  • id: "单据编号" 这是用于标识记录的唯一ID。

请求参数

请求参数部分定义了主参数和其他请求字段：

"request": [
    {
        "field": "main_params",
        "label": "主参数",
        "type": "object",
        "describe": "对应其它请求字段内SQL语句的主参数，必须一一对应。",
        "value": "1",
        "children": [
            {
                "field": "limit",
                "label": "限制结果集返回的行数",
                "type": "int",
                "describe": "必要的参数！LIMIT 子句用于限制查询结果返回的行数。它指定了查询应该返回的最大行数。例如，LIMIT 10 表示查询结果只包含最多 10 行数据。这对于分页查询非常有用，可以在每次查询中返回一定数量的结果。",
                "value": "{PAGINATION_PAGE_SIZE}"
            },
            {
                "field": "offset",
                "label": "偏移量",
                "type": "int",
                "describe": "OFFSET 子句用于指定查询结果的起始位置或偏移量。它表示查询应该从结果集的哪一行开始返回数据。例如，OFFSET 20 表示查询应该从结果集的第 21 行开始返回数据。结合 LIMIT 子句使用时，OFFSET 指定了查询结果的起始行数。",
                "value": "{PAGINATION_START_ROW}"
            }
        ]
    }
]

上述配置定义了两个主要参数：limit 和 offset。这两个参数用于分页查询，以控制每次返回的数据量和起始位置。

主SQL语句

主SQL语句部分定义了实际执行的SQL查询：

"otherRequest":[
    {
        "field":"main_sql",
        "label":"主SQL语句",
        "type":"string",
        "describe":"主SQL查询语句中使用 :limit 这种动态语法字段的赋值，以确保字段与请求参数一一对应，我们可以采用参数绑定的方式。下面是具体的优化步骤：\n1.将主SQL查询语句中的动态字段 :limit 替换为占位符（例如 ?），表示参数的位置。\n2.在执行查询之前，使用参数绑定的方法，将请求参数的值与占位符进行对应绑定。\n通过这种优化方式，我们能够提高查询语句的可读性和维护性，并确保动态语法字段与请求参数的正确对应关系。这样可以更好地保证查询的准确性和安全性。",
        "value":"select\nt1.instruction_doc_num as 'sourceid',\nt1.instruction_doc_num as '单据编号'\nfrom ty_mes.wms_po_result_iface t1\nwhere t1.tenant_id = 7\nand t1.instruction_doc_type = 'PO_RETURN'\nand t1.`status` in ('N', 'E')\nand t1.return_order = 3\nlimit :limit offset :offset"
    }
]

这里定义了一条复杂的SELECT语句，用于从 ty_mes.wms_po_result_iface 表中提取特定条件的数据。值得注意的是，limit 和 offset 参数被动态地插入到SQL语句中，以实现分页功能。

参数绑定

为了确保SQL注入攻击风险最小化，并提高代码可读性和维护性，我们采用了参数绑定的方法：

  1. 将主SQL查询语句中的动态字段 :limit 和 :offset 替换为占位符（例如 ?）。
  2. 在执行查询之前，使用参数绑定的方法，将请求参数值与占位符进行对应绑定。

这种方法不仅提高了代码安全性，还使得SQL语句更加清晰易懂。

自动填充响应

"autoFillResponse": true

此配置项表明系统会自动填充响应内容，无需手动处理。这极大简化了开发工作，提高了效率。

异常处理

"omissionRemedy":{
    "crontab":"1 1 1 1 1",
    "takeOverRequest":[]
}

异常处理部分定义了定时任务和接管请求机制，以确保在发生错误时能够及时补救。这进一步增强了系统稳定性和可靠性。

通过以上详细解析，我们可以看到如何利用轻易云数据集成平台提供的元数据配置，实现对MySQL数据库接口的数据调用与加工。这不仅提升了业务透明度和效率，还确保了每个环节都清晰易懂。 泛微OA与ERP系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成的生命周期中，第二步是将已经集成的源平台数据进行ETL（提取、转换、加载）转换，并转为目标平台所能够接收的格式。在本案例中，我们将数据转换为金蝶云星空API接口能够处理的格式，最终写入目标平台。以下是详细的技术实现过程。

配置元数据

首先，我们需要根据提供的元数据配置来设置API请求参数。以下是元数据配置的具体内容：

{
  "api": "Audit",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field":"FormId","label":"FormId","type":"string","describe":"必须填写金蝶的表单ID如:PUR_PurchaseOrder","value":"PUR_MRB"},
    {"field":"Numbers","label":"Numbers","type":"string","describe":"111","value":"{{单据编号}}"},
    {"field":"Ids","label":"Ids","type":"string","describe":"111"},
    {"field":"InterationFlags","label":"InterationFlags","type":"string","describe":"字符串类型，分号分隔，格式：\"flag1;flag2;...\"（非必录） 例如（允许负库存标识：STK_InvCheckResult）","value":"STK_InvCheckResult"},
    {"field":"IgnoreInterationFlag","label":"IgnoreInterationFlag","type":"string","describe":"布尔类型，默认true（非必录）","value":"true"},
    {"field":"NetworkCtrl","label":"NetworkCtrl","type":"string","describe":"布尔类型，默认false（非必录）","value":"false"},
    {"field":"IsVerifyProcInst","label":"IsVerifyProcInst","type":"string","describe":"是否检验单据关联运行中的工作流实例，布尔类型，默认false（非必录）","value":"false"}
  ]
}

数据提取与清洗

在ETL过程中，首先要从源系统提取数据并进行清洗。假设我们从ERP系统中提取了采购退料单的数据，这些数据可能包含多种格式和冗余信息，需要进行清洗和标准化处理。

数据转换

接下来，我们需要将清洗后的数据转换为金蝶云星空API接口能够接收的格式。根据元数据配置，我们需要构建一个符合API要求的JSON对象。以下是一个示例：

{
  "FormId": "PUR_MRB",
  "Numbers": "PO12345",
  "Ids": "",
  "InterationFlags": "STK_InvCheckResult",
  "IgnoreInterationFlag": true,
  "NetworkCtrl": false,
  "IsVerifyProcInst": false
}

在这个示例中，“Numbers”字段被动态地替换为具体的单据编号，例如“PO12345”。其他字段根据需求填充相应的值。

数据写入

最后一步是将转换后的数据通过HTTP POST请求写入到金蝶云星空API接口。以下是使用Python语言实现HTTP请求的示例代码：

import requests
import json

url = 'https://api.kingdee.com/Audit'
headers = {'Content-Type': 'application/json'}
data = {
    "FormId": "PUR_MRB",
    "Numbers": "PO12345",
    "Ids": "",
    "InterationFlags": "STK_InvCheckResult",
    "IgnoreInterationFlag": True,
    "NetworkCtrl": False,
    "IsVerifyProcInst": False
}

response = requests.post(url, headers=headers, data=json.dumps(data))

if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud.")
else:
    print(f"Failed to write data. Status code: {response.status_code}")

在这段代码中，我们使用requests库发送POST请求，将构建好的JSON对象作为请求体发送到指定的API端点。如果响应状态码为200，则表示数据成功写入。

实时监控与错误处理

为了确保整个过程顺利进行，还需要实时监控数据流动和处理状态。如果出现错误，例如网络问题或API响应异常，需要及时记录日志并采取相应措施。例如，可以设置重试机制或通知相关人员进行手动干预。

通过以上步骤，我们可以高效地完成从源平台到目标平台的数据ETL转换，并确保数据准确无误地写入金蝶云星空API接口。这不仅提升了业务透明度和效率，还保证了系统间的数据一致性和完整性。 数据集成平台可视化配置API接口

版权声明

该文章《MySQL与金蝶云星空数据集成实践》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云AI数据分析
更多系统对接方案