使用轻易云平台实现金蝶云星空的数据ETL转换

  • 轻易云集成顾问-张妍琪

MySQL数据集成到金蝶云星空的案例解析：zz-生产用料清单主动刷新

在本技术案例中，我们将深入探讨如何通过轻易云数据集成平台，将MySQL数据库中的生产用料清单数据高效地对接到金蝶云星空系统。具体场景为，企业需要定时且可靠地从MySQL数据库中的接口获取最新的生产用料清单，并快速写入到金蝶云星空，以确保业务运营的持续性和准确性。

为了实现上述目标，我们采用了以下几个关键技术特性：

  1. 高吞吐量的数据写入能力： 通过优化MySQL API select 指令和配置合理的分页、限流策略，确保大量数据能够快速被读出并传输至金蝶云星空。同时，在批量操作过程中使用了batchSave接口API，大大提升了对接效率。

  2. 自定义数据转换逻辑： MySQL与金蝶云星空之间存在一定的数据格式差异，我们利用轻易云提供的可视化数据流设计工具，自定义转换规则，使得源端和目标端的数据结构相匹配，从而避免因格式不一致导致的数据异常问题。

  3. 实时监控与告警机制： 为保障整个数据集成过程的顺利进行，并及时处理可能出现的问题，本方案中设置了集中监控系统。该系统不仅可以实时跟踪任务状态，还能在检测到异常情况（如网络延迟或API故障）时，触发告警并执行错误重试机制。

  4. 质量监控与异常检测： 在实际运行过程中，为保证写入到金蝶云星空的数据是完整且无误的，我们引入了全面的数据质量监控机制。在发现任何潜在问题时，会自动生成日志记录并通知相关人员进行处理。此外，通过详细分析和记录每次操作步骤，实现全过程透明可追溯。

  5. 定制化映射与批量处理能力： 针对不同业务需求，通过灵活配置各阶段任务参数，实现精准、高效的大规模数据集成。尤其是在频繁变动的生产环境下，这种适应性的调整更加显得尤为重要，同步更新物料信息以保持前后端的一致性。

这个示例展示了一整套行之有效的方法，不仅达到了预期效果，更反映出了现代企业对于智能化、自动化运维手段日益增长的重要需求。在下一部分内容将详细介绍具体实施步骤及代码实例，以帮助更好理解这一解决方案。 如何对接金蝶云星空API接口

调用MySQL接口select获取并加工数据

在轻易云数据集成平台中，调用源系统MySQL接口select获取并加工数据是生命周期的第一步。本文将深入探讨如何通过配置元数据实现这一过程。

配置元数据

元数据配置是实现数据请求与清洗的关键。以下是一个典型的元数据配置示例：

{
  "api": "select",
  "effect": "QUERY",
  "method": "SQL",
  "number": "FMOEntryID",
  "id": "FMOEntryID",
  "name": "name",
  "request": [
    {
      "field": "main_params",
      "label": "主参数",
      "type": "object",
      "describe": "对应主查询语句内的动态参数对象",
      "children": [
        {
          "field": "limit",
          "label": "返回的记录数",
          "type": "int",
          "describe": "你可以使用 LIMIT 属性来设定返回的记录数。",
          "value": 100
        },
        {
          "field": "offset",
          "label": "数据偏移量",
          "type": int,
          "describe": “你可以通过OFFSET指定SELECT语句开始查询的数据偏移量。默认情况下偏移量为0。",
        }
      ]
    }
  ],
  “otherRequest”: [
    {
      “field”: “main_sql”,
      “label”: “主查询语句”,
      “type”: “string”,
      “describe”: “使用 :created_at 格式与主参数字段进行对应”,
      “value”: “select a.fentryid as FMOEntryID, b.fid as FID, '1' as KingDee_syn, b.fbillno as FBillNO from mbs_assemble_detail a left join (select fid, fmoentryid, fbillno from mbs_assemble_material_detail GROUP BY fid) b on b.fmoentryid=a.fentryid where a.kingdee_syn='1' limit :limit offset :offset”
    }
  ],
  “autoFillResponse”: true,
  “omissionRemedy”: {
    “crontab”: “1 1 1 1 1”,
    “takeOverRequest”: []
  }
}

数据请求与清洗

在上述配置中，api字段指定了调用的接口类型为select，而effect字段表明这是一个查询操作。method字段指定了使用SQL语句进行查询。

主参数配置

主参数对象main_params包含两个子字段：limit和offset。这两个字段分别用于设定返回记录数和数据偏移量。

  • limit: 用于限制返回的记录数。例如，设置为100表示每次查询最多返回100条记录。
  • offset: 用于指定查询开始的数据偏移量。默认情况下，偏移量为0。
主查询语句

主查询语句通过main_sql字段定义。在这个示例中，SQL语句如下：

select a.fentryid as FMOEntryID, 
       b.fid as FID, 
       '1' as KingDee_syn, 
       b.fbillno as FBillNO 
from mbs_assemble_detail a 
left join (select fid, fmoentryid, fbillno from mbs_assemble_material_detail GROUP BY fid) b  
on b.fmoentryid=a.fentryid 
where a.kingdee_syn='1' 
limit :limit offset :offset

该SQL语句从两个表中联接并筛选出符合条件的数据，并使用动态参数:limit和:offset来控制结果集。

自动填充响应

配置中的autoFillResponse: true表示系统会自动填充响应结果，这样可以简化后续的数据处理步骤。

遗漏补救机制

为了确保数据完整性，配置中还定义了一个遗漏补救机制，通过定时任务（crontab）来定期检查和补救遗漏的数据请求。

"omissionRemedy": {
    “crontab”: “1 1 1 1 1”,
    “takeOverRequest”: []
}

实践案例

假设我们需要从MySQL数据库中获取生产用料清单，并且每次查询最多返回100条记录，从第0条记录开始。我们可以通过以下方式调用API：

{
   main_params: {
     limit: 100,
     offset: 0
   }
}

执行上述请求后，系统将根据配置的SQL语句从数据库中提取相应的数据，并自动填充到响应结果中。

通过这种方式，我们能够高效地从MySQL数据库中获取并加工所需的数据，为后续的数据转换与写入打下坚实基础。 数据集成平台API接口配置

使用轻易云数据集成平台实现金蝶云星空API接口的数据ETL转换

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，使其符合目标平台金蝶云星空API接口所能接收的格式，并最终写入目标平台。以下是详细的技术实现过程。

1. 数据提取与清洗

首先，从源平台提取原始数据并进行初步清洗。这一步确保我们获取的数据是完整且无误的，为后续的转换和写入提供可靠的数据基础。

# 示例代码：从源平台提取数据
source_data = extract_data_from_source()
cleaned_data = clean_data(source_data)

2. 数据转换

在这一步中，我们将清洗后的数据转换为金蝶云星空API接口所能接收的格式。根据元数据配置，我们需要遵循以下结构：

  • API接口：batchSave
  • 请求方法：POST
  • ID检查：true
  • 操作方法：batchArraySave
  • 请求字段：
    • FID: {FID}
    • F_FSYNCMOM: false

其他请求参数包括：

  • 表单ID：PRD_PPBOM
  • 执行操作：batchSave
  • 提交并审核：false
  • 验证基础资料：true
  • 是否删除已存在的分录：false

根据上述配置，构建请求体：

{
  "FormId": "PRD_PPBOM",
  "Operation": "batchSave",
  "IsAutoSubmitAndAudit": false,
  "IsVerifyBaseDataField": true,
  "IsDeleteEntry": false,
  "Model": {
    "FID": "{FID}",
    "F_FSYNCMOM": false,
    "array": [
      {
        // 数据条目
      }
    ]
  }
}

3. 数据写入

将转换后的数据通过API接口写入金蝶云星空。使用HTTP POST方法发送请求，并处理响应结果。

import requests

url = 'https://api.kingdee.com/batchSave'
headers = {'Content-Type': 'application/json'}
payload = {
    "FormId": "PRD_PPBOM",
    "Operation": "batchSave",
    "IsAutoSubmitAndAudit": False,
    "IsVerifyBaseDataField": True,
    "IsDeleteEntry": False,
    "Model": {
        "FID": cleaned_data['FID'],
        "F_FSYNCMOM": False,
        # 添加更多字段
        "array": cleaned_data['array']
    }
}

response = requests.post(url, json=payload, headers=headers)

if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud.")
else:
    print(f"Failed to write data: {response.text}")

技术细节与注意事项

  1. ID检查: 确保每条记录都有唯一的ID，以避免重复或冲突。
  2. 验证基础资料: 设置 IsVerifyBaseDataField 为 true，以确保所有基础资料字段有效。
  3. 提交并审核: 在某些业务场景下，需要设置 IsAutoSubmitAndAudit 为 true，以自动提交并审核记录。
  4. 异步处理: 利用轻易云平台的全异步特性，确保高效处理大量数据请求，提高系统性能。

通过以上步骤，我们成功实现了从源平台到金蝶云星空的数据ETL转换和写入。这一过程不仅提高了数据处理效率，还确保了数据的一致性和准确性，为企业业务决策提供了坚实的数据支持。 泛微OA与ERP系统接口开发配置

版权声明

该文章《如何调用MySQL接口并配置元数据实现数据加工》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云AI数据分析
更多系统对接方案