金蝶云星空数据集成到MySQL：高效跨系统数据管理

ETL全攻略：使用轻易云平台完成金蝶云星空到MySQL的数据转换

2021-08-01 06:15:43
轻易云集成顾问-黄宏棵

案例分享：金蝶云星空数据集成到MySQL

在企业数据管理领域，实现跨系统的数据对接和集成是一项常见但具有挑战性的任务。本案例将详细解析如何通过分步式调出单方案，将金蝶云星空的数据高效、安全地集成到MySQL数据库中。

系统概述与需求分析

该项目的核心目标是将大量业务数据从金蝶云星空接口executeBillQuery定期抓取并批量写入至MySQL数据库，确保数据的一致性、实时性和高质量。为实现这一目标，我们需要解决以下几个关键技术问题：

高吞吐量的数据写入：为了应对大量业务数据从金蝶云星空快速导入到MySQL，需优化API调用链路，并使用批量提交功能提升写入效率。
集中监控与告警：在整个数据流转过程中，通过集中监控平台跟踪每一个步骤的状态和性能，针对异常情况及时触发告警进行处理，以保证系统稳定运行。
分页及限流处理：金蝶云星空提供的接口可能会有分页及限流机制，因此，在拉取大规模数据时，需要设计良好的方案以逐页抓取并控制请求频率，避免超出系统负载能力。
自定义转换逻辑与格式差异处理：数据在不同系统间可能存在结构或格式上的差异，如字段名称不一致、类型不匹配等。我们需要制定灵活的映射规则及转换逻辑以适应这些差异，从而确保最终存储到MySQL中的数据准确无误。
异常处理与重试机制：对于所有涉及网络通讯或远程服务器交互的操作，都必须考虑不可预见的问题（如网络抖动、服务端宕机），因此设计合理的错误重试和日志记录机制尤为重要，以便后续故障诊断和恢复工作。这可以通过捕获异常并自动化执行重试操作实现，提高整体流程稳健性。

综上所述，本案例将重点探讨上述技术要点，并展示具体实施步骤，包括如何安全、高效地调用金蝶云星空API获得业务单据后，通过定制化脚本完成清洗、转换，再利用多线程方式批量插入至MySQL，同时配置完善的监控体系确保全过程透明可控。如何对接用友BIP接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将深入探讨如何使用轻易云数据集成平台，通过调用金蝶云星空的executeBillQuery接口来获取和加工分步式调出单的数据。

接口概述

executeBillQuery是金蝶云星空提供的一个用于查询业务单据的API接口。该接口采用POST方法，能够根据指定的过滤条件返回符合条件的业务单据数据。在本文中，我们将重点介绍如何配置和调用该接口，以便从金蝶云星空中获取分步式调出单的数据，并进行相应的数据清洗和转换。

元数据配置

以下是元数据配置中的关键字段及其描述：

api: executeBillQuery
method: POST
number: FBillNo
id: FSTKTRSOUTENTRY_FEntryID
name: FBillNo

请求参数（request）包括但不限于：

FSTKTRSOUTENTRY_FEntryID: 分录ID
FID: 实体主键
FBillNo: 单据编号
FDocumentStatus: 单据状态
FStockOrgID_FNumber: 调出库存组织
FDate: 日期
FBillTypeID: 单据类型
FTransferDirect: 调拨方向
FNOTE: 备注
FCreateDate: 创建日期
FApproveDate: 审核日期

其他请求参数（otherRequest）包括分页参数、过滤条件等：

Limit: 最大行数，默认值为2000。
StartRow: 开始行索引，用于分页。
FilterString: 过滤条件，例如：FSupplierId.FNumber = 'VEN00010' and FApproveDate>= '2023-01-01'

配置步骤

定义请求参数

根据元数据配置，首先需要定义请求参数。以下是一个示例请求参数配置：

{
 "FormId": "STK_TRANSFEROUT",
 "FieldKeys": "FID,FBillNo,FDocumentStatus,FStockOrgID.FNumber,FDate,FBillTypeID,FTransferDirect,FNOTE,FCreateDate,FApproveDate",
 "FilterString": "F_APP_Datetime>='2023-01-01' and FStockOrgID.FNumber='100' and FTransferDirect='GENERAL' and F_SEND_FLAG = '发送'",
 "Limit": 2000,
 "StartRow": 0,
 "TopRowCount": true
}

调用接口

使用轻易云平台提供的HTTP客户端模块，通过POST方法调用executeBillQuery接口。以下是一个示例代码片段：

import requests

url = "https://api.kingdee.com/k3cloud/Kingdee.BOS.WebApi.ServicesStub.DynamicFormService.ExecuteBillQuery.common.kdsvc"
headers = {
   "Content-Type": "application/json",
   "Authorization": "Bearer YOUR_ACCESS_TOKEN"
}
payload = {
   "FormId": "STK_TRANSFEROUT",
   "FieldKeys": ["FID", "FBillNo", "FDocumentStatus", "FStockOrgID.FNumber", "FDate", "FBillTypeID", 
                 "FTransferDirect", "FNOTE", "FCreateDate", "FApproveDate"],
   "FilterString": "F_APP_Datetime>='2023-01-01' and FStockOrgID.FNumber='100' and FTransferDirect='GENERAL' and F_SEND_FLAG = '发送'",
   "Limit": 2000,
   "StartRow": 0,
   "TopRowCount": True
}

response = requests.post(url, json=payload, headers=headers)

if response.status_code == 200:
   data = response.json()
   # 数据处理逻辑...
else:
   print("Error:", response.status_code, response.text)

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换。例如，将日期格式统一、去除无效字段、合并相关信息等。以下是一个简单的数据清洗示例：

import pandas as pd

# 假设data是从API返回的JSON数据列表
df = pd.DataFrame(data)

# 转换日期格式
df['FCreateDate'] = pd.to_datetime(df['FCreateDate'])
df['FApproveDate'] = pd.to_datetime(df['FApproveDate'])

# 去除无效字段
df.drop(columns=['无效字段1', '无效字段2'], inplace=True)

# 合并相关信息，例如：将客户编号和客户名称合并成一个字段
df['客户信息'] = df['FCustID_FNumber'] + '-' + df['FCustID_FName']

# 输出清洗后的数据框架
print(df.head())

写入目标系统

最后，将清洗和转换后的数据写入目标系统（如MySQL数据库）。可以使用轻易云平台提供的数据写入模块或直接使用数据库连接库进行操作。

from sqlalchemy import create_engine

engine = create_engine('mysql+pymysql://username:password@host/dbname')

# 将DataFrame写入MySQL数据库表中
df.to_sql('target_table', con=engine, if_exists='replace', index=False)

通过以上步骤，我们成功地从金蝶云星空中获取了分步式调出单的数据，并进行了必要的数据清洗和转换，最终将其写入到目标系统中。这一过程展示了如何利用轻易云数据集成平台实现高效的数据集成与处理。金蝶云星空API接口配置

使用轻易云数据集成平台实现ETL转换并写入MySQL API接口

在数据集成的生命周期中，ETL（提取、转换、加载）是关键步骤之一。本文将详细探讨如何使用轻易云数据集成平台，将源平台的数据进行ETL转换，并最终写入目标平台MySQL API接口。

数据请求与清洗

首先，我们需要从源系统中提取数据，并对其进行初步清洗。这一阶段主要涉及数据的获取和预处理，以确保后续步骤中的数据质量。假设我们已经完成了这一阶段，接下来我们将重点关注如何将这些清洗后的数据进行转换，并写入MySQL数据库。

数据转换与写入

在轻易云数据集成平台上，我们可以通过配置元数据来实现这一过程。以下是一个典型的元数据配置示例：

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "value": "1",
      "children": [
        {"field":"fid","label":"单据id","type":"string","value":"{FID}"},
        {"field":"document_id","label":"文档唯一标识号","type":"string","describe":"111","value":"{FID}-{FSTKTRSOUTENTRY_FEntryID}"},
        {"field":"fbill_no","label":"单据编号","type":"string","describe":"111","value":"{FBillNo}"},
        {"field":"fentry_id","label":"明细id","type":"string","describe":"111","value":"{FSTKTRSOUTENTRY_FEntryID}"},
        {"field":"fdate","label":"销售日期","type":"string","describe":"111","value":"{{FDate|date}}"},
        {"field":"fcustid_fnsbtext5","label":"购货企业许可证编号","type":"string","value":"{FCustID_F_nsb_Text5}"},
        {"field":"fcustid_fname","label":"购货企业名称","type":"string","value":"{FCustID_FName}"},
        {"field":"fmaterialid_fnumber","label":"物料编码","type":"string","value":"{FMaterialID_FNumber}"},
        {"field":"f_app_base_property","label":"产品条形码","type":"string","value":"{F_APP_BaseProperty}"},
        {"field":"fqty","label":"数量","type":"string","value":"{FQty}"},
        {"field":"flot","label":"批号","type":"string","value":"{FLOT}"},
        {"field":"fproduce_date","label":"","生产日期"type:"string"，"describe:111""，"值:"{{FProduceDate|date}}"}，
        {"field:"funitid_name"，"标签:"单位名称"，"类型:"字符串"，"值:"{FUnitID_FName}"}
        {"字段:fsend_flag"，"标签:"发送标识"，"类型:"字符串"，"值:"发送"}
        {"字段:created_at"，"标签:"创建时间"，"类型:"字符串"，"值:_function DATE_FORMAT(NOW(), '%Y-%m-%d %H:%i:%s')"}
        {"字段:updated_at"，"标签:"更新时间"，"类型:"字符串"，"值:_function DATE_FORMAT(NOW(), '%Y-%m-%d %H:%i:%s')"}
        {"字段:fmaterialId_f_nsb_sccj"，"标签:"生产厂家"，"类型:"字符串"，"值:{FMaterialId_F_nsb_sccj}"}
      ]
    }
  ],
  "otherRequest": [
    {
      "field": "main_sql",
      "label": "main_sql",
      "type": "string",
      "describe": "111",
      "value": 
          """
          INSERT INTO xsck_and_fbsdc 
          (fid, document_id, fbill_no, fentry_id, fdate, fmaterialid_fnumber, fcustid_fnsbtext5, fcustid_fname, f_app_base_property, flot, fqty, fproduce_date, funitid_name, fsend_flag, created_at, updated_at,fmaterialId_f_nsb_sccj) 
          VALUES 
          (:fid, :document_id, :fbill_no, :fentry_id, :fdate, :fmaterialid_fnumber, :fcustid_fnsbtext5, :fcustid_fname, :f_app_base_property, :flot, :fqty, :fproduce_date,: funitid_name,:fsend_flag,:created_at,:updated_at,:fmaterialId_f_nsb_sccj) 
          ON DUPLICATE KEY UPDATE 
          fid = VALUES(fid),
          document_id = VALUES(document_id),
          fbill_no = VALUES(fbill_no), 
          fentry_id = VALUES(fentry_id), 
          fdate = VALUES(fdate), 
          fmaterialid_fnumber = VALUES(fmaterialid_fnumber), 
          fcustid_fnsbtext5 = VALUES(fcustid_fnsbtext5), 
          fcustid_fname = VALUES(fcustid_fname), 
          f_app_base_property = VALUES(f_app_base_property), 
          flot = VALUES(flot), 
          fqty = VALUES(fqty), 
          fproduce_date = VALUES(fproduce_date), 
          funitid_name = VALUES(funitid_name), 
          fsend_flag = VALUES(fsend_flag), 
          created_at = VALUES(created_at), 
          updated_at = VALUES(updated_at),
          fmaterialId_f_nsb_sccj=VALUES(fmaterialId_f_nsb_sccj);
         """
    }
  ]
}

元数据配置解析

API调用：通过POST方法调用execute API。
参数配置：
- main_params对象包含了所有需要传递给API的字段，每个字段都有明确的映射关系。
- 字段如fid, document_id, fbill_no等，都通过模板变量从源数据中提取并赋值。
SQL语句：
- INSERT INTO xsck_and_fbsdc ... ON DUPLICATE KEY UPDATE ...语句用于将数据插入到目标表中，如果记录已存在则更新。

数据转换

在这个过程中，某些字段需要进行格式转换。例如：

日期字段FDate和FProduceDate需要通过管道操作符进行格式化：{{FDate|date}}, {{FProduceDate|date}}
时间戳字段如created_at, updated_at使用函数： _function DATE_FORMAT(NOW(), '%Y-%m-%d %H:%i:%s')

这些转换确保了源系统的数据能够符合目标系统MySQL的要求。

写入MySQL

最后，通过执行上述配置的API请求，清洗和转换后的数据将被写入到MySQL数据库中。这一步骤不仅完成了数据的持久化存储，还确保了不同系统之间的数据一致性和完整性。

通过这种方式，我们可以高效地实现不同系统间的数据集成，充分利用轻易云平台提供的强大功能，实现复杂的数据处理需求。如何开发企业微信API接口

版权声明

该文章《金蝶云星空数据集成到MySQL：高效跨系统数据管理》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。