使用轻易云进行金蝶云星空到MySQL的数据转换

  • 轻易云集成顾问-吕修远

轻易云平台下金蝶云星空与MySQL的数据集成实战

在当前的企业信息系统中，数据集成扮演着至关重要的角色。本文将展示一个具体案例，即如何通过轻易云数据集成平台，实现从金蝶云星空到MySQL的数据对接。我们选择了一个实际运行方案：cgth-2金蝶采购退货查询，通过executeBillQuery API获取金蝶云星空中的数据，并使用execute API写入到MySQL数据库中。

数据抓取与处理流程

首先，我们需要定时可靠地调用金蝶云星空接口executeBillQuery，以获取最新的采购退货数据。在这个过程中，需要特别注意分页和限流的问题，以确保每次请求都能够顺利完成，同时避免过多调用而导致API被锁定。当服务器返回的数据量较大时，将其拆分为多个小批次进行处理。

数据质量监控与异常处理

整个数据抓取和导出过程必须具备强大的错误检测和修正机制。一旦检测到异常或错误，例如网络中断、API响应超时等，都需要立即启动重试机制。这不但保证了每一次的数据传输都是完整可靠的，而且提高了系统的稳定性。在这里，用到了轻易云提供的集中监控和告警系统来实时跟踪任务状态，一旦出现任何问题，可以及时通知相关人员进行干预。

数据转换及映射

由于金蝶云星空与MySQL之间存在数据格式差异，因此针对特定业务需求，自定义了一套专门的数据转换逻辑。这一步骤不仅考虑字段类型的一致性，还包括对某些复杂结构化数据进行嵌套解析，再按需映射至目标数据库相应表字段，从而实现完美对接。

例如，在采购退货单据只包含项目编码，但在MySQL里却需要关联项目信息表，我们就要为其构建一条额外的查询逻辑，根据项目编码补全其他详细信息。因此，一个有效且灵活的数据转换策略是成功实施这一整合方案的重要保障。

这只是开始，在接下来的内容中，我们将深入探讨如何高效配置这些步骤，以及解决各类技术细节带来的挑战，包括大量数据快速写入、分页限流控制等关键环节。 如何对接钉钉API接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成过程中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，获取并加工采购退货数据，并将其写入MySQL数据库。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FBillNo",
  "id": "FPURMRBENTRY_FEntryID",
  "idCheck": true,
  "formatResponse": [
    {
      "old": "FDate",
      "new": "FDate_new",
      "format": "date"
    }
  ],
  "request": [
    {"field":"FPURMRBENTRY_FEntryID","label":"FPURMRBENTRY_FEntryID","type":"string","describe":"111","value":"FPURMRBENTRY_FEntryID"},
    {"field":"FBillNo","label":"FBillNo","type":"string","describe":"111","value":"FBillNo"},
    {"field":"FDocumentStatus","label":"FDocumentStatus","type":"string","describe":"111","value":"FDocumentStatus"},
    {"field":"FDate","label":"FDate","type":"string","describe":"111","value":"FDate"},
    {"field":"FAmount","label":"FAmount","type":"string","describe":"111","value":"FAmount"},
    {"field":"FRMREALQTY","label":"FRMREALQTY","type":"string","describe":"111","value":"FRMREALQTY"}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "Limit", "type": "string", "describe": "金蝶的查询分页参数", "value": "2000"},
    {"field": "StartRow", "label": "StartRow", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field": "TopRowCount", "label": "TopRowCount", "type": "int", "describe": ""},
    {"field": 'FilterString', 'label': 'FilterString', 'type': 'string', 'describe': '示例写法 FSupplierId.FNumber = \'VEN00010\' and FApproveDate>=', 'value': 'FDate>=\'{{LAST_SYNC_TIME|dateTime}}\' and FBillNo NOT LIKE \'%CGTL%\' or FApproveDate>=\'{{LAST_SYNC_TIME|dateTime}}\' and FBillNo NOT LIKE \'%CGTL%\''},
    {"field": 'FieldKeys', 'label': 'FieldKeys', 'type': 'array', 'describe': '', 'value': '{MAIN_REQUEST}'},
    {"field": 'FormId', 'label': 'FormId', 'type': 'string', 'describe': '', 'value': 'PUR_MRB'}
  ],
  autoFillResponse: true
}

请求参数解析

  1. 基本请求字段：这些字段用于指定查询条件和返回的数据内容。

    • FPURMRBENTRY_FEntryID: 分录主键ID
    • FBillNo: 单据编号
    • FDocumentStatus: 单据状态
    • FDate: 日期
    • FAmount: 金额
    • FRMREALQTY: 实际数量

  2. 其他请求字段：这些字段用于控制查询的范围和格式。

    • Limit: 每次查询返回的数据条数，设置为2000。
    • StartRow: 查询起始行，用于分页。
    • FilterString: 查询过滤条件，这里使用了动态时间戳和单据编号过滤。
    • FieldKeys: 返回字段列表，使用主请求字段。
    • FormId: 表单ID，指定为采购退货单（PUR_MRB）。

数据格式化与处理

在获取到原始数据后，需要对数据进行格式化处理。例如，将日期字段FDate转换为新的格式：

{
  old: 'FDate',
  new: 'FDate_new',
  format: 'date'
}

这个配置会将原始的FDate字段转换为新的FDate_new字段，并应用日期格式化。

实际调用示例

通过轻易云平台，我们可以构建一个实际的API调用示例：

import requests

url = "<轻易云平台API地址>"
headers = {
    'Content-Type': 'application/json'
}
payload = {
    # 基本请求参数
    ...
}

response = requests.post(url, headers=headers, json=payload)
data = response.json()

# 数据处理逻辑
for record in data['Result']:
    record['FDate_new'] = format_date(record['FDate'])

# 将处理后的数据写入MySQL数据库
...

在这个示例中，我们首先构建了API请求，然后对返回的数据进行处理，最后将处理后的数据写入MySQL数据库。

总结

通过上述步骤，我们实现了从金蝶云星空系统中获取采购退货数据，并对其进行必要的格式化和处理。这一过程展示了如何利用轻易云平台高效地进行异构系统间的数据集成。 用友与外部系统接口集成开发

使用轻易云数据集成平台进行ETL转换并写入MySQLAPI接口的技术案例

在数据集成生命周期的第二步中，关键任务是将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，并转为目标平台MySQLAPI接口所能够接收的格式，最终写入目标平台。本文将详细探讨如何使用轻易云数据集成平台实现这一过程。

数据请求与清洗

首先，从源平台（金蝶采购退货查询）获取原始数据。这一步通常包括通过API或数据库查询获取数据，并进行初步的清洗和预处理，以确保数据质量和一致性。

数据转换与写入

接下来，我们进入数据转换与写入阶段。以下是一个具体的元数据配置示例，用于将金蝶采购退货查询的数据转换为MySQLAPI接口所需的格式，并最终写入目标数据库。

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "children": [
        {"field": "FPURMRBENTRY_FEntryID", "label": "明细id", "type": "string", "value": "{FPURMRBENTRY_FEntryID}"},
        {"field": "order_no_new", "label": "单号", "type": "string", "value": "{FBillNo}"},
        {"field": "FDocumentStatus", "label": "状态", "type": "string", "value": "{FDocumentStatus}"},
        {"field": "qty_count", "label": "数量", "type": "string", "value": "{FRMREALQTY}"},
        {"field": "sales_count", "label": "金额", ",type":"string","value":"{FAmount}"},
        {"field":"datetime_new","label":"时间","type":"string","value":"{FDate_new}"},
        {"field":"Document_Type","label":"单据类型","type":"string","value":"采购退货"}
      ]
    }
  ],

以上配置定义了如何将源平台的数据字段映射到目标平台所需的字段格式。例如，FPURMRBENTRY_FEntryID映射到FPURMRBENTRY_FEntryID，FBillNo映射到order_no_new等。

SQL插入语句配置

为了将转换后的数据写入MySQL数据库，需要配置相应的SQL插入语句：

"otherRequest":[
    {
      “field”:”main_sql”,
      “label”:”main_sql”,
      “type”:”string”,
      “describe”:”111”,
      “value”:”
          INSERT INTO `kd_cgth`
          (`FPURMRBENTRY_FEntryID`,
          `order_no_new`,
          `FDocumentStatus`,
          `qty_count`,
          `sales_count`,
          `datetime_new`,
          `Document_Type`)
          VALUES 
          (:FPURMRBENTRY_FEntryID,
           :order_no_new,
           :FDocumentStatus,
           :qty_count,
           :sales_count,
           :datetime_new,
           :Document_Type)
       ”
    }
]

这个配置定义了如何将映射后的字段值插入到目标表kd_cgth中。每个字段都使用占位符来表示对应的数据值，这些占位符将在实际执行时被替换为具体的数据值。

执行ETL过程

  1. 提取（Extract）：从源系统提取原始数据。
  2. 转换（Transform）：根据上述元数据配置，将原始数据字段映射并转换为目标格式。
  3. 加载（Load）：执行配置好的SQL插入语句，将转换后的数据加载到目标MySQL数据库中。

通过这种方式，可以确保不同系统间的数据无缝对接，实现高效、可靠的数据集成。轻易云数据集成平台提供的全透明可视化操作界面，使得整个过程清晰易懂，并能实时监控每个环节的数据流动和处理状态，极大提升业务透明度和效率。 如何开发用友BIP接口

版权声明

该文章《金蝶云星空数据抓取与导出实战》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

营销云系统与经销商ERP对接
更多系统对接方案