### 金蝶云星空数据集成到MySQL：MOM-CGDD采购订单删除数据拉取技术分享
在当今复杂的企业环境中，实现高效的数据对接与集成是一个关键挑战。本文将重点描述如何通过轻易云数据集成平台，将金蝶云星空中的采购订单删除信息无FormId参数版本（方案名称：MOM-CGDD-采购订单删除数据拉取-无FormId参数-样本勿删）批量导入至MySQL数据库。
### API接口对接概述
使用金蝶云星空提供的GetSysReportData API，我们能够定时且可靠地抓取特定类型的数据。在这个案例中，主要涉及的是需要从金蝶系统实时获取并处理的采购订单删除记录。与此同时，通过调用MySQL写入API:getbackexecute，这些记录被批量快速且准确地写入到目标数据库中。
### 数据转换与质量监控
由于两端系统之间存在显著的数据格式差异，自定义数据转换逻辑成为了必不可少的一环。这一过程不仅需要确保字段和结构匹配，还要兼顾业务逻辑上的一致性。此外，实时的数据质量监控和异常检测对于保障最终写入结果的正确性起到了举足轻重的作用。一旦出现异常或错误，可以借助平台自带的告警机制迅速响应并进行错误重试操作，从而最大限度降低业务影响。
### 高效处理与性能优化
面对大规模数据批量导出需求，采用了高吞吐量的数据写入能力，使得大量记录能够及时、完整地被转移至MySQL。这种设计极大提升了整体流程运行效率，并通过集中式监控跟踪任务状态和性能表现，为运维人员提供了一目了然的操作视图和控制台界面，有助于全面掌握API资产利用情况以及资源优化配置策略。
后续章节我们将详细解析每个具体步骤，包括如何调用GetSysReportData API实现稳定抓取、如何处理分页及限流问题，以及针对不同场景下各类常见陷阱和解决方案。
### 调用金蝶云星空接口GetSysReportData获取并加工数据
在数据集成生命周期的第一步，我们需要从源系统获取数据，并对其进行初步加工。本文将详细介绍如何通过轻易云数据集成平台调用金蝶云星空接口`GetSysReportData`来实现这一过程。
#### 接口配置与请求参数
为了成功调用`GetSysReportData`接口，我们需要配置相应的元数据。以下是关键的元数据配置项：
- **api**: `GetSysReportData`
- **effect**: `QUERY`
- **method**: `POST`
- **number**: `fbillno`
- **id**: `FOBJID`
- **name**: `FBillNo`
- **idCheck**: `true`
这些配置项定义了我们要调用的API名称、请求方法以及一些关键字段。在实际操作中，我们还需要设置具体的请求参数。
#### 请求参数详解
请求参数分为两部分：基本请求参数和其他请求参数。
1. **基本请求参数**
- **FOBJID**: 单据类型
- **fbillno**: 单据编号
- **fcreatedate**: 创建日期
2. **其他请求参数**
- **Limit**: 最大行数，默认值为2000
- **StartRow**: 开始行索引，通常用于分页查询
- **TopRowCount**: 返回总行数
- **FilterString**: 过滤条件，例如：`FSupplierId.FNumber = 'VEN00010' and FApproveDate>=`
- **FieldKeys**: 需查询的字段key集合，例如：`FPOOrderEntry_FEntryId, FPurchaseOrgId.FNumber`
- **FormId**: 业务对象表单Id，例如：`PUR_PurchaseOrder`
- **Model**
- **F_STARTDate**: 开始日期，支持动态日期计算，如：`{{DAYS_AGO_1|date}}`
- **F_ENDDate**: 结束日期，例如：`2124-09-21`
- **FTYPEGroup**: 类型组，例如：`2`
- **F_BILLNO**: 单据编号
#### 实际应用案例
假设我们需要拉取采购订单删除的数据，并且没有FormId参数。我们可以按照以下步骤进行配置和调用：
1. 配置基本请求参数：
```json
{
"FOBJID": "采购订单",
"fbillno": "PO123456",
"fcreatedate": "2023-10-01"
}
```
2. 配置其他请求参数：
```json
{
"Limit": "2000",
"StartRow": "{PAGINATION_START_ROW}",
"TopRowCount": null,
"FilterString": "FSupplierId.FNumber = 'VEN00010' and FApproveDate>='2023-01-01'",
"FieldKeys": "FPOOrderEntry_FEntryId,FPurchaseOrgId.FNumber",
"FormId": null,
"Model": {
"F_STARTDate": "{{DAYS_AGO_1|date}}",
"F_ENDDate": "2124-09-21",
"FTYPEGroup": "2",
"F_BILLNO": ""
}
}
```
3. 发送POST请求：
使用轻易云平台提供的可视化界面，输入上述配置并发送POST请求到金蝶云星空接口。平台会自动处理响应并进行初步的数据清洗和转换。
#### 数据清洗与转换
在获取到原始数据后，我们需要对其进行清洗和转换，以便后续的数据处理环节。轻易云平台支持多种数据清洗和转换操作，包括但不限于：
- 数据格式转换（如日期格式）
- 字段映射与重命名
- 数据过滤与筛选
例如，我们可以将原始的创建日期格式从`YYYY-MM-DD`转换为更适合业务需求的格式，或者根据特定条件筛选出有效的数据记录。
#### 实时监控与日志记录
轻易云平台提供了实时监控和日志记录功能，可以帮助我们跟踪每个数据处理环节的状态和结果。这对于及时发现和解决问题非常重要。
通过上述步骤，我们可以高效地调用金蝶云星空接口获取所需数据，并对其进行初步加工，为后续的数据处理环节打下坚实基础。
### 使用轻易云数据集成平台实现ETL转换并写入MySQLAPI接口
在数据集成的生命周期中，第二步是将已经集成的源平台数据进行ETL转换，并转为目标平台 MySQLAPI 接口所能够接收的格式，最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台完成这一过程。
#### 配置元数据
在进行ETL转换时，我们首先需要配置元数据。这些元数据定义了如何从源系统提取数据、如何清洗和转换这些数据，以及如何将它们写入目标系统。以下是一个示例元数据配置：
```json
{
"api": "getbackexecute",
"effect": "EXECUTE",
"method": "POST",
"idCheck": true,
"request": [
{
"field": "main_params",
"label": "main_params",
"type": "object",
"describe": "111",
"value": "1",
"children": [
{
"field": "FOBJID",
"label": "FOBJID",
"type": "string",
"value": "{FOBJID}"
},
{
"field": "is_successx",
"label": "is_successx",
"type": "string",
"value": "@is_successx"
}
]
}
],
"otherRequest": [
{
"field": "main_sql",
"label": "main_sql",
"type": "string",
"describe": "111",
"value": "call ty_mes.del_pur_Ord(:FOBJID,:is_successx)"
}
],
"delay": 10
}
```
#### 数据请求与清洗
在这个阶段，我们首先要从源系统拉取原始数据。元数据中的 `request` 字段定义了所需的数据参数。例如，`main_params` 对象包含了两个子字段 `FOBJID` 和 `is_successx`，分别代表采购订单的唯一标识和操作是否成功的标志。
```json
"request":[
{
...
{
field: 'FOBJID',
label: 'FOBJID',
type: 'string',
value: '{FOBJID}'
},
{
field: 'is_successx',
label: 'is_successx',
type: 'string',
value: '@is_successx'
}
...
}
]
```
通过这种方式，我们可以确保从源系统获取到准确且必要的数据。
#### 数据转换
接下来是关键的ETL转换步骤。在这个过程中，我们需要根据业务逻辑对拉取的数据进行处理和转换。这里使用了一个存储过程 `ty_mes.del_pur_Ord(:FOBJID,:is_successx)` 来执行具体的业务逻辑。
```json
"otherRequest":[
{
field: 'main_sql',
label: 'main_sql',
type: 'string',
describe: '111',
value: 'call ty_mes.del_pur_Ord(:FOBJID,:is_successx)'
}
]
```
该存储过程接收两个参数 `FOBJID` 和 `is_successx`，并根据这些参数执行相应的数据库操作。这种方式不仅简化了复杂的业务逻辑，还提高了代码的可维护性和可读性。
#### 数据写入
最后一步是将处理后的数据写入目标平台 MySQLAPI 接口。这里使用 POST 方法，通过调用存储过程来实现数据写入操作。
```json
{
api: 'getbackexecute',
effect: 'EXECUTE',
method: 'POST'
}
```
通过这种方式，可以确保数据被正确地写入到目标数据库中。同时，设置 `delay` 参数为10秒，以确保在高并发情况下系统能够正常响应。
#### 实践案例
假设我们有一个采购订单删除操作，需要将删除结果写入到 MySQL 数据库中。我们可以按照上述步骤配置元数据，并通过轻易云平台执行以下操作：
1. 从源系统获取采购订单 ID (`FOBJID`) 和操作结果 (`is_successx`)。
2. 调用存储过程 `ty_mes.del_pur_Ord(:FOBJID,:is_successx)` 执行删除操作。
3. 将结果通过 POST 方法写入到 MySQL 数据库中。
这种方式不仅简化了复杂的数据处理流程，还提高了系统的稳定性和效率。
通过以上步骤，我们可以高效地完成从源系统到目标平台的数据ETL转换和写入操作。在实际应用中，根据具体业务需求调整元数据配置，可以灵活应对各种复杂的数据集成场景。
