案例分享：金蝶云星空数据集成到用友NCC
在企业信息化建设中，数据的高效流动和准确对接是实现业务协同和优化的重要环节。本文将介绍一个实际运行的系统对接集成案例——方案777，通过轻易云数据集成平台，将金蝶云星空的数据无缝集成到用友NCC系统中。
集成背景与挑战
金蝶云星空作为企业管理软件，提供了丰富的数据接口和强大的API功能，而用友NCC则在财务、供应链等领域有着广泛应用。为了实现这两个系统之间的数据互通，我们需要解决以下几个技术难题：
- 高吞吐量的数据写入能力：确保大量数据能够快速被写入到用友NCC系统中，提升整体处理时效性。
- 实时监控与告警：通过集中监控和告警系统，实时跟踪数据集成任务的状态和性能，及时发现并处理异常情况。
- 自定义数据转换逻辑：适应特定业务需求，对不同结构的数据进行转换，以确保两端系统的数据一致性。
- 分页与限流问题处理：针对金蝶云星空接口的分页和限流机制，设计合理的抓取策略，避免漏单现象。
解决方案概述
在方案777中，我们利用轻易云数据集成平台提供的一系列功能，实现了从金蝶云星空到用友NCC的数据无缝对接。具体步骤包括：
- 调用金蝶云星空API（executeBillQuery）获取源数据：通过定时任务可靠地抓取金蝶云星空接口数据，并处理分页与限流问题。
- 自定义转换逻辑与映射：根据业务需求，对获取的数据进行清洗、转换，并映射为目标格式。
- 批量写入用友NCC（api/ic/invcount/save）：采用高吞吐量写入方式，将转换后的数据批量导入用友NCC系统。
- 实时监控与日志记录：全程监控数据处理过程，并记录详细日志以便追溯和分析。
通过上述步骤，我们不仅实现了两个异构系统之间的数据对接，还保证了整个过程的高效性、可靠性和可维护性。在后续章节中，我们将详细探讨每个步骤中的技术细节及其实现方法。
调用金蝶云星空接口executeBillQuery获取并加工数据
在轻易云数据集成平台的生命周期中，第一步是调用源系统金蝶云星空接口executeBillQuery来获取并加工数据。这个过程至关重要，因为它确保了后续的数据转换与写入能够顺利进行。
接口配置与调用
首先，我们需要配置接口的元数据，以便正确地调用金蝶云星空的API。以下是关键的元数据配置参数：
- API:
executeBillQuery - Method:
POST - FormId:
SAL_SaleOrder - FieldKeys: 包含所有需要查询的字段，如
FSaleOrderEntry_FEntryID,FID,FBillNo等。 - FilterString: 用于过滤条件，例如：
FApproveDate>='{{LAST_SYNC_TIME|dateTime}}' and FDocumentStatus='C' - Pagination: 分页参数，包括每页大小（pageSize）和起始行索引（StartRow）。
这些配置确保了我们可以高效地从金蝶云星空系统中提取所需的数据。
数据请求与清洗
在发起请求时，需要特别注意分页处理和限流问题。由于单次请求返回的数据量有限，我们必须通过分页参数来逐步获取完整的数据集。示例如下：
{
"FormId": "SAL_SaleOrder",
"FieldKeys": "FSaleOrderEntry_FEntryID,FID,FBillNo,...",
"FilterString": "FApproveDate>='2023-01-01' and FDocumentStatus='C'",
"Limit": 500,
"StartRow": 0
}每次请求返回的数据会根据分页参数进行累积，直到所有数据被完全提取。
数据清洗与转换
获取到原始数据后，需要对其进行清洗和转换，以符合目标系统的要求。这包括：
- 字段映射与重命名：将源系统中的字段名映射到目标系统中的字段名。例如，将
FSaleOrgId.FNumber映射为销售组织编号。 - 数据类型转换：确保所有字段的数据类型一致。例如，将日期字符串转换为标准日期格式。
- 异常处理与日志记录：对于任何异常情况，如缺失值或格式错误，及时记录日志并进行相应处理。
实现高效、可靠的数据抓取
为了确保数据抓取过程的高效性和可靠性，可以采取以下措施：
- 定时任务调度：通过定时任务定期调用接口，保证数据实时更新。
- 增量同步机制：利用时间戳或状态标识，仅抓取自上次同步以来发生变化的数据，减少不必要的重复抓取。
- 监控与告警机制：实时监控数据抓取任务的状态，并在出现异常时触发告警，快速响应和解决问题。
示例代码片段
以下是一个简化版的示例代码片段，用于展示如何调用接口并处理返回的数据：
import requests
import json
url = 'https://api.kingdee.com/executeBillQuery'
headers = {'Content-Type': 'application/json'}
payload = {
'FormId': 'SAL_SaleOrder',
'FieldKeys': 'FSaleOrderEntry_FEntryID,FID,FBillNo,...',
'FilterString': "FApproveDate>='2023-01-01' and FDocumentStatus='C'",
'Limit': 500,
'StartRow': 0
}
response = requests.post(url, headers=headers, data=json.dumps(payload))
data = response.json()
# 数据清洗与转换逻辑
cleaned_data = []
for record in data:
cleaned_record = {
'销售订单编号': record['FBillNo'],
# 更多字段映射...
}
cleaned_data.append(cleaned_record)
# 后续处理逻辑...通过以上步骤，我们可以高效地从金蝶云星空系统中提取、清洗并准备好用于后续处理的数据。这一过程不仅提高了数据集成效率，也为企业提供了更准确、及时的信息支持。
轻易云数据集成平台生命周期第二步：ETL转换与数据写入用友NCCAPI
在数据集成的过程中，ETL（Extract, Transform, Load）是一个重要环节。本文将重点探讨如何将已经集成的源平台数据进行ETL转换，转为目标平台用友NCCAPI接口所能够接收的格式，并最终写入目标平台。
数据提取与清洗
首先，我们需要从源平台提取数据，并进行必要的清洗和预处理。这一步确保了数据的准确性和一致性，为后续的转换和加载打下基础。
数据转换
在数据转换阶段，我们需要将源数据转换为目标平台用友NCCAPI能够接受的格式。根据元数据配置：
{
"api": "api/ic/invcount/save",
"method": "POST",
"idCheck": true
}我们可以看到，用友NCCAPI接口要求的数据格式和方法。为了实现这一点，需要进行以下几个步骤：
- 字段映射：将源数据中的字段映射到用友NCCAPI所需的字段。例如，将源数据中的
product_id映射到目标系统中的item_code。 - 数据类型转换：确保所有字段的数据类型符合目标系统的要求。例如，将字符串类型的数据转换为日期类型或数值类型。
- 格式调整：根据用友NCCAPI接口文档，调整数据格式。例如，将日期格式从
YYYY-MM-DD转换为DD/MM/YYYY。
数据加载
完成数据转换后，我们需要将转换后的数据通过用友NCCAPI接口写入目标系统。在这个过程中，需要特别注意以下几点：
- 高吞吐量写入：利用轻易云平台提供的高吞吐量写入能力，确保大量数据能够快速被集成到用友NCC系统中，提高数据处理时效性。
- 批量处理：对于大规模的数据集成任务，可以采用批量处理方式，将多个记录打包成一个请求发送到用友NCCAPI接口，以提高效率。
- 分页与限流：如果用友NCCAPI接口对单次请求的数据量有限制，需要实现分页处理，同时考虑限流机制，避免因过多请求导致接口超载。
异常处理与重试机制
在实际操作中，不可避免地会遇到各种异常情况。因此，必须设计健全的异常处理与重试机制：
- 错误日志记录：实时记录每个请求的状态和错误信息，以便后续排查和修复。
- 自动重试机制：对于临时性错误，可以设置自动重试机制，在一定次数内重新尝试发送失败的数据。
- 告警通知：当出现严重错误或多次重试失败时，通过告警系统通知相关人员及时处理。
实时监控与性能优化
为了确保集成过程顺利进行，需要实施实时监控和性能优化措施：
- 集中监控系统：通过轻易云平台提供的集中监控系统，实时跟踪每个集成任务的状态和性能指标。
- 性能调优：根据监控结果，对集成过程中的瓶颈进行分析和优化，例如调整批处理大小、优化数据库查询等。
自定义逻辑与特殊需求
根据业务需求，有时需要实现自定义的数据转换逻辑或满足特定的数据结构。在这种情况下，可以利用轻易云平台提供的自定义逻辑功能，实现灵活的数据转换和处理。
综上所述，通过合理配置元数据、设计健全的数据转换流程、实施有效的异常处理与重试机制，以及实时监控与优化性能，可以确保将源平台的数据成功转化并写入到用友NCC系统中，实现无缝的数据集成。
