轻易云数据集成平台：全异步支持异构系统集成
介绍视频
轻易云数据集成平台是一个完全异步、支持多种异构系统集成的平台，能够实现不同系统间数据的无缝对接。数据集成过程包含两个主要阶段：数据请求与清洗，以及数据转换和写入。
数据请求与清洗
- 请求调度者负责定时拉取数据，通过配置定时任务自动生成请求，这些请求会被存储在MongoDB的
AsynSourceJobStorage中，等待处理。 - 当任务在请求队列池中激活时，系统将调用适配器执行任务，拉取数据。
- 拉取的数据会根据预设的元数据配置进行加工和清洗。
- 清洗后的数据保存在MongoDB的
DataStorage中，标记为待处理状态。 - 此外，外部系统可以通过轻易云开放的API直接向集成方案写入数据，实现被动数椐接收。
数据转换与写入
- 写入调度者通过定时任务检查MongoDB中标记为【等待中】的数据，准备进行转换。
- 数据会根据配置逐笔或批量转换，以适配目标系统格式。
- 转换后的数据进入
AsynTargetJobStorage的写入队列池，等待写入目标系统。 - 写入过程中，目标平台的响应状态和内容会被记录回
AsynTargetJobStorage和DataStorage中。 - 若写入过程遇到异常，系统将重新排队尝试写入。
轻易云数据集成平台通过异步调度和多阶段处理，高效地实现了不同系统间的数据集成，同时提供了灵活的配置和错误处理机制，保证了数剧传输的稳定性和可靠性。