轻易云数据集成平台工作原理与调度机制解析
轻易云数据集成平台运行原理
轻易云数据集成平台是一款企业级的集成中间件，其主要工作流程如下：
请求调度
- 定时计划会自动激活调度者，根据元数据配置生成API请求任务，通过
AsynSourceJobStorage类将任务存入MongoDB任务表并排队执行。 - 进程守护执行源平台请求任务，发送API请求并获取原始数据。
- 获取到原始数据后，依据元数据配置进行基础加工，加工后的数据逐行通过
DataStorage写入MongoDB数据表，此时数据处于待处理状态。 - 在某些特殊情况下，可能需要先后调用两个接口获取数据。例如，先通过
fetch_list获取列表数据的ID主键，再通过get_detail获取对象的数据明细。 - 可以使用
$this->adapter->getLogStorage()->insertOne记录日志。
写入调度
- 定时的写入调度者从MongoDB data表中获取待处理的数据，根据元数据配置加工为目标系统接口接收的数据格式，创建写入API任务，通过
AsynTargetJobStorage类将任务写入MongoDB任务表并排队执行，同时将数据标记为队列中。 - 进程守护执行目标平台写入任务，发送API请求向目标系统写入。
- 写入完成后，根据返回结果标记数據为 '完成' 或 '错误'。
数据加工厂
用户可以自定义脚本代码嵌入到某个环节。源平台加工厂包括以下环节：队列生成后、队列调用前、队列调用后、数据写入后、响应错误后等。目标平台加工厂则包括：队列调度前、接管拉取方法、拉取后、队列生成后、队列执行前、队列执行后、成功和失败等环节。
