轻易云数据集成平台核心流程详解
轻易云数据集成平台工作流程
轻易云数据集成平台的运作包括四个核心环节：数据抽取、清洗、转换和转发。首先，数据抽取就像一个定时启动的引擎，通过源平台的定时调度请求实现。
假设我们有一个由Linux的crontab任务计划者支持的小队，这个小队由20位成员组成，名字从dispatcher-0到dispatcher-19。这些成员就像工厂里的工人，每分钟检查并执行他们的任务。每个成员负责的任务可以在数据集成方案的详细配置页面中进行设置，以保证效率和避免拥堵。
当时间到了，每位成员都会执行特定命令序列，过滤掉不需要定时激活的异步方案，比如那些由特定事件或外部系统触发的方案。然后，为需要定时执行的方案准备好执行命令，这些命令不会立即执行，而是等待crontab指令，进入待命队列。
对于有特殊需求的方案，比如需要补漏，还会准备一个特别命令，就像给机器设置了“补漏”模式，确保在遇到特殊情况时能够额外处理。
指令一旦被执行，任务就会被放入AsynDispatcher队列池中排队处理。这个队列池就像忙碌邮局，每个任务都是包裹，等待分配到正确窗口。
在处理这些任务时，系统会再次确认任务启动状态和是否满足执行条件，比如检查是否有前置任务正在执行。确认无误后，就会加载对应源平台适配器，就像选择了正确工具来完成任务。
接下来是适配器表演时间。适配器记录开始和结束日志，生成任务请求参数，并将新任务排队等待执行。这过程中还涉及到数据拆分、重建模，以及根据元数据配置生成请求参数等细节，这些都是流水线上关键环节。
在异步队列池中，每个任务都会被仔细检查，一旦开始执行，适配器连接源平台发送请求，并处理返回的数据。同时还有脚本加工厂对任务后的数据进行进一步加工和处理。
轻易云数据集成平台通过精细计划和分工，高效运转确保每个环节顺利完成，就像确保每个部件准时到达正确工作站完成其应有任务。