在同盾的数据架构中,大多数初始落库的数据还比较原始,为了提供优质的数据服务用于智能决策,技术团队构建了成熟的大数据平台,用 T+1 离线数据分析的方式去进行日常的离线数据分析作业,利用数据二次加工赋能上层的风控智能决策。
同盾拥有在线数千个大大小小的 MySQL 工作实例,数据十分分散,有一些是核心的风控业务系统数据,有一些是后台基础架构平台的数据,还有一些是集团 IT 系统数据,同盾希望通过集中化的方式对这些数据进行分析管理;
最开始同盾将上游 MySQL 数据同步到下游进行分析,但整个过程中数据交换工作效率非常低,整体作业分析的 SLA 无法得到保证;
由于上下游数据同步的阻塞问题,导致了离线数据同步实时性很差,上下游数据经常出现数据不一致的情况,非常影响提供给作业的数据质量。
其实同盾科技的业务场景并不复杂,只需要同步生产环境中数千个 MySQL 实例至下游的离线系统,提供给作业开发人员通过大数据平台进行离线分析加工。项目的核心目标是在海量数据落库下,保障在线到离线数据的数据库的准实时性和一致性,并提供优质的数据服务给内部的风控系统开发人员、算法模型工程师和运营人员加工数据。