a) Canal是基于Mysql binlog变动,实时同步数据变化的工具
b) DTS是阿里云提供的一套数据产品,原理和Canal类似,大家想监听某个表的变动,只需订阅,就可以获取到数据的实时变化
c) 迁云之后,主要使用DTS
d) 数据落地大家使用kafka,topic一般是schema.table_name
e) 消费方一般是streaming、airflow调度的spark作业等,计算后的数据二次落地在redis、hbase、es等数据集群中
首页 >
a) Canal是基于Mysql binlog变动,实时同步数据变化的工具
b) DTS是阿里云提供的一套数据产品,原理和Canal类似,大家想监听某个表的变动,只需订阅,就可以获取到数据的实时变化
c) 迁云之后,主要使用DTS
d) 数据落地大家使用kafka,topic一般是schema.table_name
e) 消费方一般是streaming、airflow调度的spark作业等,计算后的数据二次落地在redis、hbase、es等数据集群中