首页 >

如何把mysql中的数据同步到elasticsearch中 – 数据库 – 前端,oracle sql导入mysql

linux数据库mysql安装,mysql的1025错误,启动mysql并输入密码,mysql取年月的函数,python mysql 删除,oracle sql导入mysql如何把mysql中的数据同步到elasticsearch中 - 数据库 - 前端,oracle sql导入mysqlMySQL数据同步到ES的方案

把MySQL的数据实时同步到ES,这样可以实现在ES中低延迟的检索,有些公司的项目做了分库,可以单独搭建一套ES来放全量的数据(或全量数据的部分字段,达到全量检索的效果),常用的数据同步实现方案有这些:

MySQL Binlog:MySQL的Binlog日志可以用于数据库的主从复制、数据恢复,也可以将MySQL的数据同步给ES;这里需要注意,Binlog的日志模式只能使用ROW模式(另外两种模式是STATEMENT和MIXED);解析Binlog日志中的内容,执行ES Document API,这样就可以将数据同步到ES中;

MySQL dump:如果是新建的项目,使用Binlog做数据同步是没有问题的,但如果MySQL已经运行了一段时间,项目架构中后增加的ES,那么历史数据的迁移就要额外处理了,因为Binlog可能已经被覆盖了。这时候历史数据的同步,可以使用mysqldump对现有数据导出,之后再使用Binlog的方式;

开源工具:前两种方式都是在数据库日志这个级别做文章,大家还可以使用一些开源工具,比如go-mysql-elasticsearch;它可以帮助大家完成第一次全量数据同步,后续增量数据同步的工作(底层也是解析Binlog日志);又或者mypipe,它支持将Binlog日志内容解析后推送到Kafka,如果要写入到ES中,还需要写额外的代码从Kafka中消费数据写入ES。

大家项目中的实现方案

上面提过,大家项目中是将关系型数据库DB2/Mysql中的数据同步到MongoDB中,Mysql尚且还能使用Binlog日志,DB2想要把变化的数据实时通知出来,实现起来比较困难(写程序部署到DB2服务器上,要和数据库做关联配置,当数据发生变化,程序发送MQ通知给外围系统),先不说性能是否能保证,就是“自己写一个通知程序部署到数据库所在服务器上(有侵入)”,这一点至少在大家公司是无法做到的。

大家采用了一个非常low的方式来解决这个问题,就是Java程序扫描DB2表中的时间戳,读取最近变化的数据,加工到MongoDB中;

虽然实现方案比较low,但是效果还不错,因为大家在从关系型数据到MongoDB的数据同步过程中,可以自有地做数据加工;相当于按照一定的数据维度,比如按照客户维度,把几十张表做关联,加工后行程一个document保存到MongoDB中;再对外提供服务的时候,查询效率提升的很明显,因为表关联已经提前完成了(接口响应大多数时候都是毫秒级,超过50ms就算慢了)。

缺点也很明显,数据从关系型数据库到MongoDB的延迟很高,大家项目几经优化,也需要20分钟左右;所以一定要结合着业务场景考虑是否使用这种方案。

偶将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。

linux数据库mysql安装,mysql的1025错误,启动mysql并输入密码,mysql取年月的函数,python mysql 删除,oracle sql导入mysql如何把mysql中的数据同步到elasticsearch中 - 数据库 - 前端,oracle sql导入mysql


如何把mysql中的数据同步到elasticsearch中 - 数据库 - 前端,oracle sql导入mysql
  • mysql方法中返回总记录数 |windows进mysql
  • mysql方法中返回总记录数 |windows进mysql | mysql方法中返回总记录数 |windows进mysql ...

    如何把mysql中的数据同步到elasticsearch中 - 数据库 - 前端,oracle sql导入mysql
  • 下面这种sql查询应该如何创建索引 - 数据库 - 前端|
  • 下面这种sql查询应该如何创建索引 - 数据库 - 前端| | 下面这种sql查询应该如何创建索引 - 数据库 - 前端| ...

    如何把mysql中的数据同步到elasticsearch中 - 数据库 - 前端,oracle sql导入mysql
  • 常见的5种通讯协议 - 数据库 - 前端|
  • 常见的5种通讯协议 - 数据库 - 前端| | 常见的5种通讯协议 - 数据库 - 前端| ...