Java教程:Canal实现Mysql和ES数据同步

1.ES概述

ES全称为”ElasticSewrch”, 是一个基于RESTful web接口, 并且构建在Apache Lucene之上的开源分布式搜索引擎。

ES可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。

简单来说, ES可以帮助我们快速完成海量数据的搜索工作.

2.场景介绍

在实际开发中,为了保证数据的安全性和持久性, 所以,我们一般会把数据存储的数据库中, 比如mysql数据库.

但, 如果数据量比较大, 并且搜索业务比较多, 则需要使用ES来实现我们的搜索功能.

而ES所实现的搜索, 需要把数据放入ES中, 才能实现, 所以, 就需要我们把mysql中的数据, 同步到ES中才可以.

3.实现方案

实现Mysql与ES之间的数据同步, 大体上可以分为三种方案:

方案一:同步调用
Java教程:Canal实现Mysql和ES数据同步
方案二:异步通知
Java教程:Canal实现Mysql和ES数据同步
方案三:监听binlog
Java教程:Canal实现Mysql和ES数据同步
4.监听binlog

在以上三种实现方案中, 可靠性相对来说比较好的是第三种方案”监听binlog”,

方案

优势

缺点

同步调用

实现简单,粗暴

业务耦合度高

异步通知

低耦合,实现难度一般

依赖mq的可靠性

监听binlog

完全解除服务间耦合, 可靠性较强

开启binlog增加数据库负担、实现复杂度高

4.1 实现原理

binlog其实就是Binary Log, 是MySQL二进制日志, 也可叫作变更日志(Update Log), 是 MySQL 中非常重要的日志。

主要用于记录数据库的变化情况,即 SQL语句的DDL和DML语句,不包含数据记录查询操作。

BinaryLog通常用于数据库的主从复制. 其工作原理如下:

Java教程:Canal实现Mysql和ES数据同步
1)MySQL master 将数据变更写入二进制日志( binary log),其中记录的数据叫做binary log events2)MySQL slave 将 master 的 binary log events拷贝到它的中继日志(relay log)3)MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据4.2 实现方案-Canal

Canal是阿里巴巴旗下的一款开源项目, 基于Java开发。Canal就是监听数据库的binary log,从而提供增量数据订阅&消费。

GitHub的地址:

https://github.com/alibaba/canal

Canal就是把自己伪装成MySQL的一个slave节点,从而监听master的binary log变化。

Canal会把得到的变化信息通知给Canal的客户端,进而完成对其它数据库的同步。

Java教程:Canal实现Mysql和ES数据同步
5.搭建环境5.1 开启MySQL主从① 修改配置文件

找到mysql的配置文件my.cnf,并在上边添加配置信息

log-bin=/var/lib/mysql/mysql-bin binlog-do-db=heima

配置解读:

log-bin=/var/lib/mysql/mysql-bin:设置binary log文件的存放地址和文件名,叫做mysql-binbinlog-do-db=heima:指定对哪个database记录binary log events,这里记录heima这个库

以Docker容器的Mysql为例,最终配置:

[mysqld] skip-name-resolve character_set_server=utf8 datadir=/var/lib/mysql server-id=1000 log-bin=/var/lib/mysql/mysql-bin binlog-do-db=heima5.2 设置用户权限

添加一个仅用于数据同步的账户,出于安全考虑,这里仅提供对heima这个库的操作权限。

create user canal@% IDENTIFIED by canal; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO canal@% identified by canal; FLUSH PRIVILEGES;5.3 安装Canal

以docker容器为例

docker run -p 11111:11111 –name canal -e canal.destinations=heima -e canal.instance.master.address=mysql:3306 -e canal.instance.dbUsername=canal -e canal.instance.dbPassword=canal -e canal.instance.connectionCharset=UTF-8 -e canal.instance.tsdb.enable=true -e canal.instance.gtidon=false -e canal.instance.filter.regex=heima\..* -d canal/canal-server:v1.1.5

说明:

-p 11111:11111:这是canal的默认监听端口-e canal.destinations=heima:canal集群的名字,要和canal服务中设置的集群名字保持一致-e canal.instance.master.address=192.168.136.133:3306:数据库地址和端口-e canal.instance.dbUsername=canal:数据库用户名-e canal.instance.dbPassword=canal :数据库密码-e canal.instance.tsdb.enable=true :表示是否打开tsdb开关-e canal.instance.gtidon=false :表示是否是GTID模式-e canal.instance.filter.regex=:要监听的表名称

表名称监听支持的语法:

mysql 数据解析关注的表,Perl正则表达式. 多个正则之间以逗号(,)分隔,转义符需要双斜杠(\) 常见例子: 1. 所有表:.* or .*\..* 2. canal schema下所有表: canal\..* 3. canal下的以canal打头的表:canal\.canal.* 4. canal schema下的一张表:canal.test1 5. 多个规则组合使用然后以逗号隔开:canal\..*,mysql.test1,mysql.test2 5.4 Canal客户端服务① 客户端概述

Canal提供了各种语言的客户端,当Canal监听到binlog变化时,会通知Canal的客户端。

我们可以利用Canal提供的Java客户端,监听Canal通知消息。当收到变化的消息时,完成对数据的更新。

当然, 市面上有很多Canal客户端, 我们以GitHub上的第三方开源的canal-starter客户端, 并且结合SpringBoot为例, 进行演示

② 引入依赖<dependency> <groupId>top.javatool</groupId> <artifactId>canal-spring-boot-starter</artifactId> <version>1.2.1-RELEASE</version> </dependency>③ 编写配置canal: destination: heima # canal的集群名字,要与安装canal时设置的名称一致 server: 192.168.136.135:11111 # canal服务地址④ 实体类package com.itheima.domain; import lombok.Data; @Data public class Hotel { private Long id; private String name; private String address; private Integer price; private Integer score; private String brand; private String city; private String starName; private String business; private String longitude; private String latitude; private String pic; }⑤ 编写监听器

通过实现EntryHandler<T>接口编写监听器,监听Canal消息。

注意两点:

实现类通过@CanalTable(“tb_hotel”)指定监听的表信息

EntryHandler的泛型是与表对应的实体类

package com.itheima.handle; import com.itheima.domain.Hotel; import org.springframework.stereotype.Component; import top.javatool.canal.client.annotation.CanalTable; import top.javatool.canal.client.handler.EntryHandler; @CanalTable(“tb_hotel”) @Component public class HotelHandler implements EntryHandler<Hotel> { / * mysql中数据有新增时自动执行 * @param hotel 新增的数据 */ @Override public void insert(Hotel hotel) { //把新增数据hotel,添加到ES即可 } / * mysql中数据有修改时自动执行 * @param before 修改前的数据 * @param after 修改后的数据 */ @Override public void update(Hotel before, Hotel after) { //把修改数据,更新到ES即可 } / * ysql中数据有删除时自动执行 * @param hotel 要删除的数据 */ @Override public void delete(Hotel hotel) { //把要删除的数据hotel,从ES删除即可 } }6.补充

该模式不仅仅能实现mysql到es之间的数据同步. 它适用于任何从mysql到其他接受的数据同步.

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:Java教程:Canal实现Mysql和ES数据同步 https://www.dachanpin.com/a/cyfx/11605.html

赞 (0)
Mysql的性能如何优化?
上一篇 2023-05-12 03:26:11
这些程序员把GitHub告了!要求索赔649亿
下一篇 2023-05-12 03:27:12

相关推荐

  • 沃高网络技术北京有限公司 给创业者指明了新的方向

    现今,人们的休闲生活越来越丰富,温饱之余逛逛店铺商场,逛逛游乐场,放松一下繁忙生活中绷紧的神经。现在,一种新的休闲方式正在升温,那就是沃高网络技术北京有限公司的诞生,这家新的10元百货店正式开业,各种潮流精品让大家一饱眼福,引人驻足,每一个走出店门的人手里都会拿上几件,大家对此感到心满意足。 沃高网络技术北京有限公司涵盖了百姓生活的方方面面,不仅有女性喜爱的…

    创业分享 2023-05-19
  • 吴世春:创业者如何提高成功率?

        丫山叠翠,篝火通红,吴世春和一群创始人村野中围坐。   2019年5月,在梅花创投创始合伙人吴世春的带领下,100位创业者来到江西省大余县,重走阳明心学之路。   1529年(明朝嘉靖七年),被史学家称为“立功、立德、立言”的心学创始人王阳明肺病加重,不久后病逝于江西南安府大庚县,即今日的江西省大余县。   “我就是江西省大余县人,原来也是…

    创业分享 2023-05-12
  • 故乡小城的创业之光

        2016年春节期间,中宣部机关组织党员干部利用回乡探亲之机参加调研活动。春节回乡探亲的党员干部积极主动参加调研,通过多种方式了解体验基层,深入群众特别是农村、农民群众中,撰写了一批调研体会文章。中国文明网《新春走基层》专栏受权刊发。   我的故乡长治位于山西省东南部,古称“上党”“潞州”,历史悠久,今日是山西省第三大地级…

    创业分享 2023-06-04
  • 今天我们使用的推送,是如何演变过来的

      开抢了!双11创业者优选服务!   在 iOS 8 之前,您只能发送 256 字节的消息,因此为了让用户看到整个消息,您必须将其总结为 100 个字符或更少。   许多广告商将推送通知视为“房地产横幅广告”一样的东西 。   2014 – iOS 8 发布 2kb 和操作按钮   可以看到推送功能正在变得越来越强大,相信未来还会给我们带来更多的惊喜。  …

    创业分享 2023-05-21
  • 创业创新看巾帼

    台风”玲玲”强度增强 中央气象台继续发布黄色预警 台风“玲玲”强度增强。中央气象台继续发布黄色预警中新网9月5日电[详细] 09-05 08-09中国新闻网 养老金涨了!30省份公布养老金调整方案 这些人能多领 养老金涨了。30省份公布养老金调整方案[详细] 09-05 08-09中国新闻网 平均年龄50岁以上 看这群”漂…

    创业分享 2023-05-12

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息