数据库增量同步
演示环境
- Windows 10 专业版 22H2
- openJdk 11
- Docker version 27.2.0, build 3ab4256 （用于创建测试数据库）
- git version 2.47.0.windows.2 (用于在windows上执行shell)
安装debezium-server-rain
- 点击链接将debezium-server-rain下载到本地
- 使用解压工具解压debezium-server-rain 您也可以使用7zip解压工具
这时debzium-server-rain就已安装完毕，您将得到下述文件
其中run.sh为执行脚本 conf目录下为配置文件和offest文件(该文件确保您可以断点续传，请勿随意删除)
- 为了在windows系统上执行脚本，需要使用git工具，安装流程一直点击下一步即可
下载地址:https://git-scm.com/
安装完毕后在解压后的debezium-server-rain文件夹中单机鼠标右键 看到open git bash here 即为安装成功
- 该教程需要模拟一个mysql数据库，因此使用到了docker,安装流程一直点击下一步即可
下载地址：https://www.docker.com/ 选择适合您处理器的版本
安装完成以后点击桌面左下角的图标会在菜单中看到docker desktop，单机即可启动docker
使用debezium-server-rain同步Mysql数据
如果上述过程您顺利完成，恭喜您，此时就完成了同步mysql数据到算场中的一切准备工作
接下来将指导您完成这一过程
首先登录您的账号到算场中，获取到独属于您的认证凭证（请妥善保管，泄露造成的任何问题需要您个人承担责任）
- 获取凭证
在浏览器中打开算场数据平台官网 输入账号密码进行登录
点击 跳过指引
创建新的密钥
查看密钥的accessKey和secretKey
这个accessKey和secretKey 可保存在任意地方 后续将会使用
- 创建mysql数据库用于测试
打开dockerDeskTop
拉去debezium/example-mysql镜像用于测试
点击image 即可看到刚才拉取的镜像
运行镜像
MYSQL_USER = mysqluser
MYSQL_PASSWORD = mysqlpw
MYSQL_ROOT_PASSWORD = debezium
查看在该数据库我们将要同步的数据库
所用到的指令
mysql -uroot -pdebeziumselect * from inventory.customers;
- 填写debezium-server-rain配置文件
接下来，将演示如何使用debezium-server-rain将上面的customers表的数据同步到算场中
首先我们需要设置配置文件 重命名配置文件（去掉后缀的 .example）
修改配置文件
修改后保存退出
- 启动debezium-server-rain 同步数据
在debezium-server-rain文件夹中打开git bash
在弹出的命令行窗口输入如下命令后回车
./run.sh
当您看到下图，即代表数据同步成功
在算场中查看同步结果
至此，您已成功将本地的mysql数据导入了算场中
并且只要后续您在原表中执行增删改操作都可以同步数据
更多信息请查看详细文档
debezium-server-rain详细文档