MySQL到MySQL：数据同步的多种方法
一、背景与目标
在现代企业中，数据是至关重要的资产，为了确保数据的高可用性和灾难恢复能力，很多企业会选择将数据从一台 MySQL 数据库实时同步到另一台 MySQL 数据库，本文将详细介绍几种常见的 MySQL 到 MySQL 的实时数据同步方法，包括使用 Tapdata Cloud、DataX、Flink CDC 以及传统的命令行工具。
二、使用Tapdata Cloud实现MySQL到MySQL的实时数据同步
Tapdata Cloud是一款强大的实时数据同步工具，支持多种数据库之间的实时同步，包括 MySQL 到 MySQL，下面是具体的操作步骤：
1. 配置源端和目标端的MySQL连接
登录Tapdata Cloud操作后台，进入左侧菜单栏的【连接管理】。
点击右侧区域【连接列表】右上角的【创建连接】按钮，选择MySQL作为连接类型。
在打开的连接信息配置页面中，输入需要的配置信息，包括连接名称、数据库地址、端口、数据库名称、账号和密码，测试连接通过后保存连接。
2. 选择同步模式
进入任务管理页面，点击添加任务按钮进入任务设置流程。
根据刚才建好的连接，选定源端与目标端。
选择需要同步的库、表，如果需要对表名进行修改，可以通过表名批量修改功能对目标端的表名进行批量设置。
选择同步类型，平台提供全量同步、增量同步、全量+增量同步三种模式，设定写入模式和读取数量。
3. 进行数据校验
一般同步完成后，进行一下数据校验，防止踩坑。
Tapdata Cloud有三种校验模式：快速count校验、Key校验和全量数据校验，最常用的是快速count校验，只需要选择要校验的表，简单方便。
三、使用DataX实现MySQL到MySQL的数据同步
DataX是阿里巴巴开源的一款离线数据同步工具，虽然主要用于大数据量的数据迁移，但也可以用于MySQL到MySQL的数据同步，下面是一个简单的示例：
1. 准备数据库和表
-datax_src 表字段 id、src_name CREATE TABLEdatax_src(idbigint NOT NULL,src_namevarchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; -datax_target 表字段 id、target_name CREATE TABLEdatax_target(idbigint NOT NULL,target_namevarchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
2. 向datax_src插入数据
DELIMITER // CREATE DEFINER=root@%FUNCTIONAUTO_INSERT() RETURNS int BEGIN DECLARE index_num INT DEFAULT 0; WHILE index_num < 5000 DO SET index_num = index_num + 1; INSERT INTO datax_src VALUES (index_num,CONCAT('name',index_num)); END WHILE; RETURN 0; END // DELIMITER ;
3. 配置DataX任务
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "1131310577",
"column": [
"id",
"src_name"
],
"splitPk": "id",
"connection": [
{
"table": [
"datax_src"
],
"jdbcUrl": [
"jdbc:mysql://127.0.0.1:3307/datax"
]
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"print":true配置将从datax_src表中抽取数据并写入到本地文件，实际使用时需要根据具体需求调整配置。
四、使用Flink CDC实现MySQL到MySQL的实时数据同步
Flink CDC是一种基于Flink的流式数据集成框架，适用于大规模的实时数据同步任务，下面是一个简单的示例：
1. 准备环境
确保已安装MySQL 8.0及以上版本，并准备好三个数据库：flink_source、flink_sink和flink_sink_second。
下载必要的JDBC SQL连接器依赖包，并将其放到Flink的lib目录下。
2. 启动Flink SQL CLI
./bin/sql-client.sh
3. 创建Flink表并编写同步任务
SET execution.checkpointing.interval = 3s;
CREATE TABLE source_test (
user_id STRING,
user_name STRING,
PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '192.168.3.31',
'port' = '3306',
'username' = 'root',
'password' = '******',
'database-name' = 'flink_source',
'table-name' = 'source_test'
);
CREATE TABLE sink_test (
user_id STRING,
user_name STRING,
PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://192.168.3.31:3306/flink_sink',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '******',
'table-name' = 'sink_test'
);
CREATE TABLE sink_test_second (
user_id STRING,
user_name STRING,
PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://192.168.3.31:3306/flink_sink_second',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '******',
'table-name' = 'sink_test'
);4. 执行同步任务
INSERT INTO sink_test select * from source_test;
五、使用传统命令行工具实现MySQL到MySQL的数据同步
除了上述高级工具外，还可以使用传统的命令行工具如mysqldump 和mysqlimport 来实现MySQL到MySQL的数据同步，这种方法适用于小规模的数据迁移任务。
1. 导出数据
mysqldump -u your_username -p -h your_host -P your_port -D your_database > backup.sql
>参数说明：
your_username：数据库用户名。
your_host：数据库主机地址。
your_port：数据库端口号。
your_database：要备份的数据库名。
backup.sql：备份文件名。
2. 导入数据到新数据库
mysql -u your_username -p -h new_host -P new_port new_database < backup.sql
参数说明：
new_host：新数据库主机地址。
new_port：新数据库端口号。
new_database：新数据库名。
backup.sql：备份文件名。
注意：在导入数据之前，请确保新数据库已经存在，如果不存在，可以使用以下命令创建：
CREATE DATABASE new_database;
还可以使用source 命令直接从命令行导入数据：
mysql -u your_username -p -h new_host -P new_port new_database mysql> source /path/to/backup.sql;
注意：在使用source 命令时，请确保当前位于MySQL命令行界面内，退出MySQL命令行界面可以使用以下命令：
EXIT; ``或按下Ctrl + D`（在 Unix/Linux 系统中）。 六、FAQs相关问题及解答问：如何选择适合的数据同步工具？答：选择适合的数据同步工具需要考虑多个因素，包括数据量、实时性要求、系统资源以及团队熟悉度等，对于大规模实时数据同步任务，建议使用专业的实时数据同步工具如Tapdata Cloud或Flink CDC；对于小规模或一次性数据迁移任务，可以考虑使用传统的命令行工具如mysqldump和mysqlimport，对于需要复杂转换和清洗的场景，可以选择使用DataX等ETL工具，最终的选择应根据实际情况进行综合考虑。