蓝桉云顶

MySQL 到 MySQL：实时数据同步实操分享

在数据库管理领域，数据同步是一项常见且重要的任务，特别是对于 MySQL 将数据从一个实例实时同步到另一个实例可以极大地提高数据的可靠性和可用性，本文将详细介绍如何使用开源工具 DataX 实现 MySQL 到 MySQL 的全量数据同步及批量更新，并提供相关示例代码和常见问题解答。

一、DataX 简介

DataX 是阿里巴巴开源的一款离线数据同步工具/平台，致力于实现包括 MySQL、Oracle、HDFS、Hive 等各种异构数据源之间高效的数据同步功能，它具有丰富的数据转换功能，支持多线程操作，并且拥有健壮的容错机制。

二、前置准备

在进行数据同步之前，需要做好以下准备工作：

1、安装 DataX：可以从 [DataX 官方 GitHub](https://github.com/alibaba/DataX) 仓库下载最新版本的 DataX 并解压。

2、配置数据库：确保源数据库和目标数据库均已启动，并且网络连接正常。

3、创建测试表：在源数据库和目标数据库中分别创建用于测试的数据表，在源数据库中创建一个名为datax_src 的表，在目标数据库中创建一个名为datax_target 的表。

-源数据库
CREATE TABLE datax_src (
    id BIGINT NOT NULL,
    src_name VARCHAR(255) DEFAULT NULL,
    PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
-目标数据库
CREATE TABLE datax_target (
    id BIGINT NOT NULL,
    target_name VARCHAR(255) DEFAULT NULL,
    PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

三、配置 DataX 作业

在 DataX 的job 目录下新增一个配置文件，格式为.json，以下是一个示例配置文件，用于从datax_src 表同步数据到datax_target 表。

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [{
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "username": "root",
                    "password": "1131310577",
                    "column": ["id", "src_name"],
                    "splitPk": "id",
                    "connection": [{
                        "table": ["datax_src"],
                        "jdbcUrl": ["jdbc:mysql://IP1:3306/datax"]
                    }]
                }
            },
            "writer": {
                "name": "streamwriter",
                "parameter": {
                    "print": true,
                    "column": ["id", "src_name"],
                    "connection": [{
                        "jdbcUrl": "jdbc:mysql://IP2:3306/datax",
                        "table": ["datax_target"]
                    }],
                    "username": "root",
                    "password": "1131310577"
                }
            }
        }]
    }
}

四、执行 DataX 作业

将配置文件上传到 DataX 的job 目录下，然后执行以下命令启动 DataX 作业：

python datax.py /path/to/your/job.json

五、数据校验

数据同步完成后，建议进行数据校验以确保数据的一致性，可以通过简单的 SQL 查询来对比源表和目标表的数据量是否一致。

-源表数据量
SELECT COUNT(*) FROM datax_src;
-目标表数据量
SELECT COUNT(*) FROM datax_target;

六、FAQs

Q1：DataX 支持哪些数据源？

A1：DataX 支持多种数据源，包括但不限于 MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive、ODPS、HBase 等。

Q2：如何修改 DataX 作业中的字段映射关系？

A2：在 DataX 的配置文件中，可以通过修改reader 和writer 的column 参数来指定需要同步的字段，如果需要修改字段名，可以在writer 的parameter 中通过别名的方式指定新的字段名，将src_name 字段同步到目标表时重命名为target_name。

"writer": {
    "parameter": {
        "column": ["id", "src_name AS target_name"],
        ...
    }
}

小编有话说

通过本文的介绍，相信大家对如何使用 DataX 实现 MySQL 到 MySQL 的全量数据同步有了更深入的了解，DataX 作为一款功能强大的数据同步工具，不仅支持多种数据源之间的同步，还提供了丰富的数据转换和容错机制，在实际使用过程中，可以根据具体需求调整配置文件，以实现更加灵活和高效的数据同步方案，希望本文能对大家有所帮助，如果有更多问题，欢迎留言讨论！