怎么同步mysql的简单介绍

怎么使Mysql数据同步

先假设有主机 A 和 B ( Linux 系统)，主机 A 的 IP 分别是 1.2.3.4 (当然，也可以是动态的)，主机 B 的 IP 是 5.6.7.8 。两个主机都装上了 PHP+Mysql ，现在操作的是主机 A 上的资料，如果另外一个主机 B 想跟 A 的资料进行同步，应该怎么做呢？

专注于为中小企业提供成都网站设计、成都网站制作服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业柯坪免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了上1000家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

OK，我们现在就动手。

首先，如果要想两个主机间的资料同步，一种方法就是主机 A 往主机 B 送资料，另外一种主法就是主机 B 到主机 A 上拿资料，因为 A 的 IP 是动态的(假设)，所以我们就得从主机 A 往主机 B 送资料。

在主机 B 上创建一个 Mysql 账户。

# GRANT ALL ON test.* TO user@% IDENTIFIED BY "password"; //创建用户 user,可以从任何机器访问到主机 B 上的 test 数据库。

如果这里显示错误，先把 % 改为一个 IP ，然后再利用 phpMyAdmin 把 IP 改为 % ，测试无误后就可以写 php 程序。

?

$link=mysql_pconnect("localhost","user","password");

mysql_pconnect("localhost","user","password"); //连接本机(主机A)的数据库

mysql_select_db("test"); //选择数据库test

$re=mysql_query("select * from table order by id desc");

$num=mysql_numrows($re);

if (!empty($num)) {

$id=mysql_result($re,0,"id"); //获得本机table表的最大ID

}

mysql_close($link); //关闭与本机数据库的连接

$link=mysql_pconnect("5.6.7.8","test","test");

mysql_pconnect("5.6.7.8","test","test"); //连接主机B的数据库

mysql_select_db("test"); //选择数据库test，此数据库应该与主机A上test数据库的结构一样。

$re=mysql_query("select * from table order by id desc");

$num=mysql_numrows($re);

if (!empty($num)) {

$remote_id=mysql_result($re,0,"id"); //获得主机Btable表的最大ID

}

if ($id$remote_id) {

$result_id=$id-$remote_id; //如果主机A中table的最大ID大于主机B中table表的最大ID，说明两个

} 的资料不同

mysql_close($link); //关闭主机B的数据库连接

$link=mysql_pconnect("localhost","user","password");

mysql_pconnect("localhost","user","password");

mysql_select_db("test");

if (empty($result_id)) $result_id=0;

if (empty($remote_id)) $remote_id=0; //如果主机B中的table的最大ID为空(里面没有资料),那么就等0

$re=mysql_query("select * from table limit $remote_id,$result_id"); //取出主机A中table表与主机B中table表里不同的资料

$num=mysql_numrows($re);

if (!empty($num)) {

for ($i=0;$i$num;$i++) {

$test[$i]=mysql_result($re,$i,"test"); //把不同的资料放入一个数组里

}

}

mysql_close($link); //关闭主机A的数据库连接

$link=mysql_pconnect("5.6.7.8","user","password");

mysql_pconnect("5.6.7.8","user","pasword");

mysql_select_db("test");

for ($j=0;$j$i;$j++) { //这里的i等于在比较主机A与主机B上table表不同资料的数量

mysql_query("insert into table (test) values(\'$test[$j]\')");

}

mysql_close($link); //关闭主机B的数据库连接

?

这时就初步实现了 A 主机和 B 主机数据的同步，但现在还需要人手动每次去激活这个程序，有没有办法把它作为一个脚本一样的，放在 crontab 里面指定时间自动执行呢？

在安装 php 时会自动生一个叫 php 的可执行文件，一般在/你安装的 php 目录 /bin 下面，不过较底的版本好像没有，如果没有这个文件，你就得升级你的 php 。

#php -q test.php

php 原本是应用在网页应用的﹐因此它会送出 HTML 的 Header﹐但是在此我们是要将 php 用作 Shell Script﹐"-q" 就是表示不要送出 Header 的意思.

最后编辑 /etc/crontab 里的文件，加上下面这一句。

0 0 * * * root /home/httpd/html/test //每天晚上零点执/home/httpd/html/test文件(具体使用方法请查看cron的相关资料)

OK，到这里差不多就已完成 Mysql 数据的同步了，如果各位还有兴趣的话，可以想一个连编辑、删除都能同步的更好的办法。

如何同步mysql数据到Doris中

Doris官网定义

mysql原始表结构

1.doris中关联mysql外表

结果如下：

2.doris中关联kafka导入数据

查看作业

State为RUNNING，表示已经成功。

停止作业

3.通过flink导入mysql数据到doris

方法1：通过mysql-cdc写入kafka，kafka关联doris表。

方法2：通过阿里云DTS-datahub，然后通过Flink写入kafka，再关联到doris外表

如何处理delete数据？对于方法1，需要手动的删除doris中的数据；对于方法2，可以通过dts_operation_flag字段来标示，dts_operation_flag可以为I/U/D，分别表示添加、更新和删除。那我们就只需要在doris表中添加一个dts_operation_flag字段来标示就可以了，查询数据的时候就不再查询等于D的值。

如何处理脏数据？delete doris中的数据，然后insert正确的值；还有个方法是将关联一个外表（这个是正确的值），然后再将doris中的表和外表中的值diff，将diff的值insert到doris中。

如何设置MySQL同步

1、设置同步Master

每个同步服务器都必须设定一个唯一的编号，否则同步就不能正常运行了。接下来开始修改 my.cnf，增加以下几行：

server-id = 1

log-bin

set-variable=binlog-ignore-db=mysql

然后在Master上增加一个账号专门用于同步，如下：

mysqlGRANT REPLICATION SLAVE ON *.* TO rep@rep2 IDENTIFIED BY 'rep';

如果想要在Slave上有权限执行 "LOAD TABLE FROM MASTER" 或 "LOAD DATA FROM MASTER" 语句的话，必须授予全局的 FILE 和 SELECT 权限：

mysqlGRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO rep@rep2 IDENTIFIED BY 'rep';

第三行表示不记录数据库mysql的更新日志，这就避免了Master上的权限设置等被同步到Slave上，如果对这方面没有限制，就可以不设置这个参数。

接下来备份Master上的数据，首先执行如下SQL语句：

mysqlFLUSH TABLES WITH READ LOCK;

不要退出这个终端，否则这个锁就不生效了；接着导出数据，可以直接打包压缩数据文件，也可以使用mysqldump工具来做，推荐前者的方法，这样更为快捷简便。

怎么实现两台服务器的mysql数据同步

这种架构一般用在以下三类场景

1. 备份多台 Server 的数据到一台如果按照数据切分方向来讲，那就是垂直切分。比如图 2，业务 A、B、C、D 是之前拆分好的业务，现在需要把这些拆分好的业务汇总起来备份，那这种需求也很适用于多源复制架构。实现方法我大概描述下：业务 A、B、C、D 分别位于 4 台 Server，每台 Server 分别有一个数据库来隔离前端的业务数据，那这样，在从库就能把四台业务的数据全部汇总起来，而不需要做额外的操作。那没有多源复制之前，要实现这类需求，只能在汇总机器上搭建多个 MySQL 实例，那这样势必会涉及到跨库关联的问题，不但性能急剧下降，管理多个实例也没有单台来的容易。

2. 用来聚合前端多个 Server 的分片数据。

同样，按照数据切分方向来讲，属于水平切分。比如图 3，按照年份拆分好的数据，要做一个汇总数据展现，那这种架构也非常合适。实现方法稍微复杂些：比如所有 Server 共享同一数据库和表，一般为了开发极端透明，前端配置有分库分表的中间件，比如爱可生的 DBLE。

3. 汇总并合并多个 Server 的数据

第三类和第一种场景类似。不一样的是不仅仅是数据需要汇总到目标端，还得合并这些数据，这就比第一种来的相对复杂些。比如图 4，那这样的需求，是不是也适合多源复制呢？答案是 YES。那具体怎么做呢？