linux中怎么利用rsync实现文件增量同步-创新互联

这篇文章给大家介绍linux 中怎么利用rsync实现文件增量同步，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

一、系统环境：
更新源服务器：192.0.2.20
目的服务器：192.0.2.21  


二、目的服务器配置:192.0.2.21 （rsync服务端）：
1、检查rsync是否安装
rpm -qa|grep rsync 


2、定义rsync配置文件/etc/rsyncd.conf
192.0.2.21:


cat >> /etc/rsyncd.conf << EOF 
uid = root   
gid = root   
use chroot = no 
max connections = 100   
timeout = 600   
pid file = /var/run/rsyncd.pid    
lock file = /var/run/rsyncd.lock    
log file = /var/log/rsyncd.log    
[web1]   
path = /data/www1/    
ignore errors    
read only = no   
list = no   
hosts allow = 192.0.2.0/255.255.255.0    
auth users = root   
secrets file = /etc/www1.pwd   




3、rsyncd.conf配置文件详解
uid = nobody      //运行RSYNC守护进程的用户
gid = nobody      //运行RSYNC守护进程的组
use chroot = 0    //不使用chroot
max connections = 0   // 大连接数,0为不限制
port = 873  //默认端口873


下面这些文件是安装完RSYNC服务后自动生成的文件
pid file = /var/run/rsyncd.pid    //pid文件的存放位置
lock file = /var/run/rsync.lock   //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log    //日志记录文件的存放位置


Timeout = 300
通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.


Log format = %t %a %m %f %b
通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示：
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型：" send" 或" recv"
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时,该字段记录该文件的校验码
默认log格式为：" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.


#transfer logging = yes
使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.


syslog facility = local3 
指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.


模块参数
[web1]   //这里是认证的模块名,在client端需要指定
path = /data/www1/  //需要做镜像的目录,不可缺少！
comment = backup web  //这个模块的注释信息
ignore errors    //可以忽略一些无关的IO错误
read only = yes  //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.
list = no        //不允许列文件
auth users = bak    //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).


secrets file = /etc/www1.pwd      //密码和用户名对比表,密码文件自己生成
该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如：/etc/www1.pwd).注意：该文件的权限一定要是600,否则客户端将不能连接服务器.


hosts allow = 192.168.9.0/255.255.255.0  //允许主机或网段
该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式：
单个IP地址,例如：192.0.2.20
整个网段,例如：192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.


hosts deny = 0.0.0.0/0  //禁止主机


4、建立认证文件/etc/www1.pwd ,此文件须与配置文件中指定文件名保持一致
此处格式为：username:password,安全问题,并不建议实际使用中使用root用户
192.0.2.21:
# echo "root:root" >> /etc/www1.pwd 


并且我们需要设置此文件的权限为600


chmod 600 /etc/www1.pwd  
chmod 600 /etc/rsyncd.conf 


5、建立motd文件（可有可无）
rsyncd.motd记录了rsync服务的欢迎信息,你可以在其中输入任何文本信息,如：


echo "Welcome to use the rsync services! " >> /var/rsyncd.motd 


6、启动rsync


/usr/bin/rsync --daemon  


停止
# /etc/init.d/rsyncd stop






添加到自动启动 
echo "/usr/bin/rsync --daemon" >> /etc/rc.local 


三、更新源服务器配置:192.0.2.20 （rsync客户端）


1、inotify 可以监视的文件系统事件包括：
IN_ACCESS，即文件被访问
IN_MODIFY，文件被 write
IN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE，可写文件被 close
IN_CLOSE_NOWRITE，不可写文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM，文件被移走,如 mv
IN_MOVED_TO，文件被移来，如 mv、cp
IN_CREATE，创建新文件
IN_DELETE，文件被删除，如 rm
IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己
IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己
IN_UNMOUNT，宿主文件系统被 umount
IN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO)
注：上面所说的文件也包括目录。




2、更新源服务器安装inotify-tools
在安装inotify-tools前请先确认你的linux内核是否打到了2.6.13，并且在编译时开启了CONFIG_INOTIFY选项，也可以通过以下命令检测


ls /proc/sys/fs/inotify 


如果有 max_queued_events，max_user_instances，max_user_watches 三项就说明支持


下载软件：3.14 是2010最后一个版本
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  
tar xvf inotify-tools-3.14.tar.gz  
mv inotify-tools-3.14 /opt/
cd /opt/inotify-tools-3.14/
./configure  
make;make install 




安装inotify-tools后会在相关安装目录下生成如下两个文件：
ll /usr/local/bin/
-rwxr-xr-x 1 root root 44327 Oct 10 15:32 inotifywait
-rwxr-xr-x 1 root root 41417 Oct 10 15:32 inotifywatch
则表示安装成功。




注意： 在 源服务器上需要安装，目标服务器上不需要安装inotify。


3、编写rsync监控脚本
vi /root/rsync.sh 


#!/bin/bash  
host1=192.0.2.21
src=/data/www/
des1=web1
user1=root


/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format  '%T %w%f' -e modify,delete,create,attrib ${src} | while read file  
        do
                rsync -avzP --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&
                echo "${file} was rsynced" >> /tmp/rsync.log 2>&1
                echo "---------------------------------------------------------------------------"  
        done


参数介绍：        
-m， 即--monitor，表示始终保持事件监听状态。
-r， 即--recursive，表示递归查询目录。
-q， 即--quiet，表示打印出监控事件。
-e， 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等
--timefmt：指定时间的输出格式
--format：指定变化文件的详细信息




建立认证文件  (rsync客户端认证文件只用加入密码)


echo "root" >> /etc/www1.pwd  
chmod 600 /etc/www1.pwd  
/bin/sh -n /root/rsync.sh  //语法检查  
chmod +x /root/rsync.sh  


启动
/root/rsync.sh
出现这个错误“/usr/local/bin/inotifywait: error while loading shared libraries: libinotifytools.so.0”


解决方法：
32位系统：ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib/libinotifytools.so.0
64位系统：ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0




放后台
nohup sh /root/rsync.sh &  


设置自动启动
echo "nohup sh /root/rsync.sh &" >> /etc/rc.local 






四、同步测试
在更新源服务器上新建一个文件，运行以下的命令，看文件是否可以正常同步，看有无报错信息


rsync -avzP --delete --progress /data/www/ root@192.0.2.21::web1 --password-file=/etc/www1.pwd
 
将要更新的文件提交到更新源服务器中，这样就通过inotify+rsync批量的将更新文件同步到所有的目的服务器中，相当方便快捷






五、inotify相关参数
inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小：


/proc/sys/fs/inotify/max_queued_evnets表示调用inotify_init时分配给inotify instance中可排队的event的数目的大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches表示每个inotify instatnces可监控的大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小。


根据以上在32位或者64位系统都可以执行：


echo 104857600 > /proc/sys/fs/inotify/max_user_watches
echo 'echo 104857600 > /proc/sys/fs/inotify/max_user_watches' >> /etc/rc.local




http://blog.chinaunix.net/uid-25150840-id-5767502.html
==========================================================================
rsync配合crontab的使用
１安装
检查rsync是否安装
没安装的要安装




两个服务器：
192.0.2.20 源服务器  有目录 /upload
192.0.2.21 目标服务器  有目录 /upload




２创建rsyncd.conf文件
服务器端创建rsyncd.conf文件


#vi /etc/rsyncd.conf
#[global]
uid = root
gid = root
use chroot = no
max connections = 10
list = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
hosts allow = 192.0.2.21 
#允许访问的IP，就是客户端ｉｐ
[data] 
#指定发布名，在客户端调用ｒｓｙｎｃ的时候需要用这个
path = /upload 
#发布的路径，就是你要备份下来的目录，这个目录会被备份到客户端
read only = no
ignore errors
auth users = root 
#认证用户为root
secrets file = /etc/sery.pass 
#密码文件


保存退出
//启动rsync服务端
# rsync --daemon --config=/etc/rsyncd.conf


３密码
生成客户端和服务端密码文件


客户端：
# vi /etc/sery_client.pass 
123456


# chmod 600 /etc/sery_client.pass


服务端：
#注意。服务器端有用户名，客户端之后密码，权限都是600，还有前面的conf文件也是
# vi /etc/sery.pass
root:123456 
# chmod 600 /etc/sery.pass


４启动rsync
服务器端启动
# rsync --daemon --config=/etc/rsyncd.conf


５查看监听状态
也是服务器端
# lsof -i:873
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   15187 root    4u  IPv4  83885      0t0  TCP *:rsync (LISTEN)
rsync   15187 root    5u  IPv6  83886      0t0  TCP *:rsync (LISTEN)


# netstat -antp |grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      15187/rsync         
tcp        0      0 :::873                  :::*                    LISTEN      15187/rsync         




６将rsync写进服务端自启动


还是服务器端
# echo "/usr/bin/rsync --daemon --config=/etc/rsyncd.conf" >>/etc/rc.local


７测试同步
客户端执行
# rsync -avzP --delete root@192.0.2.20::data /upload --password-file=/etc/sery_client.pass


1. –a 使用archive模式，保持原有的文件权限
2. –v显示到屏幕上
3. –z传输时压缩数据
4. –P传输进度
5. --delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致
6. data就是之前说的那个发布名，/root/test客户端本地存放路径
7. –password-file 指定密码文件


如需同步硬链接，加-H




8 客户端配置计划调度任务crontab
 在客户端上写进crontab
#vi /root/rsyncd.sh
#!/bin/bash
rsync –avzP –-delete root@192.168.1.64::data /root/test/data –-password-file=/etc/sery_client.pass
#wq


查看是否正常同步。


测试以下项目，同步正常：
创建文件
修改文件
删除文件
创建文件夹
文件夹中创建文件




９／其他
(1)是客户端和服务器端连接时也可以使用ssh链接不用password的方法
自动ssh/scp方法==
A为本地主机(即用于控制其他主机的机器) ;192.0.2.21
B为远程主机(即被控制的机器Server),192.0.2.20


A和B的系统都是Linux
在A上运行命令:
# ssh-keygen -t rsa (连续三次回车,即在本地生成了公钥和私钥,不设置密码)
# ssh root@192.0.2.20 "mkdir .ssh" (需要输入密码)
# scp ~/.ssh/id_rsa.pub root@192.0.2.20:.ssh/id_rsa.pub (需要输入密码)


在B上的命令:
# touch /root/.ssh/authorized_keys (如果已经存在这个文件, 跳过这条)
# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys (将id_rsa.pub的内容追加到authorized_keys 中)


回到A机器:
# ssh root@192.0.2.20 (不需要密码, 登录成功) 




更简单的方法
打开终端执行ssh-keygen，该命令会在~/.ssh/目录下创建id_rsa、id_rsa.pub两个文件，分别为公钥和私钥。
将公钥拷贝到服务器的~/.ssh/authorized_keys文件中就可以了。方法如下：
cat ~/.ssh/id_rsa.pub | ssh -p 22 root@host ‘cat >> ~/.ssh/authorized_keys’，


=====================================================================================================================
三／关于ｒｓｙｎｃ的命令


Rsync的命令格式可以为以下六种：
　　rsync [OPTION]... SRC DEST
　　rsync [OPTION]... SRC [USER@]HOST:DEST
　　rsync [OPTION]... [USER@]HOST:SRC DEST
　　rsync [OPTION]... [USER@]HOST::SRC DEST
　　rsync [OPTION]... SRC [USER@]HOST::DEST
　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
　　对应于以上六种命令格式，rsync有六种不同的工作模式：
　　1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如：rsync -a /data /backup
　　2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src
　　3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data
　　4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av root@172.16.78.192::www /databack
　　5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databack root@172.16.78.192::www
　　6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.78.192/www


rsync参数的具体解释如下：
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息 
关于linux 中怎么利用rsync实现文件增量同步就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。