2.Rsync备份服务器

Rsync 备份服务器

第一章 Rsync基本概述

rsync 是一款开源的备份工具，可以在不同主机之间进行同步，可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用。
rsync 官方地址： 传送门 http://rsync.samba.org
rsync 监听端口： 873
rsync 运行模式： C/S（Client/Server）

安装rsync服务命令：本地与远程均需安装

yum -y install rsync

第二章 Rsync应用场景

2.1 备份方式：

既然需要备份，那么我们应该了解备份的方式
完全备份
增量备份
假设客户端上有 file1 file2 file3 文件，服务端上有 file1 文件，现要将客户端上的数据备份至服务端
完全备份方式：

增量备份方式：

2.2 备份架构：

1推（上传）

2拉 （下载）

3.大量服务器备份

4.异地备份

第三章 Rsync三种模式

3.1 本地模式

相当于cp

创建测试目录及文件

1.mkdir /data
  cd /data/
2.dd if=/dev/zero of=/data/500M.txt bs=10M count=50#创建大文件
  50+0 records in
  50+0 records out
  524288000 bytes (524 MB) copied, 18.1737 s, 28.8 MB/s
3.ll -h
  total 500M
  -rw-r--r-- 1 root root 500M Jul 16 21:58 500M.txt

测试本地模式

1.mkdir /tmp/test
2.rsync -avz /data/500M.txt /tmp/test/
  sending incremental file list
  500M.txt

  sent 509,968 bytes  received 35 bytes  27,567.73 bytes/sec
  total size is 524,288,000  speedup is 1,028.01
3.ll /tmp/test/
  total 512000
  -rw-r--r-- 1 root root 524288000 Jul 16 21:58 500M.txt

3.2 远程模式

下载

rsync -avz root@172.16.1.31:/tmp/data/ /data/  
#拉取远程服务器目录下所有文件到本地
rsync -avz root@172.16.1.31:/tmp/data /data/    
#拉取远程服务器目录到本地

上传

rsync -avz 1G.txt  root@172.16.1.31:/tmp/data

3.3 后台服务模式

Rsync 借助 SSH 协议同步数据存在的缺陷

1.使用系统用户（不安全）,需要知道root密码

2.使用普通用户（会导致权限不足情况）需要修改用户属主、属组信息（uid gid）

3.守护进程传输方式: rsync 自身非常重要的功能(不使用系统用户，更加安全)

3.4 命令参数解释

rsync #命令
[OPTION...] #选项
SRC... #远程主机模块(不是目录)
[USER@] #远程主机用户(虚拟用户)
HOST:: #远程主机地址
[DEST] #将远程主机模块备份至本地什么位置
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代 rsh 的 shell 程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--partial #断点续传
--delete #让目标目录和源目录数据保持一致

我们一般使用：

rsync -avz 本地上传文件 目标地址(IP):/路径    #上传数据
rsync -avz 目标地址(IP):/路径/目录(文件) 本地路径   #下载数据

第四章 后台服务模式-服务端配置

4.1 安装rsync服务

yum -y install rsync

4.2 修改配置文件

[root@backup /backup]# cat /etc/rsyncd.conf
uid = www 
gid = www 
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

[data]
path = /data

4.3 配置文件解释

注意！以下配置只是为了理解rsync配置参数，配置文件中不要带有#或者中文，不然启动会报错

uid = www # 运行进程的用户
gid = www # 运行进程的用户组
port = 873 # 监听端口
fake super = yes # 无需让 rsync 以 root 身份运行，允许接收文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd # 定义 rsync 服务用户连接认证密码文件路径
[backup] # 定义模块信息
comment = commit # 模块注释信息
path = /backup # 定义接收备份数据目录

4.4 创建用户以及数据目录 并更改属主

useradd -M -s /sbin/nologin -u 666 www 
mkdir /backup /data
chown -R www.www /backup
chown -R www.www /data

4.5 创建虚拟用户密码文件并授权

echo "rsync_backup:oldboy" >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd

4.6 加入开机启动

systemctl start rsyncd  #启动服务
systemctl enable rsyncd #开机自启动

4.7 检查端口和服务

netstat -lntup|grep 873 #查看端口
systemctl status rsyncd #查看服务

第五章 后台服务模式-客户端配置

5.1 安装rsync服务

yum -y install rsync

5.2 配置密码文件及授权

两种方式：
1.使用密码文件

echo "oldboy" >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd
rsync -avzP linux2NB.txt rsync_backup@172.16.1.41::backup --passwordfile=/etc/rsync.passwd

2.使用rsync变量-脚本中使用-推荐这种

export RSYNC_PASSWORD=oldboy

第六章 实战内容

6.1 客户端推送 backup 目录下所有内容至 Rsync 服务端

export RSYNC_PASSWORD=oldboy
rsync -avzP /backup/ rsync_backup@172.16.1.41::backup

6.2 客户端拉取 Rsync 服务端 backup 模块数据至本地客户端的 /backup 目录

export RSYNC_PASSWORD=oldboy
rsync -avzP rsync_backup@172.16.1.41::backup /backup/

6.3 Rsync 实现数据无差异同步

#拉取远端数据：远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avzP --delete rsync_backup@172.16.1.41::backup /data/
#推送数据至远端：本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avzP --delete /data/ rsync_backup@172.16.1.41::backup

6.4 Rsync 的 Limit 限速

#企业案例：防止备份时带宽不够用，影响其他业务
export RSYNC_PASSWORD=oldboy
rsync -avz --bwlimit=10 rsync_backup@172.16.1.41::backup /data/  #限制为10M/S传输数据

第七章 全网备份案例

7.1 客户端需求：

1.客户端 每天凌晨1点在服务器本地打包备份(系统配置文件\日志文件\其他目录\应用配置等文件)
2.客户端备份的数据必须存放至以主机名ip地址当前时间命名的目录中
3.客户端最后通过rsync推送本地已经打包好的备份文件至backup服务器
4.客户端服务器本地保留最近7天的数据，避免浪费磁盘空间

7.2 客户端实现步骤：

7.2.1.创建脚本目录

mkdir -p /server/scripts

7.2.2. 取主机名

hostname

7.2.3 取IP地址

ifconfig eth1|awk 'NR==2{print $2}'

7.2.4 取时间

date +%F

7.2.5 拼接在一起

echo $(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)

7.2.6 创建测试

mkdir -p /backup/$(hostname)_$(ifconfig eth1|awk'NR==2{print $2}')_$(date +%F)

7.2.7 打包并查看压缩包内容

cd / && tar zcvf sys.tar.gz etc/fstab etc/passwd 
tar tf sys.tar.gz

7.2.8 拼接命令

cd / && tar zcf /backup/$(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)/sys.tar.gz etc/fstab etc/passwd
cd / && tar zcf /backup/$(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)/log.tar.gz var/log/messages var/log/secure

7.2.9 创建数据

# cat date.sh 
#!/bin/bash
#生成1-31天的系统和日志压缩包
for i in {1..31}
do
backup="/backup/$(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)"
date -s 2017/07/${i}
mkdir -p ${backup}
cd / && tar zcf ${backup}/sys.tar.gz etc/passwd etc/fstab
cd / && tar zcf ${backup}/log.tar.gz var/log/messages var/log/secure
done

7.2.10 客户端给压缩文件打上指纹

md5sum /backup/$(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)/*.tar.gz >/backup/$(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)/$(date +%F)_md5.txt

7.2.11 删除7天的前文件

find /backup/ -type d -mtime +7|xargs rm -rf

7.2.12 将路径、IP地址、时间命令替换成变量

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
BACKUP=/backup
HOST=$(hostname)
IP=$(ifconfig eth1|awk 'NR==2{print $2}')
DATE=$(date +%F)
DEST=${HOST}_${IP}_${DATE}

7.2.13 注意要点：

注意踩坑
我们的备份脚本最终会以定时任务的形式实现，而定时任务能识别的PATH变量有限，所以最好在脚本里添加PATH变量，或者脚本里命令写绝对路径。

7.3 服务端需求：

1.服务端部署 rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留 6 个月的备份数据,其余的全部删除
注意：所有服务器的备份目录必须都为/backup

7.4 服务端实现步骤

7.4.1 校验客户端发送来的数据文件

find ${BACKUP}/ -name "md5.txt" -type f|xargs md5sum -c >${BACKUP}/check_${DATE}.txt

7.4.2 发送邮件cd

mail -s "rsync_check_${DATE}" wufei008@qq.com <${BACKUP}/check_${DATE}.txt

7.4.3 删除文件

#删除超过 7 天的校验结果文件, 删除超过 180 天的备份数据文件
find ${BACKUP}/ -type f -name "check*" -mtime +7|xargs rm -rf
find ${BACKUP}/ -type d -mtime +180|xargs rm -rf

7.4.4 安装配置mailx

安装mailx服务

yum -y install mailx

修改配置文件

# cat /etc/mail.rc
set from=xxxxxx  #邮箱地址
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=xxxxxx  #邮箱地址
set smtp-auth-password=xxxxxx  #邮箱授权码
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

第八章 配置文件汇总

8.1 客户端生成数据脚本

# cat date.sh 
#!/bin/bash

#生成1-31天的系统和日志压缩包

for i in {1..31}
do
backup="/backup/$(hostname)_$(ifconfig eth1|awk 'NR==2{print $2}')_$(date +%F)"
date -s 2017/07/${i}
mkdir -p ${backup}
cd / && tar -zcf ${backup}/sys.tar.gz etc/passwd etc/fstab
cd / && tar -zcf ${backup}/log.tar.gz var/log/messages var/log/secure
done

8.2 客户端上传脚本

# cat push_rsync.sh 
#!/bin/bash

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
BACKUP=/backup
HOST=$(hostname)
IP=$(ifconfig eth1|awk 'NR==2{print $2}')
DATE=$(date +%F)
DEST=${HOST}_${IP}_${DATE}

#1.创建目录
mkdir -p ${BACKUP}/${DEST}

#2.打包数据
cd / && tar -zcf ${BACKUP}/${DEST}/sys.tar.gz etc/passwd etc/fstab
cd / && tar -zcf ${BACKUP}/${DEST}/log.tar.gz var/log/messages var/log/secure
md5sum ${BACKUP}/${DEST}/*.tar.gz >${BACKUP}/${DEST}/${DATE}_md5.txt

#3.推送
export RSYNC_PASSWORD=oldboy
rsync -avzP ${BACKUP}/ rsync_backup@172.16.1.41::backup

#4.删除7天以前的文件
find ${BACKUP}/ -type d -mtime +7 |xargs rm -rf

8.3 服务器端校验并发送到邮箱脚本

# cat check_rsync.sh 
#!/bin/bash

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
BACKUP=/backup
HOST=$(hostname)
IP=$(ifconfig eth1|awk 'NR==2{print $2}')
DATE=$(date +%F)
DEST=${HOST}_${IP}_${DATE}

#1.检验客户端发送过来的数据
find ${BACKUP}/ -name "md5.txt" -type f|xargs md5sum -c >${BACKUP}/check_${DATE}.txt

#2.邮件发送
mail -s "rsync_check_${DATE}" wufei008@qq.com <${BACKUP}/check_${DATE}.txt

#3.删除超过 7 天的校验结果文件, 删除超过 180 天的备份数据文件
find ${BACKUP}/ -type f -name "check*" -mtime +7|xargs rm -rf
find ${BACKUP}/ -type d -mtime +180|xargs rm -rf

8.4 服务器rsync安装配置脚本

# cat rsync_install.sh 
#!/bin/bash

#1.安装rsync
yum install rsync -y

#2.创建用户
useradd -s /sbin/nologin -M -u 666 www

#3.配置文件
cat > /etc/rsyncd.conf <<EOF
uid = www 
gid = www 
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
read only = false
list = false
ignore errors
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
path = /data
EOF

#4.创建密码
echo "rsync_backup:oldboy" >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd

#5.创建目录
mkdir -p /{data,backup}  
chown -R www:www /{data,backup}

#6.启动
systemctl start rsyncd
systemctl enable rsyncd

#7.检查
ps -ef|grep rsync
ss -lntup|grep 873
netstat -lntup|grep rsync