使用CEPH提供块设备-创新互联

Yum：
http://mirrors.163.com
http://mirrors.aliyun.com
http://mirrors.sohu.com

点击图中CentOS7就可以下载网易的repo文件，将其拷贝到/etc/yum.repos.d/目录下就能在线使用网易的源了。

EPEL: Extra Packages for Enterprise Linux

点击上图中的链接，将会下载一个名为epel-release-latest-7.noarch.rpm的软件包，只要把它安装上，/etc/yum.repos.d/目录下将会出现新的repo文件

使用CEPH提供块设备
1、CEPH默认有一个存储池
[root@node1 ceph_conf]# ceph osd lspools
2、为了能够给客户端提供块设备，需要创建image
3、在默认的池中创建一个10GB大小，名为demo-image的镜像
[root@node1 ceph_conf]# rbd create demo-image --image-feature layering --size 10G
4、另一种创建方法：指定在rbd这个池里创建一个名为image的镜像
[root@node1 ceph_conf]# rbd create rbd/image --image-feature layering --size 10G
5、列出镜像
[root@node1 ceph_conf]# rbd list
6、查看image的详情
[root@node1 ceph_conf]# rbd info image
7、调整image镜像的大小为7GB（体验而已，不推荐减小操作）
[root@node1 ceph_conf]# rbd resize --size 7G image --allow-shrink
8、调整image镜像的大小为15GB
[root@node1 ceph_conf]# rbd resize --size 15G image
[root@node1 ceph_conf]# rbd info image

客户端使用RBD块设备
1、在Client上安装客户端软件包
[root@client ~]# yum install -y ceph-common
2、把配置文件和用户密钥文件拷贝给客户端
[root@node1 ceph_conf]# scp /etc/ceph/ceph.conf 192.168.4.10:/etc/ceph/
[root@node1 ceph_conf]# scp /etc/ceph/ceph.client.admin.keyring 192.168.4.10:/etc/ceph/
3、客户端把CEPH的image镜像作为本地磁盘使用
[root@client ~]# rbd list
[root@client ~]# rbd map image
[root@client ~]# lsblk 多出一个15GB的rbd0
4、使用RBD块设备
[root@client ~]# mkfs.xfs /dev/rbd0
[root@client ~]# mount /dev/rbd0 /mnt/
[root@client ~]# df -h /mnt/
[root@client ~]# echo "hello world" >> /mnt/hi.txt
[root@client ~]# cat /mnt/hi.txt

5、查看image镜像的快照
[root@client ~]# rbd snap ls image
6、为image创建一个名为image-snap1的快照
[root@client ~]# rbd snap create image --snap image-snap1
[root@client ~]# rbd snap ls image
7、模拟误删除
[root@client ~]# rm -f /mnt/hi.txt
8、还原快照，以还原误删除的文件
（1）卸载镜像
[root@client ~]# umount /mnt/
（2）使用image-snap1还原快照
[root@client ~]# rbd snap rollback image --snap image-snap1
（3）挂载镜像，查看是否已还原
[root@client ~]# mount /dev/rbd0 /mnt/
[root@client ~]# ls /mnt/
[root@client ~]# cat /mnt/hi.txt

通过快照创建镜像
1、设置image-snap1为保护状态
[root@client ~]# rbd snap protect image --snap image-snap1
2、使用image的快照image-snap1克隆一个新的image-clone镜像
[root@client ~]# rbd clone image --snap image-snap1 image-clone --image-feature layering
3、查看新镜像与父镜像的关系
[root@client ~]# rbd info image-clone 找到它的parent是rbd/image@image-snap1
br/>找到它的parent是rbd/image@image-snap1
[root@client ~]# rbd flatten image-clone
[root@client ~]# rbd info image-clone 此时，它已没有parent

删除挂载
[root@client ~]# rbd showmapped 可以查看到镜像到本地的块设备映射
[root@client ~]# umount /mnt/
[root@client ~]# rbd unmap image 取消映射
[root@client ~]# rbd showmapped
[root@client ~]# lsblk 发现rbd0已经不存在了

删除快照
[root@client ~]# rbd snap ls image 列出image的快照
[root@client ~]# rbd snap unprotect image --snap image-snap1
[root@client ~]# rbd snap rm image --snap image-snap1

删除镜像
[root@client ~]# rbd rm image
[root@client ~]# rbd list

安装KVM虚拟机，磁盘存储在CEPH集群上
1、将物理主机设置成为CEPH客户端
[root@room8pc16 ~]# yum install -y ceph-common
[root@room8pc16 ~]# scp 192.168.4.1:/etc/ceph/ceph.conf /etc/ceph/
[root@room8pc16 ~]# scp 192.168.4.1:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
2、新建一个名为vm1-image的镜像，作为KVM虚拟机的磁盘
[root@room8pc16 ~]# rbd create vm1-image --image-feature layering --size 10G
3、查看镜像信息
[root@room8pc16 ~]# rbd info vm1-image
[root@room8pc16 ~]# qemu-img info rbd:rbd/vm1-image
4、在virt-manager图形界面中，创建新的虚拟机，名为rhel7-ceph2，按正常步骤创建即可。当虚拟机创建完成后，将会启动，此时，点击强制关机。
5、KVM虚拟机在使用CEPH的时候，需要认证，我们可以创建一个secret（相当于通行证）
（1）在物理主机上创建一临时文件
[root@room8pc16 ~]# vim /tmp/secret.xml


client.admin secret


（2）利用临时文件生成secret通行证信息
[root@room8pc16 ~]# virsh secret-list 查看secret
[root@room8pc16 ~]# virsh secret-define --file /tmp/secret.xml
[root@room8pc16 ~]# virsh secret-list 已经生成secret
6、将kvm的secret和ceph的管理员用户client.admin进行关联
（1）查看管理员的keyring
[root@room8pc16 ~]# cat /etc/ceph/ceph.client.admin.keyring
（2）关联secret和keyring
[root@room8pc16 ~]# virsh secret-set-value --secret f59c54be-d479-41a6-a09c-cf2f7ffc57cb --base64 AQDaDSpboImwIBAAzX800q+H0BCNq9xq2xQaJA==

7、导出rhel7-ceph2的xml文件
[root@room8pc16 ~]# virsh dumpxml rhel7-ceph2 > /tmp/vm.xml
8、修改vm.xml
[root@room8pc16 ~]# vim /tmp/vm.xml
找到以下内容：