正文

分布式存储ceph(Luminous/Nautilus版)安装教程

toobug
toobugV管理员/2.46 W阅读/0评论
0422
此篇文章发布距今已超过1454天，您需要注意文章的内容或图片是否可用！

一、节点规划

| 节点 | IP地址 | 主机名 | 挂载磁盘设备 |
| – | – | – |
|deploy/mon/mgr/mds | 192.168.207.244 | node1 | /dev/sdb |
|osd | 192.168.207.246 | node2 | /dev/sdb |
|osd | 192.168.207.247 | node3 | /dev/sdb |
|osd | 192.168.207.248 | node4 | /dev/sdb |

二、每台机器通用配置

1、配置主机名

在node1上执行：

hostnamectl set-hostname  node1

在node2上执行：

hostnamectl set-hostname  node2

在node3上执行：

hostnamectl set-hostname  node3

在node4上执行：

hostnamectl set-hostname  node4

2、配置hosts文件

cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.207.244 node1
192.168.207.246 node2
192.168.207.247 node3
192.168.207.248 node4
EOF

3、关闭selinux和firewalld

setenforce 0
sed -i  "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config
systemctl stop firewalld
systemctl disable firewalld
systemctl stop iptables
systemctl disable iptables

4、配置YUM源

sudo yum install -y yum-utils && sudo yum install --nogpgcheck -y epel-release

接下来再配置Ceph的阿里yum源，选择安装版本为luminous：

cat >/etc/yum.repos.d/ceph.repo<<EOF
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
priority=1

[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS
enabled=0
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

EOF

如果要安装nautilus版本请使用如下命令安装yum源:

cat >/etc/yum.repos.d/ceph.repo<<EOF
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
gpgcheck=0
priority=1

[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=0
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

EOF

5、时间同步配置

yum install -y ntpdate

为保证节点的时间请保持一致,在crontab中配置：

(echo "*/5 * * * * /usr/sbin/ntpdate -u cn.pool.ntp.org") | crontab
crontab -l
systemctl restart crond

二、在deploy部署机器安装ceph-deploy

1、配置机器免登录

node1配置免密码登录其他节点:

ssh-keygen #生成密钥对
ssh-copy-id node2 #发送公钥
ssh-copy-id node3 #发送公钥
ssh-copy-id node4 #发送公钥
ssh node2 #测试登录

2、部署机器node1节点上，安装ceph-deploy

yum -y install python2-pip ceph ceph-deploy
ceph-deploy --version
2.0.1

三、在deploy部署机器创建Ceph集群

1、创建集群配置目录

Ceph-deploy部署过程中会生成一些集群初始化配置文件和key，后续扩容的时候也需要使用到，因此，首先在node1上创建一个单独的目录，后续操作都进入到该目录中进行操作，以创建的/opt/ceph-cluster为例。

在node1上创建目录：

mkdir -p /opt/ceph-cluster && cd /opt/ceph-cluster

2、创建一个Ceph集群

创建一个Ceph cluster集群(也就是创建mon节点)，并指定mon节点名node1,可以指定cluster-network（集群内部通讯）和public-network（外部访问Ceph集群）

ceph-deploy new node1

说明：ceph-deploy工具的new命令会部署一个默认名称为ceph的新的ceph集群

通过上面的输出可以看到，new初始化集群过程中会生成ssh key密钥，ceph.conf配置文件，ceph.mon.keyring认证管理密钥，配置cluster network和pubic network

3、节点安装

使用ceph-deploy工具将Ceph软件的二进制包安装到所有的节点上，在管理节点（node1）上执行以下命令:

ceph-deploy install --release luminous --no-adjust-repos node2 node3 node4

或安装nautilus版本：

ceph-deploy install --release nautilus --no-adjust-repos node2 node3 node4

注：该安装操作相当于在每台机器上执行命令：yum -y install ceph ceph-radosgw

然后可在每台机器上检查安装的ceph版本号：

ceph -v

四、在deploy部署机器创建第一个monitor

1、在管理节点上（node1）创建第一个monitor（监控）,部署初始监视器并收集密钥，执行以下命令：

ceph-deploy --overwrite-conf mon create-initial

完成该过程后，本地目录应具有以下密钥环：

[root@localhost ~]# tree ceph-cluster/
my-cluster/
├── ceph.bootstrap-mds.keyring
├── ceph.bootstrap-mgr.keyring
├── ceph.bootstrap-osd.keyring
├── ceph.bootstrap-rgw.keyring
├── ceph.client.admin.keyring
├── ceph.conf
├── ceph-deploy-ceph.log
└── ceph.mon.keyring

0 directories, 8 files
[root@localhost ~]#

2、使用ceph-deploy将配置文件和管理密钥复制到您的管理节点和Ceph节点，以便您可以使用ceph CLI，而无需在每次执行命令时指定监控地址和ceph.client.admin.keyring，命令如下:

ceph-deploy admin node1 node2 node3 node4

创建完mon之后，node1节点就成为了mon角色，此时机器上已经开启了对6789的监听。

2、查看集群的状态:

[root@localhost ceph-cluster]# ceph -s
  cluster:
    id:     27aabfa4-46ba-42ed-b0c8-a8ddb7ac71e3
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum node1
    mgr: no daemons active
    osd: 0 osds: 0 up, 0 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0  objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

五、在deploy部署机器创建一个对象存储设备（osd）,并加入ceph集群中

1、列出node2,node3,node4上的磁盘，执行命令：

[root@node1 ceph-cluster]# ceph-deploy disk list node2 node3 node4
[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
[ceph_deploy.cli][INFO  ] Invoked (2.0.1): /usr/bin/ceph-deploy disk list node2 node3 node4
[ceph_deploy.cli][INFO  ] ceph-deploy options:
[ceph_deploy.cli][INFO  ]  username                      : None
[ceph_deploy.cli][INFO  ]  verbose                       : False
[ceph_deploy.cli][INFO  ]  debug                         : False
[ceph_deploy.cli][INFO  ]  overwrite_conf                : False
[ceph_deploy.cli][INFO  ]  subcommand                    : list
[ceph_deploy.cli][INFO  ]  quiet                         : False
[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f7fbb54e998>
[ceph_deploy.cli][INFO  ]  cluster                       : ceph
[ceph_deploy.cli][INFO  ]  host                          : ['node2', 'node3', 'node4']
[ceph_deploy.cli][INFO  ]  func                          : <function disk at 0x7f7fbb79f8c0>
[ceph_deploy.cli][INFO  ]  ceph_conf                     : None
[ceph_deploy.cli][INFO  ]  default_release               : False
[node2][DEBUG ] connected to host: node2
[node2][DEBUG ] detect platform information from remote host
[node2][DEBUG ] detect machine type
[node2][DEBUG ] find the location of an executable
[node2][INFO  ] Running command: fdisk -l
[node2][INFO  ] Disk /dev/sda: 53.7 GB, 53687091200 bytes, 104857600 sectors
[node2][INFO  ] Disk /dev/sdb: 53.7 GB, 53687091200 bytes, 104857600 sectors
[node2][INFO  ] Disk /dev/mapper/system-root: 48.8 GB, 48788144128 bytes, 95289344 sectors
[node2][INFO  ] Disk /dev/mapper/system-swap: 4160 MB, 4160749568 bytes, 8126464 sectors
[node2][INFO  ] Disk /dev/mapper/ceph--9b46e7be--ffad--40fc--9e8f--377af3f063d4-osd--block--e2c31fdc--58b4--4ef8--81ea--a8c33b4a4c6b: 53.7 GB, 53682896896 bytes, 104849408 sectors
[node3][DEBUG ] connected to host: node3
[node3][DEBUG ] detect platform information from remote host
[node3][DEBUG ] detect machine type
[node3][DEBUG ] find the location of an executable
[node3][INFO  ] Running command: fdisk -l
[node3][INFO  ] Disk /dev/sda: 53.7 GB, 53687091200 bytes, 104857600 sectors
[node3][INFO  ] Disk /dev/sdb: 53.7 GB, 53687091200 bytes, 104857600 sectors
[node3][INFO  ] Disk /dev/mapper/system-root: 48.8 GB, 48788144128 bytes, 95289344 sectors
[node3][INFO  ] Disk /dev/mapper/system-swap: 4160 MB, 4160749568 bytes, 8126464 sectors
[node3][INFO  ] Disk /dev/mapper/ceph--3d89df74--bbdf--4ab1--a495--65584e294f73-osd--block--ae9226e9--625d--4899--9587--0d95d0b5dea0: 53.7 GB, 53682896896 bytes, 104849408 sectors

注：对于fdisk -l输出为英文的系统显示正常，而对于输出为中文的系统无法显示Disk /dev/*的信息。

2 为创建osd盘做前期准备，执行ceph-deploy工具的disk zap命令

下面这个命令会销毁磁盘中已存在的分区表和数据，请认真选择好用作osd的磁盘：

ceph-deploy disk zap node2 /dev/sdb
ceph-deploy disk zap node3 /dev/sdb
ceph-deploy disk zap node4 /dev/sdb

3 开始创建osd

ceph-deploy --overwrite-conf osd create node2 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node3 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node4 --data /dev/sdb

这条命令会做以下步骤：
1 擦除每个磁盘原有的数据，并创建文件系统（默认是xfs）
2 将每个磁盘的划分为两个区，第一个分区作为数据分区，第二个分区作为日志分区

再次查看集群的健康状态

[root@localhost ceph-cluster]# ceph status
  cluster:
    id:     4e814e0c-f904-44f0-a5d6-efd32d93238b
    health: HEALTH_WARN
            no active mgr

  services:
    mon: 1 daemons, quorum node1
    mgr: no daemons active
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0  objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

查看ceph集群下的所有OSD

[root@localhost ceph-cluster]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME      STATUS REWEIGHT PRI-AFF
-1       0.02939 root default
-3       0.00980     host node2
 0   hdd 0.00980         osd.0      up  1.00000 1.00000
-5       0.00980     host node3
 1   hdd 0.00980         osd.1      up  1.00000 1.00000
-7       0.00980     host node4
 2   hdd 0.00980         osd.2      up  1.00000 1.00000
[root@localhost ceph-cluster]# ceph osd stat
3 osds: 3 up, 3 in; epoch: e15
[root@localhost ceph-cluster]#

六、在deploy部署机器上进行Mgr管理端安装与开启

1 创建mgr服务

ceph-deploy mgr create node1

查看mgr所支持的模块

ceph mgr module ls

2 开启dashboard模块

(1) 安装并开启dashboard模块:

  • luminous版本

对于luminous版本可直接启用模块即可：

ceph mgr module enable dashboard     //启用模块
  • nautilus版本

对于nautilus版本来说需要先安装并配置，命令如下

yum install -y ceph-mgr-dashboard      //安装模块
ceph mgr module ls | grep dashboard     //查看模块
ceph mgr module enable dashboard       //启用模块
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0        //设置监听IP
ceph config set mgr mgr/dashboard/server_port 7000           //设置监听端口
ceph config set mgr mgr/dashboard/ssl false                 //关闭ssl
ceph dashboard ac-user-create admin 123321 administrator  //添加用户

(2)查看登陆的url

ceph mgr services
  • luminous版本的UI界面

分布式存储ceph(Luminous/Nautilus版)安装教程

  • nautilus版本的UI界面

分布式存储ceph(Luminous/Nautilus版)安装教程

七、ceph块存储客户端配置

1、在deploy部署机器上执行：

(1)、创建ceph块客户端用户名和认证密钥：

[root@node1 ceph-cluster]# ceph auth get-or-create client.rbd mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=rbd' | tee ./ceph.client.rbd.keyring
[client.rbd]
        key = AQAZ/mpfM4NJAxAA34fBDIcadWwgN8El5L79Uw==
[root@node1 ceph-cluster]# ceph auth get client.rbd
exported keyring for client.rbd
[client.rbd]
        key = AQAZ/mpfM4NJAxAA34fBDIcadWwgN8El5L79Uw==
        caps mon = "allow r"
        caps osd = "allow class-read object_prefix rbd_children, allow rwx pool=rbd"

(2)、将密钥文件和配置文件拷贝到客户端

这里加上客户端IP为：172.17.185.94，命令如下：

scp ceph.client.rbd.keyring /etc/ceph/ceph.conf root@172.17.185.94:/etc/ceph

2、在ceph客户端机器上执行：

此部分可参考官方文档：http://docs.ceph.org.cn/rbd/rados-rbd-cmds/

(1)、检查客户端是否符合块设备环境要求

[root@localhost ~]# uname -r
3.10.0-862.el7.x86_64
[root@localhost ~]# modprobe rbd
[root@localhost ~]# echo $?
0

(2)、安装ceph客户端

[root@localhost ~]# yum install -y ceph

注意：需要配置可用的ceph的yum数据源

(3)、测试密钥连接集群

[root@localhost ~]# ceph -s --name client.rbd
  cluster:
    id:     5d388f32-251d-4727-b320-5fd11f01e4b0
    health: HEALTH_WARN
            Degraded data redundancy: 64 pgs undersized
            OSD count 2 < osd_pool_default_size 3

  services:
    mon: 1 daemons, quorum node1 (age 17h)
    mgr: node1(active, since 17h)
    osd: 2 osds: 2 up (since 17h), 2 in (since 17h)

  data:
    pools:   1 pools, 64 pgs
    objects: 0 objects, 0 B
    usage:   2.0 GiB used, 18 GiB / 20 GiB avail
    pgs:     64 active+undersized

(4)、创建rbd池

[root@localhost ~]# ceph osd lspools
[root@localhost ~]# ceph osd pool create rbd 128
pool 'rbd' created
[root@localhost ~]# ceph osd lspools
1 rbd
[root@localhost ~]#

(5)、客户端创建映像

创建一个大小为 10GB 、名为 rbd1 的映像：

[root@localhost ~]# rbd create rbd1 --size 10240 --image-feature layering  --name client.rbd

说明：
(1)可以使用命令# rbd help create查看rbd create命令的各个参数说明；
(2)这里注意使用–image-feature将不支持的特性禁用掉，否在在Centos3.10内核的系统上执行下面的rbd map命令时会报错;

(6)、查看创建的映像

[root@localhost ~]# rbd ls -p rbd --name client.rbd
rbd1
[root@localhost ~]# rbd list --name client.rbd
rbd1
[root@localhost ~]# rbd --image rbd1 info --name client.rbd
rbd image 'rbd1':
        size 10 GiB in 2560 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 10de9305074a
        block_name_prefix: rbd_data.10de9305074a
        format: 2
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
        op_features:
        flags:
        create_timestamp: Tue Sep 22 11:49:44 2020
        access_timestamp: Tue Sep 22 11:49:44 2020
        modify_timestamp: Tue Sep 22 11:49:44 2020

(7)、将映像映射为设备

将映像rbd1映射为块设备：

[root@localhost ~]# rbd map --image rbd1 --name client.rbd
/dev/rbd0

列出所有可用块设备的信息：

[root@localhost ~]# # lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
fd0               2:0    1    4K  0 disk
sda               8:0    0   20G  0 disk
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   10G  0 disk
sr0              11:0    1  942M  0 rom
rbd0            252:0    0   10G  0 disk

(8)、创建文件系统，并挂载

查看挂载的设备信息：

[root@localhost ~]# fdisk -l /dev/rbd0

格式化设备为xfs文件系统：

[root@localhost ~]# mkfs.xfs /dev/rbd0

创建要挂载的文件目录：

[root@localhost ~]# mkdir /ceph-disk

执行挂载:

[root@localhost ~]# mount /dev/rbd0 /ceph-disk

查看挂载信息：

[root@localhost ~]# df -h /ceph-disk

(9)、制作成服务开机自动挂载

[root@localhost ~]# cat /usr/local/bin/rbd-mount
#!/bin/bash

# Pool name where block device image is stored  # 池名称，若不同请修改
export poolname=rbd

# Disk image name # 块名称，若不同请修改
export rbdimage=rbd1
 
# Mounted Directory    # 挂载的目录，若不同请修改
export mountpoint=/ceph-disk
 
# Image mount/unmount and pool are passed from the systemd service as arguments
# Are we are mounting or unmounting
if [ "$1" == "m" ]; then
   modprobe rbd
   rbd feature disable $rbdimage object-map fast-diff deep-flatten
   rbd map $rbdimage --id rbd --keyring /etc/ceph/ceph.client.rbd.keyring
   mkdir -p $mountpoint
   mount /dev/rbd/$poolname/$rbdimage $mountpoint
fi
if [ "$1" == "u" ]; then
   umount $mountpoint
   rbd unmap /dev/rbd/$poolname/$rbdimage
fi
[root@localhost ~]# chmod +x /usr/local/bin/rbd-mount

[root@localhost ~]# cat /etc/systemd/system/rbd-mount.service
[Unit]
Description=RADOS block device mapping for $rbdimage in pool $poolname
Conflicts=shutdown.target
Wants=network-online.target
After=NetworkManager-wait-online.service
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/local/bin/rbd-mount m
ExecStop=/usr/local/bin/rbd-mount u
[Install]
WantedBy=multi-user.target
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl enable rbd-mount.service
[root@localhost ~]# reboot

八、ceph文件系统cephfs安装与配置

1、mds服务安装

(1)、登陆node1，安装 ceph-mds 软件包

[root@node1 ~]# yum -y install ceph-mds

(2)、登陆node1，部署节点操作

[root@node1 ~]# cd /opt/ceph-cluster/
[root@node1 ceph]# ceph-deploy mds create node1

(3)、同步配置文件和 key

[root@node1 ceph]# ceph-deploy admin  node1

(4)、创建两个池，一个名为 cephfs-data，用来存储数据，一个名为 cephfs-metadata ，用来存储元数据

[root@node1 ceph]# ceph osd pool create cephfs-data 128
[root@node1 ceph]# ceph osd pool create cephfs-metadata 32

说明：128表示 PG 的数目是128。PG是归置组，文件存到 PG 中，PG 存在池中

(5)、创建名为 cephfs1 的文件系统

[root@node1 ceph]# ceph fs new cephfs1 cephfs-metadata cephfs-data

(6)、查看状态

[root@node1 ceph]# ceph mds stat

(7)、查看文件系统信息

[root@node1 ceph]# ceph fs ls

2、客户端挂载使用

(1)、在客户端上创建挂载目录 cephfs

# mkdir /cephfs

(2)、挂载

# mount -t ceph 192.168.207.244:6789:/ /cephfs -o name=admin,secret=AQAZ/mpfM4NJAxAA34fBDIcadWwgN8El5L79Uw==

(3)、查看挂载情况

# df -h

(4)、查看集群空闲空间统计数据

# ceph df

附录：
【1】 ceph运维常用命令参考：https://blog.csdn.net/don_chiang709/article/details/93620825

本文标题：分布式存储ceph(Luminous/Nautilus版)安装教程
本文链接：https://blog.quwenai.cn/post/8418.html
作者授权：除特别说明外，本文由 toobug 原创编译并授权 TOOBUG信息安全网 刊载发布。
版权声明：本文不使用任何协议授权，您可以任何形式自由转载或使用。

本文链接：https://blog.quwenai.cn/post/8418.html 

分享到：
本站所有内容均来自于互联网收集及用户投稿,如果想系统学习相关知识 建议在本博客【自学成才】栏目选择合适的课程进行系统化学习
-- 展开阅读全文 --