ceph,k8sp

多台物理机对同一块RBD的挂载

有三台机器，分别称为16，15,13

按照https://github.com/k8sp/ceph-rbd/blob/master/mount-on-linux-machine.md ，首先创建liuqsrbd0，然后map到16上，格式化，挂载到/mnt/rbd0目录
在16上cd /mnt/rbd0 创建一个a.txt 文件
在15上执行同样操作（除了格式化），挂载到/mnt/rbd0之后，在15上cd /mnt/rbd0能看到a.txt ,然后在此目录创建b.txt，则在16上看不到15上创建的b.txt。但是在15看到的a.txt 只是文件名和16上相同，此时在15修改a.txt 内容并不会反映到16上。在16上修改也不会反映到15上。
在16上创建c.txt，则15上同样也看不到。
在16上创建b.txt ,能正常创建，和15上的b.txt 不冲突，互相独立。

多 ceph cluster 在 etcd 共存

ceph cluster 在 etcd 中默认的cluster name 是 ceph
以下示例如果在etcd 创建名为 ceph_tf 的 ceph cluster，可以和其他 ceph cluster 共存在 etcd 中

以在 10.10.10.10.204/205/206 三台物理机创建 3 mons + 3 osds + 1 mds 为例

要点： -e CLUSTER=ceph_tf 指定 cluster name

创建 mons

docker run -d --net=host --name ceph_mon -v /etc/ceph:/etc/ceph -v /var/lib/ceph/:/var/lib/ceph -e CLUSTER=ceph_tf -e KV_TYPE=etcd -e MON_IP=10.10.10.204 -e CEPH_PUBLIC_NETWORK=10.10.10.204/24 ceph/daemon mon
docker run -d --net=host --name ceph_mon -v /etc/ceph:/etc/ceph -v /var/lib/ceph/:/var/lib/ceph -e CLUSTER=ceph_tf -e KV_TYPE=etcd -e MON_IP=10.10.10.205 -e CEPH_PUBLIC_NETWORK=10.10.10.205/24 ceph/daemon mon
docker run -d --net=host --name ceph_mon -v /etc/ceph:/etc/ceph -v /var/lib/ceph/:/var/lib/ceph -e CLUSTER=ceph_tf -e KV_TYPE=etcd -e MON_IP=10.10.10.206 -e CEPH_PUBLIC_NETWORK=10.10.10.206/24 ceph/daemon mon

创建 osds

docker run -d --pid=host --net=host --privileged=true --name ceph_osd_sdb -v /dev:/dev  -e CLUSTER=ceph_tf -e OSD_TYPE=disk -e KV_TYPE=etcd -e OSD_FORCE_ZAP=1 -e OSD_DEVICE=/dev/sdb ceph/daemon osd

注意，如果碰到 ceph_disk.main.Error: Error: No cluster conf found in /etc/ceph with fsid 00000000-0000-0000-0000-000000000000 错误，解决方案：
k8sp/k8s-tensorflow#6

发现 /dev/sdb1 下存在 ceph_fsid 的文件，里面有 00000000-0000-0000-0000-000000000000 字符串，导致不能正确获取 ceph_tf 的 fsid
清空 /dev/sdb1 ,无效
手工修改 cepf_fsid 内容为正确的 ceph_tf 对应的fsid，保存，重启 osd daemon，问题解决。

创建 mds

docker run -d --net=host -e CLUSTER=ceph_tf -e CEPHFS_CREATE=1 -e KV_TYPE=etcd ceph/daemon mds

查看 cluster 信息

docker exec -it ceph_mon ceph -s --cluster ceph_tf

k8sp / ceph Goto Github PK

ceph's People

Contributors

Stargazers

Watchers

Forkers

ceph's Issues

多台物理机对同一块RBD的挂载

多 ceph cluster 在 etcd 共存

创建 mons

创建 osds

创建 mds

查看 cluster 信息

Recommend Projects

React

Vue.js

Typescript

TensorFlow

Django

Laravel

D3

Recommend Topics

javascript

web

server

Machine learning

Visualization

Game

Recommend Org

Facebook

Microsoft

Google

Alibaba

D3

Tencent