7255人阅读
分布式存储
启动一个ceph 进程
启动mon进程
service ceph start
启动msd进程
service ceph start mds.node1
启动osd进程
service ceph start osd.0
查看机器的监控状态
[root@client ~]# ceph health
查看ceph的实时运行状态
[root@client ~]# ceph -w
cluster bef7-4d8f-21f17
health HEALTH_OK
monmap e2: 3 mons at {node1=10.240.240.211:6789/0,node2=10.240.240.212:6789/0,node3=10.240.240.213:6789/0}, election epoch 294, quorum 0,1,2 node1,node2,node3
mdsmap e95: 1/1/1 up {0=node2=up:active}, 1 up:standby
osdmap e88: 3 osds: 3 up, 3 in
pgmap v pgs, 4 pools, 10003 MB data, 2520 objects
23617 MB used, 37792 MB / 61410 MB avail
448 active+clean
00:48:28.756948 mon.0 [INF] pgmap v pgs: 448 active+ 10003 MB data, 23617 MB used, 37792 MB / 61410 MB avail
检查信息状态信息
[root@client ~]# ceph -s
cluster bef7-4d8f-21f17
health HEALTH_OK
monmap e2: 3 mons at {node1=10.240.240.211:6789/0,node2=10.240.240.212:6789/0,node3=10.240.240.213:6789/0}, election epoch 294, quorum 0,1,2 node1,node2,node3
mdsmap e95: 1/1/1 up {0=node2=up:active}, 1 up:standby
osdmap e88: 3 osds: 3 up, 3 in
pgmap v pgs, 4 pools, 10003 MB data, 2520 objects
23617 MB used, 37792 MB / 61410 MB avail
448 active+clean
[root@client ~]#
查看ceph存储空间
[root@client ~]# ceph df
[root@client ~]#
删除一个节点的所有的ceph数据包
[root@node1 ~]# ceph-deploy purge node1
[root@node1 ~]# ceph-deploy purgedata node1
为ceph创建一个admin用户并为admin用户创建一个密钥，把密钥保存到/etc/ceph目录下：
# ceph auth get-or-create client.admin mds ‘allow’ osd ‘allow ’ mon ‘allow ’ & /etc/ceph/ceph.client.admin.keyring
# ceph auth get-or-create client.admin mds ‘allow’ osd ‘allow ’ mon ‘allow ’ -o /etc/ceph/ceph.client.admin.keyring
为osd.0创建一个用户并创建一个key
# ceph auth get-or-create osd.0 mon ‘allow rwx’ osd ‘allow *’ -o /var/lib/ceph/osd/ceph-0/keyring
为mds.node1创建一个用户并创建一个key
# ceph auth get-or-create mds.node1 mon ‘allow rwx’ osd ‘allow ’ mds ‘allow ’ -o /var/lib/ceph/mds/ceph-node1/keyring
查看ceph集群中的认证用户及相关的key
ceph auth list
删除集群中的一个认证用户
ceph auth del osd.0
查看集群的详细配置
[root@node1 ~]# ceph daemon mon.node1 config show | more
查看集群健康状态细节
[root@admin ~]# ceph health detail
HEALTH_WARN 12 12 12 12 pgs stuck unclean
pg 3.3b is stuck inactive since forever, current state down+peering, last acting [1,2]
pg 3.36 is stuck inactive since forever, current state down+peering, last acting [1,2]
pg 3.79 is stuck inactive since forever, current state down+peering, last acting [1,0]
pg 3.5 is stuck inactive since forever, current state down+peering, last acting [1,2]
pg 3.30 is stuck inactive since forever, current state down+peering, last acting [1,2]
pg 3.1a is stuck inactive since forever, current state down+peering, last acting [1,0]
pg 3.2d is stuck inactive since forever, current state down+peering, last acting [1,0]
pg 3.16 is stuck inactive since forever, current state down+peering, last acting [1,2]
查看ceph log日志所在的目录
[root@node1 ~]# ceph-conf –name mon.node1 –show-config-value log_file
/var/log/ceph/ceph-mon.node1.log
查看mon的状态信息
[root@client ~]# ceph mon stat
e2: 3 mons at {node1=10.240.240.211:6789/0,node2=10.240.240.212:6789/0,node3=10.240.240.213:6789/0}, election epoch 294, quorum 0,1,2 node1,node2,node3
查看mon的选举状态
[root@client ~]# ceph quorum_status
{“election_epoch”:294,”quorum”:[0,1,2],”quorum_names”:[“node1”,”node2”,”node3”],”quorum_leader_name”:”node1”,”monmap”:{“epoch”:2,”fsid”:”bef7-4d8f-21f17”,”modified”:” 18:43:51.671106”,”created”:”0.000000”,”mons”:[{“rank”:0,”name”:”node1”,”addr”:”10.240.240.211:6789\/0”},{“rank”:1,”name”:”node2”,”addr”:”10.240.240.212:6789\/0”},{“rank”:2,”name”:”node3”,”addr”:”10.240.240.213:6789\/0”}]}}
查看mon的映射信息
[root@client ~]# ceph mon dump
dumped monmap epoch 2
fsid bef7-4d8f-21f17
last_changed
18:43:51.671106
created 0.000000
0: 10.240.240.211:6789/0 mon.node1
1: 10.240.240.212:6789/0 mon.node2
2: 10.240.240.213:6789/0 mon.node3
删除一个mon节点
[root@node1 ~]# ceph mon remove node1
removed mon.node1 at 10.39.101.1:6789/0, there are now 3 monitors
18:11:04.f4d16bfd700
0 monclient: hunting for new mon
获得一个正在运行的mon map，并保存在1.txt文件中
[root@node3 ~]# ceph mon getmap -o 1.txt
got monmap epoch 6
查看上面获得的map
[root@node3 ~]#
monmaptool –print 1.txt
monmaptool: monmap file 1.txt
fsid a8-41b8-8b45-c93a8730525e
last_changed
18:22:51.927205
created 0.000000
0: 10.39.101.1:6789/0 mon.node1
1: 10.39.101.2:6789/0 mon.node2
2: 10.39.101.3:6789/0 mon.node3
[root@node3 ~]#
把上面的mon map注入新加入的节点
ceph-mon -i node4 –inject-monmap 1.txt
查看mon的amin socket
root@node1 ~]# ceph-conf –name mon.node1 –show-config-value admin_socket
/var/run/ceph/ceph-mon.node1.asok
查看mon的详细状态
[root@node1 ~]# ceph daemon mon.node1
mon_status
{ “name”: “node1”,
“rank”: 0,
“state”: “leader”,
“election_epoch”: 96,
“quorum”: [
“outside_quorum”: [],
“extra_probe_peers”: [
“10.39.101.4:6789\/0”],
“sync_provider”: [],
“monmap”: { “epoch”: 6,
“fsid”: “a8-41b8-8b45-c93a8730525e”,
“modified”: “ 18:22:51.927205”,
“created”: “0.000000”,
“mons”: [
{ “rank”: 0,
“name”: “node1”,
“addr”: “10.39.101.1:6789\/0”},
{ “rank”: 1,
“name”: “node2”,
“addr”: “10.39.101.2:6789\/0”},
{ “rank”: 2,
“name”: “node3”,
“addr”: “10.39.101.3:6789\/0”}]}
删除一个mon节点
[root@os-node1 ~]# ceph mon remove os-node1
removed mon.os-node1 at 10.40.10.64:6789/0, there are now 3 monitors
查看msd状态
[root@client ~]# ceph mds stat
e95: 1/1/1 up {0=node2=up:active}, 1 up:standby
查看msd的映射信息
[root@client ~]# ceph mds dump
dumped mdsmap epoch 95
18:41:57.686801
00:24:11.749967
tableserver
session_timeout 60
session_autoclose
max_file_size
last_failure
last_failure_osd_epoch
compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap}
data_pools
metadata_pool
inline_data
10.240.240.212: ‘node2’ mds.0.12 up:active seq 30
10.240.240.211: ‘node1’ mds.-1.0 up:standby seq 38
删除一个mds节点
[root@node1 ~]# ceph
mds rm 0 mds.node1
mds gid 0 dne
查看ceph osd运行状态
[root@client ~]# ceph osd stat
osdmap e88: 3 osds: 3 up, 3 in
查看osd映射信息
[root@client ~]# ceph osd dump
fsid bef7-4d8f-21f17
18:41:57.687442
00:46:27.179793
pool 0 ‘data’ replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 owner 0 flags hashpspool crash_replay_interval 45 stripe_width 0
pool 1 ‘metadata’ replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 owner 0 flags hashpspool stripe_width 0
pool 2 ‘rbd’ replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 owner 0 flags hashpspool stripe_width 0
pool 3 ‘jiayuan’ replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 256 pgp_num 256 last_change 73 owner 0 flags hashpspool stripe_width 0
weight 1 up_from 65 up_thru 75 down_at 64 last_clean_interval [53,55) 10.240.240.211:.240.240.211:.240.240.211:.240.240.211: exists,up 8a24ad16-a483-4bac-a56a-6ed44ab74ff0
weight 1 up_from 59 up_thru 74 down_at 58 last_clean_interval [31,55) 10.240.240.212:.240.240.212:.240.240.212:.240.240.212: exists,up 3-4203-ba57-4b1dabb89339
weight 1 up_from 62 up_thru 74 down_at 61 last_clean_interval [39,55) 10.240.240.213:.240.240.213:.240.240.213:.240.240.213: exists,up fd7-4fb8-8c82-09eb885f0e58
[root@client ~]#
查看osd的目录树
[root@client ~]# ceph osd tree
up/down reweight
root default
host node1
host node2
host node3
down掉一个osd硬盘
[root@node1 ~]# ceph osd down 0
#down掉osd.0节点
在集群中删除一个osd硬盘
[root@node4 ~]# ceph osd rm 0
removed osd.0
在集群中删除一个osd 硬盘 crush map
[root@node1 ~]# ceph osd crush rm osd.0
在集群中删除一个osd的host节点
[root@node1 ~]# ceph osd crush rm node1
removed item id -2 name ‘node1’ from crush map
查看最大osd的个数
[root@node1 ~]# ceph osd getmaxosd
max_osd = 4 in epoch 514
#默认最大是4个osd节点
设置最大的osd的个数（当扩大osd节点的时候必须扩大这个值）
[root@node1 ~]# ceph osd setmaxosd 10
设置osd crush的权重为1.0
ceph osd crush set {id} {weight} [{loc1} [{loc2} …]]
[root@admin ~]# ceph osd crush set 3 3.0 host=node4
set item id 3 name ‘osd.3’ weight 3 at location {host=node4} to crush map
[root@admin ~]# ceph osd tree
up/down reweight
root default
host node1
host node2
host node3
host node4
或者用下面的方式
[root@admin ~]# ceph osd crush reweight osd.3 1.0
reweighted item id 3 name ‘osd.3’ to 1 in crush map
[root@admin ~]# ceph osd tree
up/down reweight
root default
host node1
host node2
host node3
host node4
设置osd的权重
[root@admin ~]# ceph osd reweight 3 0.5
reweighted osd.3 to 0.5 (8327682)
[root@admin ~]# ceph osd tree
up/down reweight
root default
host node1
host node2
host node3
host node4
把一个osd节点逐出集群
[root@admin ~]# ceph osd out osd.3
marked out osd.3.
[root@admin ~]# ceph osd tree
up/down reweight
root default
host node1
host node2
host node3
host node4
# osd.3的reweight变为0了就不再分配数据，但是设备还是存活的
把逐出的osd加入集群
[root@admin ~]# ceph osd in osd.3
marked in osd.3.
[root@admin ~]# ceph osd tree
up/down reweight
root default
host node1
host node2
host node3
host node4
暂停osd （暂停后整个集群不再接收数据）
[root@admin ~]# ceph osd pause
set pauserd,pausewr
再次开启osd （开启后再次接收数据）
[root@admin ~]# ceph osd unpause
unset pauserd,pausewr
查看一个集群osd.2参数的配置
ceph –admin-daemon /var/run/ceph/ceph-osd.2.asok config show | less
查看pg组的映射信息
[root@client ~]# ceph pg dump
dumped all in format plain
version 1164
00:48:29.754714
last_osdmap_epoch 88
last_pg_scan 73
full_ratio 0.95
nearfull_ratio 0.85
pg_stat objects mip
disklog state
state_stamp
up_primary
acting_primary
last_scrub
scrub_stamp
last_deep_scrudeep_scrub_stamp
active+clean
00:30:59.193479
22:25:25.282347
19:52:08.521434
active+clean
00:15:38.675465
00:15:04.295637
00:15:04.295637
active+clean
00:10:48.583702
22:29:13.701625
19:52:08.845944
active+clean
00:10:48.596050
22:28:03.570074
19:52:08.655292
active+clean
00:26:22.803186
22:26:41.317403
19:52:08.518978
active+clean
00:16:57.548803
00:15:19.101314
00:15:19.101314
active+clean
00:10:58.750476
22:27:44.604084
19:52:08.864240
active+clean
00:10:48.939358
22:27:35.991845
19:52:08.646470
active+clean
00:23:57.348657
22:25:24.279912
19:52:08.514526
active+clean
00:15:39.554742
00:15:04.296812
00:15:04.296812
active+clean
00:10:48.592171
22:29:14.702209
19:52:08.855382
active+clean
00:10:48.938971
22:27:36.971820
19:52:08.650070
active+clean
00:24:55.751252
22:26:34.829858
19:52:08.513798
active+clean
00:17:08.416756
00:15:19.406120
00:15:19.406120
active+clean
00:10:58.784789
22:29:10.673549
19:52:08.834644
active+clean
00:10:58.738782
22:26:29.457318
19:52:08.642018
active+clean
00:28:45.021993
22:25:22.275783
19:52:08.510502
active+clean
00:16:13.222339
00:15:05.446639
00:15:05.446639
active+clean
00:10:58.783103
22:29:06.688363
19:52:08.827342
active+clean
00:10:58.857283
22:27:30.017050
19:52:08.644820
active+clean
00:28:47.002342
22:25:21.273679
19:52:08.508654
active+clean
00:16:13.255056
00:15:05.447461
00:15:05.447461
active+clean
00:10:48.935872
22:28:35.095977
19:52:08.844571
active+clean
00:10:48.597540
22:28:01.519137
19:52:08.633781
active+clean
00:25:30.757843
22:26:33.823947
19:52:08.504628
下面部分省略
查看一个PG的map
[root@client ~]# ceph pg map 0.3f
osdmap e88 pg 0.3f (0.3f) -& up [0,2] acting [0,2]
#其中的[0,2]代表存储在osd.0、osd.2节点，osd.0代表主副本的存储位置
查看PG状态
[root@client ~]# ceph pg stat
v pgs: 448 active+ 10003 MB data, 23617 MB used, 37792 MB / 61410 MB avail
查询一个pg的详细信息
[root@client ~]# ceph pg
0.26 query
查看pg中stuck的状态
[root@client ~]# ceph pg dump_stuck unclean
[root@client ~]# ceph pg dump_stuck inactive
[root@client ~]# ceph pg dump_stuck stale
显示一个集群中的所有的pg统计
ceph pg dump –format plain
恢复一个丢失的pg
ceph pg {pg-id} mark_unfound_lost revert
显示非正常状态的pg
ceph pg dump_stuck inactive|unclean|stale
查看ceph集群中的pool数量
[root@admin ~]# ceph osd lspools
0 data,1 metadata,2 rbd,
在ceph集群中创建一个pool
ceph osd pool create jiayuan 100
#这里的100指的是PG组
为一个ceph pool配置配额
ceph osd pool set-quota data max_objects 10000
在集群中删除一个pool
ceph osd pool delete jiayuan
–yes-i-really-really-mean-it
#集群名字需要重复两次
显示集群中pool的详细信息
[root@admin ~]# rados df
total used
total avail
total space
[root@admin ~]#
给一个pool创建一个快照
[root@admin ~]# ceph osd pool mksnap data
created pool data snap date-snap
删除pool的快照
[root@admin ~]# ceph osd pool rmsnap data date-snap
removed pool data snap date-snap
查看data池的pg数量
[root@admin ~]# ceph osd pool get data pg_num
pg_num: 64
设置data池的最大存储空间为100T（默认是1T)
[root@admin ~]# ceph osd pool set data target_max_bytes 000
set pool 0 target_max_bytes to 000
设置data池的副本数是3
[root@admin ~]# ceph osd pool set data size 3
set pool 0 size to 3
设置data池能接受写操作的最小副本为2
[root@admin ~]# ceph osd pool set data min_size 2
set pool 0 min_size to 2
查看集群中所有pool的副本尺寸
[root@admin mycephfs]# ceph osd dump | grep ‘replicated size’
pool 0 ‘data’ replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 26 owner 0 flags hashpspool crash_replay_interval 45 target_bytes 000 stripe_width 0
pool 1 ‘metadata’ replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 owner 0 flags hashpspool stripe_width 0
pool 2 ‘rbd’ replicated size 2 min_size 1 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 owner 0 flags hashpspool stripe_width 0
设置一个pool的pg数量
[root@admin ~]# ceph osd pool set data pg_num 100
set pool 0 pg_num to 100
设置一个pool的pgp数量
[root@admin ~]# ceph osd pool set data pgp_num 100
set pool 0 pgp_num to 100
查看ceph集群中有多少个pool （只是查看pool)
[root@node-44 ~]# rados lspools
.rgw.control
.users.uid
查看ceph集群中有多少个pool,并且每个pool容量及利用情况
[root@node-44 ~]# rados df
.rgw.control
.users.uid
total used
total avail
total space
[root@node-44 ~]#
创建一个pool
[root@node-44 ~]#rados mkpool test
查看ceph pool中的ceph object （这里的object是以块形式存储的）
[root@node-44 ~]# rados ls -p volumes | more
rbd_data.348f21ba
rbd_data.3a.0c79
rbd_data.589c2aeba
rbd_data.58caf
rbd_data.58cc19
rbd_data.58ca5a
rbd_data.58cc69
rbd_data.58c1d
rbd_data.58cde1
rbd_data.58cdae
创建一个对象object
[root@admin-node ~]# rados create test-object -p test
[root@admin-node ~]# rados -p test ls
test-object
删除一个对象
[root@admin-node ~]# rados rm test-object-1 -p test
rbd命令的用法
查看ceph中一个pool里的所有镜像
[root@node-44 ~]# rbd ls images
17:17:37.f14caa6e700
0 – :/1025604 && 10.49.101.9:6789/0 pipe(0x6c5400 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x6c5660).fault
2182d9ac-52f4-4f5d-99a1-ab3ceacbf0b9
34e1a475-5b11-410c-b4c4-69b5f780f03c
476a9f3b-4608-4ffd-90ea-e
60eae8bf-dd23-40c5-ba02-266d5b942767
72e16e93-1fa5-4e11-4eeffe
74cb427c-cee9-47d0-b467-af217a67e60a
8f181a53-520b-4e22-af7c-de59e8ccca78
fe-4ed0-a1a8-120b8e8d18f4
ac6f4dae-4b81-476d-9e83-ad92ff25fb13
d20206d7-ff31-4dce-b59a-a622b0ea3af6
[root@node-44 ~]# rbd ls volumes
17:22:18.f9e – :/1010725 && 10.49.101.9:6789/0 pipe(0x96a400 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x96a660).fault
volume-dd4-4339-bad4-e9d78bd5365c
volume--4072-4cae-affc-ec59c2375c51
volume-2a1fb287-f0b-e2
volume-35c6aad4-8ea4-4b8d-95c7-7c3a8e8758c5
volume-814494cc-5ae6--d844fdf485c4
volume-8a6fb0db-35a9-4b3b-9ace-fb647c2918ea
volume-8cb03-378bba2ed1
volume-8cf3d206-2cce--77bcb4a8a3f8
volume-91fc075c-8bd1-41dc-b5ef-844f23df177d
volume-ba12-4b51-84e5-aa
volume-b84fad5d-16ee-f265409feb
volume-c03a2eb1-06a3-4d79-98e5-7c
volume-c17bf6c0-80ba-47d9-862d-1b9e9a48231e
volume-c32bca55-7ec0-47ce-a87e-a883da4b4ccd
volume-df8961ef-11d6-4dae-96ee-f2df8eb4a08c
volume-f1c-44fd-9af0-458cddf103a3
查看ceph pool中一个镜像的信息
[root@node-44 ~]# rbd info -p images –image 74cb427c-cee9-47d0-b467-af217a67e60a
rbd image ‘74cb427c-cee9-47d0-b467-af217a67e60a’:
size 1048 MB in 131 objects
order 23 (8192 KB objects)
block_name_prefix: rbd_data.95c
features: layering
在test池中创建一个命名为zhanguo的10000M的镜像
[root@node-44 ~]# rbd create -p test –size 10000 zhanguo
[root@node-44 ~]# rbd -p test info zhanguo
#查看新建的镜像的信息
rbd image ‘zhanguo’:
size 10000 MB in 2500 objects
order 22 (4096 KB objects)
block_name_prefix: rb.0.127d2.2ae8944a
[root@node-44 ~]#
删除一个镜像
[root@node-44 ~]# rbd rm
Removing image: 100% complete…done.
调整一个镜像的尺寸
[root@node-44 ~]# rbd resize -p test –size 20000 zhanguo
Resizing image: 100% complete…done.
[root@node-44 ~]# rbd -p test info zhanguo
#调整后的镜像大小
rbd image ‘zhanguo’:
size 20000 MB in 5000 objects
order 22 (4096 KB objects)
block_name_prefix: rb.0.127d2.2ae8944a
[root@node-44 ~]#
给一个镜像创建一个快照
[root@node-44 ~]# rbd
snap create
test/zhanguo@zhanguo123
#池/镜像@快照
[root@node-44 ~]# rbd
-p test zhanguo
SNAPID NAME
2 zhanguo123 20000 MB
[root@node-44 ~]#
[root@node-44 ~]# rbd info test/zhanguo@zhanguo123
rbd image ‘zhanguo’:
size 20000 MB in 5000 objects
order 22 (4096 KB objects)
block_name_prefix: rb.0.127d2.2ae8944a
protected: False
[root@node-44 ~]#
查看一个镜像文件的快照
[root@os-node101 ~]# rbd snap ls
-p volumes volume-ef-c-3fbd85e928e4
SNAPID NAME
5 snapshot-ee7862aa-825e-9d400 MB
删除一个镜像文件的一个快照快照
[root@os-node101 ~]# rbd snap rm volumes/volume-ef-c-3fbd85e928e4@snapshot-ee7862aa-825e-9d60430a12
rbd: snapshot ‘snapshot-60586eba-b0be-4885-81ab-efb’ is protected from removal.
19:23:42.fd -1 librbd: removing snapshot from header failed: (16) Device or resource busy
上面不能删除显示的报错信息是此快照备写保护了，下面命令是删除写保护后再进行删除。
[root@os-node101 ~]# rbd snap unprotect volumes/volume-ef-c-3fbd85e928e4@snapshot-ee7862aa-825e-9d60430a12
[root@os-node101 ~]# rbd snap rm volumes/volume-ef-c-3fbd85e928e4@snapshot-ee7862aa-825e-9d60430a12
删除一个镜像文件的所有快照
[root@os-node101 ~]# rbd snap purge
-p volumes volume-ef-c-3fbd85e928e4
Removing all snapshots: 100% complete…done.
把ceph pool中的一个镜像导出
[root@node-44 ~]# rbd export -p images –image 74cb427c-cee9-47d0-b467-af217a67e60a /root/aaa.img
17:16:15.ffb47a9a700
0 – :/1020493 && 10.49.101.9:6789/0 pipe(0x1368400 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x1368660).fault
Exporting image: 100% complete…done.
导出云硬盘
[root@node-44 ~]# rbd export -p volumes –image volume-470fee37-b950-4eef-a595-d7def334a5d6 /var/lib/glance/ceph-pool/volumes/Message-JiaoBenJi-10.40.212.24
17:28:18.f14ad39f700
0 – :/1032237 && 10.49.101.9:6789/0 pipe(0x260a400 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x260a660).fault
Exporting image: 100% complete…done.
把一个镜像导入ceph中 （但是直接导入是不能用的，因为没有经过openstack,openstack是看不到的）
[root@node-44 ~]# rbd import /root/aaa.img -p images –image 74cb427c-cee9-47d0-b467-af217a67e60a
Importing image: 100% complete…done.
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：570596次
积分：4621
积分：4621
排名：第5985名
原创：84篇
转载：46篇
评论：89条
(3)(1)(1)(2)(3)(1)(3)(5)(3)(2)(1)(6)(6)(8)(16)(3)(3)(1)(1)(2)(3)(3)(6)(3)(9)(9)(1)(11)(13)(1)使用bcache为Ceph OSD加速的具体实践 - 推酷
使用bcache为Ceph OSD加速的具体实践
本文为Ceph中国行o武汉站上，杉岩数据高级研发工程师花瑞做的内容分享，闲言少叙，直接上干货。
1.Ceph中使用SSD部署混合式存储的两种方式
目前在使用Ceph中使用SSD的方式主要有两种：cache tiering与OSD cache，众所周知，Ceph的cache tiering机制目前还不成熟，策略比较复杂，IO路径较长，在有些IO场景下甚至还会导致性能下降，promotion的粒度较大也有较多的负面影响。所以在SSD的使用上，我们选择了给OSD所在块设备加速的方式。
2.Linux块层SSD cache方案的选择
在Linux内核块层，使用SSD给HDD块设备加速，目前较为成熟的方案有：flashcache，enhanceIO，dm-cache，bcache等。
2.1特性对比
在这几种开源方案中，前三种的cache块索引算法都比较相近，都是基于hash索引，主存数据块到缓存块采用的是组相联的映射方式。下表以flashcache/enhanceIO为例，与bcache作了简单对比。
Bcache与其它几种方式最大的不同之处在于，它采用一棵相对标准的B+树作为索引，命中率会有很大提高，同时，它在架构设计上考虑了SSD本身的一些特性，在最大程度上发挥SSD性能的同时，也保护了SSD的寿命，也就是对SSD闪存介质的亲和性较好。
2.2可管理性/可维护性对比
在可管理性/可维护性方面，bcache的优势在于可以将SSD资源池化，一块SSD可对应多块HDD，形成一个缓存池(如下图)。
Bcache还支持从缓存池中划出瘦分配的纯flash卷(thin-flash LUN)单独使用。
其它几种cache方案都必须将SSD(或分区)绑定到不同的HDD盘。
2.3性能对比
Bcache官方给出的性能对比数据，可参考以下链接：
//linux-flashcache-and-bcache-performance-testing/
下图是杉岩在单机环境做的一个简单的测试，表现了在尽量能命中cache的情况下，二者的性能差异。集群环境下，性能差异接近单机版，在读写都能命中缓存的情况下，比较接近纯SSD集群的性能。
3.Bcache内部技术简介
前面介绍了bcache在Ceph中为OSD加速的方案。现在我们来介绍一下bcache的内部逻辑，便于我们理解bcache性能优势的来源。
3.1 SSD上数据的Layout
如图所示，bcache将SSD空间分成若干个bucket(典型值为512K，最好与SSD本身擦除块大小一致)。缓存数据与元数据都是按bucket来管理的：
分配器：COW式的空间分配，分配的单元是bucket，数据在bucket内部全部都是追加写入的，不会出现覆盖写，当有覆盖写时，会重定向到新的数据块。
元数据部分(B+树节点数据是最主要的元数据)也是COW式分配：对于B+树节点的修改，需要先分配新的节点，将新数据写入，再丢弃老的节点。
3.2 Bcache的索引
Bcache用B+树来管理缓存数据与HDD上数据块的对应关系，B+树所索引的k-v结构在bcache中称为bkey。如下图所示：
将一个缓存池中的多块HDD空间编址为一个地址空间
以HDD的id + IO请求的LBA为索引建立B+树
每个B+树的节点对应一个btree bucket，这个bucket里存的就是一个个的bkey
为每个btree bucket申请一块连续内存作为metadata缓存
利用Journal/WAL加速B+tree的修改, 写完journal以及内存中的B+tree节点缓存后写IO就可以返回了
3.3 垃圾回收
前面介绍bcache的分配器是以bucket为单位的COW式的分配，对与已经在SSD中的数据以及元数据，覆盖写时是写到新的空间中的，这样无效的旧数据就会在其所在的bucket内形成“空洞”，但是由于bcache空间回收的单位是bucket，因此需要一个异步的垃圾回收(GC)线程来实现对这些数据的标记与清理，并将含有较多无效数据的多个bucket压缩成一个bucket。
GC分为两个阶段：
元数据的GC，即B+树的GC，主要原理是遍历B+树，根据bkey信息标记出无效的缓存数据以及有效的缓存数据(包括脏缓存数据与干净的缓存数据)，以及元数据。然后压缩清理元数据bucket。
缓存数据的GC，在bcache中被称为Move GC，主要原理是根据元数据GC阶段遍历B+树后生成的数据bucket的标记信息，找出含有较多无效数据的多个bucket，将其中的有效数据搬移到一个新分配的bucket中去，以便及时回收更多的bucket。
3.4 刷脏机制
使用bcache的writeback模式时，bcache会为缓存池中的每个HDD启动一个刷脏线程，负责将SSD中的脏数据刷到后端的HDD盘。
刷脏进程工作原理：遍历B+树，找出指向本HDD上的脏数据块的所有bkey，按照bkey中包含的HDD上的LBA信息进行排序，这样根据排序后的bkey依次读出SSD上的数据块，写入HDD中，实现了顺序刷盘。
刷脏流控：为了保证刷脏性能，同时尽量不影响业务IO的读写，bcache会根据脏数据的水位线来调节刷脏速率，具体是通过比例-微分控制器(PD-Controller)来实现的：当水位线越高，或者水位增高速度越快时，刷脏速度也越快。
4.在生产环境中使用bcache的挑战
Bcache的内部实现比较复杂，代码复杂度也比flashcache/enhanceIO等要高出不少，而且已经合入内核主线，在高版本内核(4.8及以上)上还是比较稳定可靠的，但是在Ceph系统中为OSD加速，还有一些问题需要解决：
4.1功能问题
SSD&HDD不支持热插拔
将HDD从缓存池中卸载时需要等待脏数据全部刷完，时间较长
当HDD损坏时，SSD中相应的脏数据无法清除，造成空间浪费
Thin-flash卷在系统重启后无法恢复
4.2性能问题
当上层的大量随机写IO充满缓存空间后，须等待脏数据全部刷完才能继续为写IO提供缓存
GC线程运行时会造成业务IO的波动
Bcache元数据缓存对内存消耗较大，当系统内存不足时会导致大量元数据无法缓存，需要从SSD上读取，影响性能
我们在使用bcache加速ceph OSD时，采取如上图所示的方式：
为每块SSD创建一个缓存池, 将相等数量的HDD attach到每个缓存池
从每个缓存池创建一个thin-flash卷将每个OSD的OMAP目录独立出来放入其中
Journal可以独立放到一个SSD, 也可以再从缓存池创建出若干thin-flash卷用于写Journal
我们通过大量测试及分析使得bcache在ceph的生产环境上得以稳定运行，既最大限度地发挥了SSD的性能，同时，也提升了SSD的使用寿命，节省用户投资，为客户提供了更具性价比的混合存储方案。
已发表评论数()
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
主题不准确
没有分页内容
图片无法显示
视频无法显示
与原文不一致