【go云原生】Ceph文件系统与K8s
Ceph分布式文件系统与K8s中的应用
- Ceph：
- 是高度可靠、易于管理和免费的分布式存储解决方案。用于块存储、对象存储和共享文件系统。
- 生产集群必须具有三个或三个以上节点，才能使用一个弹性存储平台。
Ceph相关的关键概念
- Ceph Monitor（MON）监视器
- Ceph Manager（MGR）管理器
- Ceph Metadata Server（MDS）元数据管理服务
- Object Storage Device（OSD）对象存储设备
- Ceph OSD Daemon（OSD）OSD守护进程
- RADOS Block Device（RBD）
- Ceph Object Gateway（RGW）
- librados
- pool
- Placement Group（PG）放置组
- Paxos 共识算法
- CRUSH 可扩展哈希下的受控复制
- CSI Plugin容器存储接口插件
- S3对象存储接口
- Ceph支持的存储：
- 对象存储
- 块存储
- 文件系统
cephadm引导安装ceph集群
对于每个节点的要求
- Python3
- Systemd
- Podman or Docker
- 时间同步 chrony或NTP
1
2
3
4
5apt-get install chrony
chronyd --version
systemctl status chronyd.service
vim /etc/chrony/chrony.conf
chronyc sourcestats # 查看NTP（网络时间协议）服务器源的状态和统计信息 - LVM2：用于调配存储设备的LVM2
1
2
3dpkg -l | grep lvm2
apt update
apt install lvm2 - 每个节点需要有一个没有任何分区、任何文件系统（没有格式化）、大于5GB、没有逻辑卷管理、没有挂载、没有Ceph BluStore OSD的存储设备。
安装cephadm
1 | curl --slient --remote-name --location https://download.ceph.com/rpm-18.2.1/e19/noarch/cephadm |
cephadm安装ceph集群
1 | # ubuntu 196.168.239.161 |
删除ceph集群
1 | ceph mgr module disable cephadm # 禁用cephadm，以停止所有编排操作 |
linux上ceph文件系统的应用
CephFS（Ceph文件系统）
1 | # =============================== |
RGWs（Ceph对象网关）
- 用于提供面向对象存储（Object Storage）的功能。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44# 为主机添加标签
ceph orch host label add ubuntu rgw
ceph orch host label add worker1 rgw
ceph orch host label add worker2 rgw
# 创建rgw
ceph orch apply rgw myrgw1 '--placement=label:rgw count-per-host:2' --port=8000 # 创建rgw
ceph orch ls rgw # 查看rgw服务列表
# 删除rgw
ceph orch rm rgw.myrgw1
# 创建对象存储用户
radosgw-admin user create --uid=lin --display-name=lin
radosgw-admin user list # 查看用户列表
radosgw-admin user info --uid=lin # 查看用户的信息，里面的access_key和secret_key在下面的配置中需要用到
# 客户端访问
# =======================================================
# 使用s5cmd，在客户端
docker pull peakcom/s5cmd
# 设一下环境变量
export AWS_HOST=192.168.239.161 # 集群地址
export PORT=8000
export BUCKET_NAME=mybucket
export AWS_ACCESS_KEY_ID=NVOIWRENPG178
export AWS_SECRET_ACCESS_KEY=ONPOWRGW1981918
vim .aws/credentials
> [default]
> aws_access_key_id = NVOIWRENPG178
> aws_secret_access_key = ONPOWRGW1981918
echo "Hello ceph object store" > /tmp/cephobj
# 创建bucket，加--rm参数因为我们并需要保留这个容器
docker run --rm -v /tmp:/aws -v ~/.aws:/root/.aws peakcom/s5cmd --endpoint-url http://$AWS_HOST:$PORT mb s3://$BUCKET_NAME
# 上传文件，将/tmp映射到容器/aws目录，将当前用户下配置的授权信息，映射到容器的/root/.aws
docker run --rm -v /tmp:/aws -v ~/.aws:/root/.aws peakcom/s5cmd --endpoint-url http://$AWS_HOST:$PORT cp /aws/cephobj s3://$BUCKET_NAME
# 下载文件
docker run --rm -v /tmp:/aws -v ~/.aws:/root/.aws peakcom/s5cmd --endpoint-url http://$AWS_HOST:$PORT cp s3://$BUCKET_NAME/cephobj /aws/cephobj-download
# =======================================================
# 使用minio-go SDK访问
go get github.com/minio/minio-go/v71
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60// FileUploader.go MinIO example
package main
import (
"context"
"log"
"github.com/minio/minio-go/v7"
"github.com/minio/minio-go/v7/pkg/credentials"
)
func main() {
ctx := context.Background()
// 这些内容需要改
endpoint := "192.168.239.161:80"
accessKeyID := "NVOIWRENPG178"
secretAccessKey := "ONPOWRGW1981918"
useSSL := false
// Initialize minio client object.
minioClient, err := minio.New(endpoint, &minio.Options{
Creds: credentials.NewStaticV4(accessKeyID, secretAccessKey, ""),
Secure: useSSL,
})
if err != nil {
log.Fatalln(err)
}
// Make a new bucket called testbucket.
bucketName := "mybucket"
// location := "us-east-1"
// err = minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{Region: location})
err = minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{})
if err != nil {
// Check to see if we already own this bucket (which happens if you run this twice)
exists, errBucketExists := minioClient.BucketExists(ctx, bucketName)
if errBucketExists == nil && exists {
log.Printf("We already own %s\n", bucketName)
} else {
log.Fatalln(err)
}
} else {
log.Printf("Successfully created %s\n", bucketName)
}
// Upload the test file
// Change the value of filePath if the file is in another location
objectName := "gomod"
filePath := "go.mod"
contentType := "application/octet-stream"
// Upload the test file with FPutObject
info, err := minioClient.FPutObject(ctx, bucketName, objectName, filePath, minio.PutObjectOptions{ContentType: contentType})
if err != nil {
log.Fatalln(err)
}
log.Printf("Successfully uploaded %s of size %d\n", objectName, info.Size)
}1
2go mod tidy
go run ./FileUploader.go
NFS Service（NFS服务）
1 | vim nfs.yaml |
RBD块设备
1 | # 创建rbd块设备 |
K8s中ceph文件系统的应用
- 外部集群（也就是说这里k8s和ceph是两个独立的集群）：
- 外部集群是在本地K8s集群之外管理的Ceph配置。外部集群可以由cephadm管理，也可以是另一个配置为允许访问的Rook集群（通常使用主机网络配置）
- 在外部模式下，Rook将提供CSI驱动程序和其他基本资源的配置，使您的应用程序能够连接到外部集群中的Ceph
k8s接入外部ceph的两个条件
1. 需要有个块设备池
2. 需要有个cephfs的文件系统
1 | # RBD Pool |
ceph集群（原集群）
1 | # 位于ceph管理端 |
k8s集群（目标集群）
1 | # 粘贴到这个集群 |
利用k8s使用ceph
1 | # 块设备申领 |