Kubernetes二开：自定义资源crd

k8s golang客户端client-go基本结构

依赖安装

1	go get k8s.io/client-go@v0.27.4 # 客户端版本和k8s版本一一对应，如k8s是1.27.4那客户端就是0.27.4

源码结构
1. applyconfigurations: 构建一个yaml资源配置对象，也可以序列化成yaml文本
2. discovery：服务发现
3. dynamic：动态客户端，用来操作自定义资源
4. examples：官方提供的案例
5. informers：本地缓存与索引机制，我们的k8s一般只有一个apiserver服务，存在在master节点，大量请求会扛不住，所以需要本地缓存与索引机制。
6. kubernetes：所有api的client side，不同的资源会有对应的不同的客户端，举例是Deployment有Deployment客户端，DaemonSet有DaemonSet客户端。
7. listers：资源列表
8. metadata：元数据信息
9. openapi和openapi3：api规范
10. plugin：api授权
11. rest：rest客户端
12. restmapper：rest资源的映射
13. scale：伸缩操作
14. tools: 工具
如果想做k8s二开，那么client-go的源码要了解的比较透彻，应用的比较灵活。

kustomize声明式资源管理

需求：使用配置差异化部署不同环境下的代码

kustomize参考布局，只是参考布局，和目录没有实际关系。kustomize的作用：管理和组织各种资源的yaml。

mkdir kustomize
cd kustomize
mkdir base
cd base
(base):vim Deployment.yaml
# /base/Deployment.yaml =====================================
apiVerison: v1
kind: Namespace
metadata:
    name: kustomize
--- 
apiVersion: apps/v1
kind: Deployment
metadata:
    namespace: kustomize
    name: kustomize-deploy
    labels:
        name: kustomize-deploy
spec:
    replicas: 2
    selector:
        matchLabels:
            name: kustomzie-pod
    template:
        matedata:
            namespace: kustomize
            labels:
                name: kustomize-pod
        spec:
            containers:
                - name: kustomize-c
                    image: alpine: 3.18
                    imagePullPolicy: Always
                    env:
                        - name: env1
                            value: v1
                    workdingDir: /app
                    tty: true
                    stdin: true
                - name: kustomize-c1
                    image: ubuntu:latest
                    imagePullPolicy: Always
                    workdingDir: /app
# /base/Deployment.yaml =====================================

cd ..
mkdir test
cd test
(test)kustomize create # 生成一个kustomization.yaml
cd ../base
(base)kustomize create
(base)vim kustomization.yaml

# /base/kustomization.yaml =============================
apiVersion: kustomize.config.k8s.io/vlbetal
kind: Kustomization
resources:
- Deployment.yaml
# /base/kustomization.yaml =============================

(base)kustomize build .
cd ../test
(test)vim kustomization.yaml

# /test/kustomization.yaml =============================
apiVersion: kustomize.config.k8s.io/vlbetal
kind: Kustomization
resources:
- ../base
namespace: test # 将命名空间改成test
namePrefix: pre- # 所有资源名称加上前后缀
nameSuffix: -suffix
commonLabels: # 所有资源都加上labels
    someName: someValue
    owner: alice
    app: bingo
images: # 替换镜像
    - name: alpine
        newName: my-registry/my-postgres
        newTag: v1
    - name: ubuntu
        newName: ubuntu 
        newTag: 1.8.0
# /test/kustomization.yaml =============================

(test)kustomize build .

手动创建一个crd资源对象

mkdir work
cd work
vim resourcedefinition.yaml


# 通过crd创建自定义资源
# work/resourcedefinition.yaml===============================
apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
    # 名字必须与与下面的spec字段匹配，并且格式为'<名称的复数形式>.<组名>'
    name: crontabs.stable.example.com 
spec:
    # 组名称，用于Rest api: /apis/组/版本
    group: stable.example.com
    # 举例此CustomResourceDefinition所支持的版本
    versions:
        - name: v1
            # served是一个标志，用于启用、禁用通过rest api提供的此版本
            served: true
            # storage表示在将自定义资源持久化到存储区时应使用此版本，必须只有一个版本的storage=true
            storage: true
            # schema描述用于验证、精简和默认此版本的自定义资源的模式
            schema:
                # openAPIV3Schema是用于验证和袖箭的OpenAPI v3模式
                openAPIV3Schema:
                    type: object
                    properties:
                        spec:
                            type: object
                            properties:
                                cronSpec:
                                    type: string
                                image:
                                    type: string
                                replicas:
                                    type: interget
    # 可以是Namespaced 或 Cluster
    scope: Namespaced
    names:
        # 名称的复数形式，用于URL:/apis/组/版本/名称的复数形式
        plural: crontabs
        # 名称的单数形式，作为命令行使用时和显示时的别名
        singular: crontabs
        # kind通常是单数形式的驼峰命名形式，资源清单会使用这一形式
        kind: CronTab
        # shortNames允许在命令行使用较短的字符串来匹配该资源
        shortNames:
        - ct

# work/resourcedefinition.yaml===============================
kubectl apply -f resourcedefinition.yaml # 当我们使用了自定义资源，那么我们的资源就可以使用k8s的特性
# 例如：
kubectl explain crontabs # 使用explain查看该资源如何使用
kubectl explain crontabs.spec

vim mycrontab.yaml

# 使用自定义资源创建对象
# work/mycrontab.yaml===============================
apiVersion: stable.example.com/v1
kind: CronTab
metadata:
    name: my-new-cron-object
spec:
    cronSpec: "*****/5"
    image: my-awesome-cron-image
# work/mycrontab.yaml===============================
kubectl apply -f mycrontab.yaml
kubectl get crontabs.stable.example.com  my-new-cron-object -o yaml
# 我们可以查看我们的资源，对它进行增删改查，但是在没有控制器接入的情况下，这个资源好像没什么p用。

kubectl delete -f mycrontab.yaml
kubectl delete -f resourcedefinition.yaml

通过kubebuilder框架开发自定义资源

kubebuilder作用

开发控制器

api定义

# 安装kubebuilder框架
curl -L -o kubebuilder "https://go.kubebuilder.io/dl/latest/$(go env GOOS)/$(go env GOARCH)"
chmod +x kubebuilder && mv kubebuilder /usr/local/bin/

# 创建项目
mkdir crontab-crd
cd crontab-crd
kubebuilder init --domain my.domain --repo my.domain/crontab-crd
go mod tidy

# 创建api和控制器，所谓的api就是手动创建一个自定义资源
kubebuilder create api --group crd --version v1 --kind Crontab 

# 修改生成的代码
vim ./api/v1/crontab_types.go

./api/v1/crontab_types.go

type CrontabSpec struct {
    // 我们定义的资源需要的参数spec内容在这里，后面的标记可以参考kubebuilder文档
    Schedule string `json:"schedule"`
    StartingDeadlineSeconds *int64 `json:"startingDeadlineSeconds,omitempty"`
    ConcurrencyPolicy ConcurrencyPolicy `json:"concurrencyPolicy,omitempty"`
    Suspend *bool `json:"suspend,omitempty"`
    JobTemplate batchv1.JobTemplateSpec `json:"jobTemplate"`
    SuccessfulJobsHistoryLimit *int32 `json:"successfulJobHistoryLimit,omitempty"`
    FailedJobsHistoryLimit *int32 `json:"failedJobsHistoryLimit,omitempty"`
    TimeZone *string `json:"timeZone"`
}
type ConcurrencyPolicy string
const(
    AllowConcurrent ConcurrencyPolicy = "Allow"
    ForbidConcurrent ConcurrencyPolicy = "Forbid"
    ReplaceConcurrent ConcurrencyPolicy = "Replace"
)
type CrontabStatus struct{
    Active []corev1.ObjectReference `json:"active,omitempty"`
    LastScheduleTime *metav1.Time `json:"lastScheduleTime,omitempty"`
    LastSuccessfulTime *metav1.Time `json:"lastSuccessfulTime,omitempty"`
}
type Crontab struct {
    // 标记status为crontab的子资源，也声明该资源为crd的根
    metav1.TypeMeta `json:",inline"`
    metav1.ObjectMeta `json:"metadata,omitempty"`

    Spec CrontabSpec `json:"spec,omitempty"`
    Status CrontabStatus `json:"status,omitempty"`
}
type CrontabList struct {
    metav1.TypeMeta `json:",inline"`
    metav1.ListMeta `json:"metadata,omitempty"`
    Items []Crontab `json:"items"`
}
func init(){
    SchemeBuilder.Register(&Crontab{}, &CrontabList{})
}

make manifests # 定义完成之后进行生成，这样我们就会生成得到类型为CustomResourceDefinition自定义资源的yaml
kubectl apply -f ./config/crd/bases/crd.my.domain_crontabs.yaml # 我们会发现无法应用，因为文件太大了，apply又会生成最后一次生成的配置作为注解加入到文件中，而annotation字段不允许这么长
kubectl create -f ./config/crd/bases/crd.my.domain_crontabs.yaml # 这样就可以

vim ./config/samples/crd_v1_crontab.yaml # 像创建一个自定义资源对象可以使用这个模板文件

apiVersion: crd.my.domain/v1
kind: Crontab 
metadata: 
    labels:
        app.kubernetes.io/name: crontab
        app.kubernetes.io/instance: crontab-sample 
        app.kubernetes.io/part-of: crontab-crd 
        app.kubernetes.io/managed-by: kustomize 
        app.kubernetes.io/created-by: crontab-crd 
    name: crontab-sample
spec:
#TODO(user): Add fields here 
    schedule:"*/10 *****" 
    startingDeadlineSeconds: 5
    concurrencyPolicy: Allow  # explicitly specify, but Allow is olso default. 
    jobTemplate:
        spec: 
            template:
                spec:
                    containers: 
                    - name: hello 
                        image: busybox 
                        args:
                            -/bin/sh 
                            - -c
                            - date; echo Hello from the Kubernetes cluster
                    restartPolicy: OnFailure

kubectl apply -f ./config/samples/crd_v1_crontab.yaml # 还没有开发控制器，所以也没啥用就是了
kubectl delete -f ./config/samples/crd_v1_crontab.yaml 

# 修改控制器
vim ./internal/controller/crontab_controller.go
# 需要实现哪些内容？
1. 添加资源权限
2. 完成协调方法，包括更新job状态，返回调度时间等

# 生成并实现webhook，就是对我们的控制器作权限及准入校验
kubebuilder create webhook --group crd --version v1 --kind Crontab --defaulting --programmatic-validation
vim ./api/v1/crontab_webhook.go

make manifests # 生成webhook的资源yaml

2025-01-08 该篇文章被 Cleofwine 归为分类: Go云原生