Kubernetes基本使用

Kubernetes简介

能作什么？
1. 服务发现和负载均衡
2. 部署和回滚
3. 弹性伸缩
4. 容器配额管理
5. 故障发现和自我修复
6. 密钥和配置管理
7. 支持多种数据卷类型
不能做什么？
1. 不支持限制应用程序类型
2. 不部署源码、也不构建应用
3. 不提供应用程序级别的服务作为内置服务
k8s组件
1. 控制平面（master、control-plane）组件
  1. kube-apiserver
  2. etcd
  3. kube-scheduler
  4. kube-controller-manager
2. Node节点组件
  1. kubelet
  2. kube-proxy
  3. 容器运行时
kubernetes架构

Kubernetes基本概念和术语

Resource：
- k8s中的大部分概念如Node、Pod、Replication、Controller、Service等概念都可以视作资源对象，几乎所有资源对象都可以通过k8s提供的kubectl工具进行增删改查操作并将其保存在etcd中持久化存储；
- k8s其实是一个高度自动化的资源控制系统，通过跟踪对比etcd库中保存的资源期望状态与当前环境的实际资源状态的差异来实现自动控制和自动纠错的高级功能；
Kubernetes API Version：
- kubectl api-versions：查看可用的apiversion
- 官方将apiversion分为：alpha（未经过充分测试，随时可能调整或删除）、beta（经过充分测试，功能细节可能会修改）、stable（稳定版本，将会得到持续支持）三大类
Pod：
- 最重要的概念，是kubernetes的最小调度单元。每个Pod都有特殊的成为根容器，叫Pause容器，每个Pod还包含了一个或多个紧密相关的用户业务容器；
- k8s为每个Pod都分配了唯一的IP地址，Pod IP，一个Pod内的多个容器共享PodIP地址。K8s要求底层网络支持集群内任意两个Pod之间的TCP/IP直接通信。因此，跨主机的Pod之间是能够直接通信的
1. 普通Pod：主机宕机后被调度到其他Node上
2. 静态Pod：存放在主机的具体文件中，只能在当前节点上启动
Label：
- 由key=value的键值对组成，由用户自己指定；可以被附加到各种资源对象上。一个资源对象可以定义任意数量的Label，同一个Label也可以被添加到任意数量的资源对象上。通过给指定资源对象绑定Label从而实现资源对象的分组管理。
- 举例：
  - 版本标签：release:stable、release:beta
  - 环境标签：environment:dev、environment:qa、environment:production
Replication Controller：
- RC，核心概念之一。定义了一个期望的场景，即声明某种Pod的副本数量在任何时刻都符合某一个期待值。即保证Pod的数量符合预期；
- RC在1.2的RS出现后已经过时；
Replication Set：
- 1.2版本引入的概念，RC的升级版本，RC的Label Selector只支持基于等式的表达式。而RS支持基于集合的表达式；RS在线编辑后，RS会自动更新Pod，而RC不会更新现有的Pod；
- 在Deployment出现后，几乎不需要手动维护；
Deployment：
- 1.2版本中引用的概念，用于更好的解决pod的部署、升级、回滚的问题。内部会自动创建RS用于Pod的副本控制。
Horizontal Pod Autoscaler：
- 简称HPA，主要作用是用于Pod横向自动伸缩。根据追踪和分析指定RC/RS控制的所有目标Pod的负载变化情况，来确定是否需要针对性地调整目标Pod的副本数量；
StatefulSet：
- 用来管理有状态应用的Pod，和Deployment类似，不同的是为每一个Pod都维护了一个唯一的ID；
- 常见的有状态的应用：MySQL集群、MongoDB集群、kafka集群；
DaemonSet:
- 确保全部（或者某些）节点上运行一个Pod的副本，当有节点加入集群是，也会为她们新增一个pod，当有节点离开时，这些pod也会被回收。删除DaemonSet将会删除他创建的所有Pod。
Service
- 核心概念，其主要作用是将一组Pods上的应用程序公开为网络服务，这其实就是我们常说的微服务。通过service资源对象定义一个service的访问入口地址，前端通过访问这个入口，从而访问其背后的一组有Pod副本组成的集群实例。
Job
- 工作任务，会跟踪记录成功完成的pod数量，当成功完成的数量达到了指定的个数，job结束，出现失败会创建新的pod来替代该pod。
Volume
- 抽象出来的对象，用于解决pod中容器运行时，文件存放的问题以及容器数据共享的问题。
Persistent Volume
- 持久卷，是集群中的一块存储，是由管理员事先供应，或者使用存储类来动态供应，它的生命周期是独立的，而Volume是随着Pod的。
Namespace
- 重要概念，提供资源隔离。
Annotation
- 与label类似，使用kv对的形式来定义，不同的是label定义的是元数据，annotation则是用户任意定义的附加信息。
ConfigMap
- 用于将其他资源对象所需要使用的非机密配置项的数据保存在键值对中，说白了就是配置文件。
Secret
- 与ConfigMap类似，但是专门用来存储机密数据的。

Kubernetes集群安装配置

Kubernetes v1.24
Docker v20.10.17

docker容器运行时安装

cri-dockerd安装
- k8s 1.24版本已经默认不内置docker的运行时了，我们需要手动安装

二进制文件下载安装

1
2
3

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.16/cri-dockerd-0.3.16.amd64.tgz
tar -zxvf cri-docker-0.3.16.amd64.tgz -C /tmp
cp /tmp/cri-dockerd/cri-dockerd /usr/bin/

通过docker构建

git clone https://github.com/Mirantis/cri-dockerd.git
cd cri-dockerd

vim Dockerfile
FROM golang:1.18
ADD ./ /go/cri-dockerd
WORKDIR /go/cri-dockerd
RUN go env -w GOPROXY=https://proxy.golang.com.cn,https://goproxy.cn,direct
RUN go get && go build -o cri-dockerd

mkdir bin 
cd cri-dockered
docker build -t cri-dockerd:latest -f Dockerfile
docker run --rm -d -it --name cri-dockerd cri-dockerd:latest /bin/bash
docker cp cri-dockerd:/go/cri-dockerd/cri-dockerd bin/cri-dockerd
install -o root -g root -m 0755 bin/cri-dockerd /usr/bin/cri-dockerd

cri-dockerd服务配置和启动

vim /etc/systemd/system/cri-docker.socket
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service

[Socket]
ListenStream=%t/cri-dockerd.sock # 套接字地址一定要正确
SocketMode=0660
SocketUser=root
SocketGroup=docker

[Install]
WantedBy=sockets.target
# ==================================
vim /etc/systemd/system/cri-docker.service
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service 
Wants=network-online.target
Requires=cri-docker.socket

[Service]
Type=notify
ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// 
--network-plugin=cni
--pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 # 就这里需要改，除非可以科学上网
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process

[Install]
WantedBy=multi-user.target

启动服务

systemctl daemon-reload
systemctl enable cri-docker
systemctl enable --now cri-docker
systemctl status cri-docker

别把cri-docker和cri-dockerd搞混了

Kubeadm和相关工具的安装

安装kubeadm、kubelet、kubectl

apt-get update
apt-get install -y apt-transport-https ca-certificates curl
# 下载gpg密钥
curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg # 将google的地址修改为了阿里云的地址
# 设置kubenetes镜像源
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kuberenetes.list
# 更新软件索引,查看有哪些可用版本
apt-get upgrade
apt-cache madison kubelet kubeadm kubectl
# 安装软件
apt-get install -y kubelet=1.24.0-00 kubeadm=1.24.0-00 kubectl=1.24.0-00
kubeadm version # 检查一下
systemctl status kubelet.service # 查看一下，此时是起不来的，这是正常的

卸载工具
1
apt-get remove kubelet kubectl kubeadm

主机环境调整

修改节点上的docker的cgroup driver为systemd
- 由于k8s上的kubelet组件默认的cgroupdriver为systemd，所以我们将docker的cgroupdriver也修改为systemd
  1
  2
  3
  4
  5
  6
  sudo vim /etc/docker/daemon.json
  "exec-opts":[
  "native.cgroupdriver=systemd"
  ]
  sudo systemctl daemon-reload
  sudo systemctl restart docker
关闭防火墙

iptables防火墙，会对所有网络流量进行过滤、转发，如果是内网机器一般会直接关闭，省的影响网络性能，但k8s不能直接关了，k8s是需要用防火墙作ip转发和修改的，当然也看使用的网络模式，如果采用的网络模式不需要防火墙也是可以直接关闭的。
1
2
sudo systemctl stop firewalld
sudo systemctl disable firewalld

禁用Selinux

用来加强安全性的组件，但是非常容易出错且难以定位，一般来说装完系统就给禁用了
1
2
3
4
sudo apt install selinux-utils
getenforce

sudo setenforce 0

禁用swap

当内存不足会使用swap，为了不影响性能，而且可能k8s装不上，所以禁用它
1
2
3
4
5
free
sudo swapoff -a
vim /etc/fstab
# /swap.img none swap sw 0 0
free

修改主机名

k8s里面所有集群里的node节点的主机名必须是不一致的

vim /etc/hosts
127.0.0.1 k8s-master1 # 添加ip映射
sudo hostnamectl set-hostname k8s-master1 # 修改系统主机名
hostname

Kubernetes集群初始化

初始化master

#================================================
# 生成默认配置文件
kubeadm config print init-defaults > init.default.yaml
vim init.default.yaml
# 修改地址节点IP地址
localAPIEndpoint.advertiseAddress: 192.168.239.146 
# 修改套接字
nodeRegistration.crisocket: unix:///var/run/cri-dockerd.sock 
# 修改节点名称
nodeRegistration.name: k8s-master1 
# 修改镜像仓库地址为国内开源镜像库
imageRepository: registry.aliyuncs.com/google_containers 
# 修改版本号
kubernetesversion: 1.24.1
# 增加podSubnet，由于后续会安装flannel网络插件，该插件必须在集群初始化时指定pod地址
#10.244.0.0/16为flannel组件podSubnet默认值，集群配置与网络组件中的配置需保持一致
podsubnet: 10.244.0.0/16
#================================================
# 拉取相关镜像
sudo kubeadm config images pull --config=init.default.yaml
#================================================
# 初始化集群
# 方式一：通过配置文件配置
sudo kubeadm init --config=init.default.yaml --v=5
# 方式二：通过命令行配置
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=1.24.1
# 根据是否是root用户，来选择执行
# 不是：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 是：
export KUBECONFIG=/etc/kubernetes/admin.conf
#================================================
# 添加pod网络组件
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 假设无法连接到这个地址
# 使用域名ip查找，查找一下raw.githubusercontent.com的ip
vim /etc/hosts
> 185.199.108.133 raw.githubusercontent.com
# 然后再等一会儿，再次添加网络插件
kubectl get pod --all-namespace # 查看一下是否ready
#================================================
# 开启kube-proxy的ipvs模式，ipvs模式在集群规模较大的时候性能会更好一些
kubectl edit cm kube-proxy -n kube-system
> mode: "ipvs"
kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod"$1" -n kube-system")}' # 删除现有的kube-proxy pod
kubectl get pod --all-namespaces # 查看一下pod的状态，我们发现k8s在kube-proxy被删除后会自动新建一个
#================================================

初始化Node

一样的步骤

安装docker
安装cri-dockerd运行时，并启动服务
修改docker的cgroup driver
关闭防火墙
禁用selinux
禁用swap

调整主机名

#================================================
# 将节点添加到集群
# (master 节点)
sudo kubeadm token create --print-join-command # 获取加入的命令
# (Node 节点，我们需要在上面输出的命令中加入socket位置) 
kubeadm join 192.168.239.142:6443 --token lkajoinuighriorgnqi --discovery-token-ca-cert-hash sha256:52919wefqwejnfoiqn --cri-socket unix:///var/run/cri-dockerd.sock 
kubectl get node # 查看node状态
#================================================

重置节点

#================================================
# 假如出现了错误，需要重置节点
kubeadm reset # 在需要重置的节点
kubeadm reset --cri-socket unix:///var/run/cri-dockerd.sock # 在需要重置的节点
# 需要删除一下的目录
rm -rf /var/lib/kubelet /var/lib/dockershim /var/run/kubenetes /var/lib/cni /etc/cni/net.d $Home/.kube/config
sudo ipvsadm --clear
sudo ifconfig cni0 down # 删除网络
sudo ip link delete cni0 # master节点有这个网卡，node节点可能没有
#================================================

部署一个WEB应用

创建RC

mkdir work
cd work
vim myhello-rc.yml
# =======================================================
apiVersion: v1
kind: ReplicationController # RC，副本控制器，资源类型是ReplicationController
metadata:
    name: myhello-rc # RC名称，全局唯一
    labels:
        name: myhello-rc
spec:
    relicas: 5 # 期待的pod数量
    selector:
        name: myhello-pod
    template:
        metadata:
            labels:
                name: myhello-pod
        spec:
            containers: # pod内容的定义部分
            - name: myhello # 容器的名称
              image: xlhmzch/hello:1.0.0 # 容器对应的 Docker Image
              imagePullPolicy: IfNotPresent
              ports:
              - containerPort: 80
              env: # 注入到容器的环境变量
              - name: env1
                value: "k8s-env1"
              - name: env2
                value: "k8s-env2"
# =======================================================
# 创建资源
sudo kubectl create -f myhello-rc.yaml # 也可以使用apply，create是没有的使用才能用的，有的时候再用create会报错
kubectl get pod # 查看一下是不是生成了5个pod，但是没有办法访问，因为我们没有对外暴露service
kubectl get node # 看下节点情况

创建Service

vim myhello-svc.yaml
# =======================================================
apiVersion: v1
kind: Service
metadata:
    name: myhello-svc
    labels:
        name: myhello-svc
spec:
    type: NodePort # 对外提供端口
    ports:
    - port: 80
      protocal: TCP
      targetPort: 80
      name: http
      nodePort: 30000
    selector:
      name: myhello-pod
# =======================================================
kubectl apply -f myhello-svc.yaml
kubectl get svc

访问应用程序

1	curl http://192.168.239.142:30000/ping

通过Kubernetes升级集群

# =======================================================
# 集群升级
#（master）
kubeadm upgrade plan # 检查可升级到哪些版本，并验证当前的集群是否可升级
kubeadm upgrade diff 1.24.1 # 查看哪些差异将被应用于现有的静态pod资源清单
apt-get update
apt-get install kubeadm=1.24.1-00 # 升级kubeadm
kubeadm upgrade apply 1.24.1 # 将k8s集群升级到指定版本
kubectl get node # 我们发现，他只是升级了集群，我们的node都没有升级
kubectl get pod # 看一下我们是有node在运行的
kubectl get pod -o wide # 看下我们的pod都运行在哪些机器上
# =======================================================
# 集群所在节点更新
#（master）
kubectl cordon k8s-master1 # 开启调度保护
kubectl drain k8s-master1 --ignore-daemonsets # 当前节点上的pod都排除，让他们都运行到其他节点上，不过master节点上是没有pod的
kubeadm upgrade node # 更新节点配置
apt-get install -y kubelet=1.24.1-00 kubectl=1.24.1-00 # 开始升级组件
kubectl uncordon k8s-master1 # 取消调度保护
# =======================================================
# Node节点更新
#（Node）
kubectl cordon k8s-node1 # 开启调度保护，注意这是在master节点上进行的
kubectl drain k8s-node1 --ignore-daemonsets
apt-get install kubeadm=1.24.1-00 # 升级node节点上的kubeadm工具
kubeadm upgrade node # 升级配置
apt-get install -y kubelet=1.24.1-00 kubectl=1.24.1-00 # 开始升级
kubectl uncordon k8s-node1 # 取消调度保护，注意这是在master节点上进行的
kubectl get node # 我们发现我们的node是升级好了
kubectl get pod -o wide | grep k8s-node1 # 但是我们的pod没有被调度回来，只有新的pod加入，才会重新调度到这个节点
# =======================================================

2024-12-29 该篇文章被 Cleofwine 归为分类: Go云原生