1 云计算时代的操作系统

Kubernetes 是一个生产级别的 容器编排平台 和 集群管理系统 ，能够 创建、调度容器，监控、管理服务器。

  • 容器是什么？容器是软件，是应用，是进程。
  • 服务器是什么？服务器是硬件，是 CPU、内存、硬盘、网卡等。

那么，既可以管理软件，也可以管理硬件，就是一个操作系统（Operating System）。

  • 从某种角度来看，Kubernetes 可以说是一个集群级别的操作系统。
  • 主要功能就是资源管理和作业调度。
  • Kubernetes 不是运行在单机上管理单台计算资源和进程，而是运行在多台服务器上管理几百几千台的计算资源，以及在这些资源上运行的上万上百万的进程，规模要大得多。

由于云原生的兴起，开发人员从一开始就必须考虑后续的部署运维工作，而运维人员也需要在早期介入开发，才能做好应用的运维监控工作。

2 搭建小巧完备的Kubernetes环境

快速搭建 Kubernetes 环境的工具：

  • kind
  • minikube

https://kubernetes.io/zh/docs/tasks/tools/

我们选择minikube来学习Kubernetes。

实验环境：2c4g
https://minikube.sigs.k8s.io/docs/

2.1 安装docker

sudo apt install -y docker.io #安装Docker Enginesudo service docker start #启动docker服务sudo usermod -aG docker ${USER} #当前用户加入docker组，需要重新登录生效docker info

2.2 安装minikube

# Intel x86_64curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64# Apple arm64curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-arm64sudo install minikube /usr/local/bin/

安装完成后，查看minikube版本：

lianhaifeng@lianhaifeng-virtual-machine:~$ minikube versionminikube version: v1.30.1commit: 08896fd1dc362c097c925146c4a0d0dac715ace0

2.3 安装kubectl

要操作 Kubernetes，还需要另一个专门的客户端工具“kubectl”：

minikube kubectl

~/.bashrc追加命令（如果没有的话），简化kubectl命令：

...alias kubectl="minikube kubectl --"source <(kubectl completion bash)

2.4 部署Kubernetes

minikube start --kubernetes-version=v1.23.3

如果对自己的网速不自信的话，可以更换镜像地址：

minikube stopminikube delete --allminikube start --kubernetes-version=v1.23.9 --image-mirror-country='cn' --registry-mirror=https://twm4fpgj.mirror.aliyuncs.com

查看Kubernetes集群状态：

lianhaifeng@lianhaifeng-virtual-machine:~$ minikube statusminikubetype: Control Planehost: Runningkubelet: Runningapiserver: Runningkubeconfig: Configured

查看节点：

lianhaifeng@lianhaifeng-virtual-machine:~$ minikube node listminikube192.168.58.2

运行一个Nginx应用：

kubectl run ngx --image=nginx:alpine
lianhaifeng@lianhaifeng-virtual-machine:~$ kubectl get podsNAME READY STATUSRESTARTS AGEngx1/1 Running 047h

至此，我们已经安装了一个小而美的Kubernetes环境，接下来让我们探索下Kubernets工作机制的奥秘。

3 Kubernetes 的基本架构

操作系统的一个重要功能就是抽象，从繁琐的底层事务中抽象出一些简洁的概念，然后基于这些概念去管理系统资源。

Kubernetes 的管理目标是大规模的集群和应用，必须要能够把系统抽象到足够高的层次，分解出一些松耦合的对象，才能简化系统模型，减轻用户的心智负担。

k8s架构图

  • 采用了现今流行的“控制面 / 数据面”（Control Plane / Data Plane）架构。
  • 集群里的计算机被称为“节点”（Node），可以是实机也可以是虚机。
  • 少量的节点用作控制面来执行集群的管理维护工作。
    • 控制面的节点叫做 Master Node，一般简称为 Master。
    • 是整个集群里最重要的部分，可以说是 Kubernetes 的大脑和心脏。
  • 其它的大部分节点都被划归数据面，用来跑业务应用。
    • 数据面的节点叫做 Worker Node，一般就简称为 Worker 或者 Node。
    • 相当于 Kubernetes 的手和脚，在 Master 的指挥下干活。
    • Node 的数量非常多，构成了一个资源池，Kubernetes 就在这个池里分配资源，调度应用。
    • 因为资源被“池化”了，所以管理也就变得比较简单，可以在集群中任意添加或者删除节点。
  • kubectl，是 Kubernetes 的客户端工具，用来操作 Kubernetes，但它位于集群之外，理论上不属于集群。

查看 Kubernetes 的节点状态：

lianhaifeng@lianhaifeng-virtual-machine:~$ kubectl get nodeNAME STATUS ROLESAGEVERSIONminikube Readycontrol-plane,master 7d4h v1.23.3

可以看到当前的 minikube 集群里只有一个 Master，那 Node 呢？

是因为 Master 和 Node 的划分不是绝对的。当集群的规模较小，工作负载较少的时候，Master 也可以承担 Node 的工作，就像我们搭建的 minikube 环境，它就只有一个节点，这个节点既是 Master 又是 Node。

3.1 节点内部的结构

Kubernetes 的节点内部也具有复杂的结构，是由很多的模块构成的，这些模块又可以分成组件（Component）和插件（Addon）两类：

  • 组件 实现了 Kubernetes 的核心功能特性，没有这些组件 Kubernetes 就无法启动。
  • 插件 则是 Kubernetes 的一些附加功能，不安装也不会影响 Kubernetes 的正常运行。

3.2 Master 里的组件

3.2 Master 里的组件

  • apiserver
    • 是 Master 节点，同时也是整个 Kubernetes 系统的唯一入口。
    • 对外公开了一系列的 RESTful API，并且加上了验证、授权等功能。
    • 所有其它组件都只能和它直接通信，可以说是 Kubernetes 里的联络员。
  • etcd
    • 是一个高可用的分布式 Key-Value 数据库，用来持久化存储系统里的各种资源对象和状态。
    • 相当于 Kubernetes 里的配置管理员。
    • 它只与 apiserver 有直接联系，也就是说任何其它组件想要读写 etcd 里的数据都必须经过 apiserver。
  • scheduler
    • 负责容器的编排工作，检查节点的资源状态。
    • 把 Pod 调度到最适合的节点上运行，相当于部署人员。
    • 因为节点状态和 Pod 信息都存储在 etcd 里，所以 scheduler 必须通过 apiserver 才能获得。
  • controller-manager
    • 负责维护容器和节点等资源的状态。
    • 实现故障检测、服务迁移、应用伸缩等功能，相当于监控运维人员。
    • 它也必须通过 apiserver 获得存储在 etcd 里的信息，才能够实现对资源的各种操作。

这 4 个组件也都被容器化了，运行在集群的 Pod 里，我们可以用 kubectl 来查看它们的状态：

lianhaifeng@lianhaifeng-virtual-machine:~$ kubectl get pod -n kube-systemNAME READY STATUS RESTARTSAGEcoredns-64897985d-d5zbd1/1 Running1 (45h ago) 7d4hetcd-minikube1/1 Running1 (45h ago) 7d4hkube-apiserver-minikube1/1 Running3 7d4hkube-controller-manager-minikube 1/1 Running4 (45h ago) 7d4hkube-proxy-zlztd 1/1 Running1 (45h ago) 7d4hkube-scheduler-minikube1/1 Running1 (45h ago) 7d4hstorage-provisioner0/1 ImagePullBackOff 0 7d4h

-n kube-system 参数，表示检查“kube-system”名字空间里的 Pod。

3.3 Node 里的组件

  • kubelet(非容器化)
    • 是 Node 的代理，负责管理 Node 相关的绝大部分操作。
    • Node 上只有它能够与 apiserver 通信。
    • 实现状态报告、命令下发、启停容器等功能，相当于是 Node 上的一个“小管家”。
  • kube-proxy
    • 是 Node 的网络代理，只负责管理容器的网络通信，简单来说就是为 Pod 转发 TCP/UDP 数据包，相当于是专职的“小邮差”。
  • container-runtime
    • 是容器和镜像的实际使用者。
    • 在 kubelet 的指挥下创建容器，管理 Pod 的生命周期，是真正干活的“苦力”。

Kubernetes 的定位是容器编排平台，所以它没有限定 container-runtime 必须是 Docker，完全可以替换成任何符合标准的其他容器运行时，例如 containerd、CRI-O 等等，只不过在这里我们使用的是Docker。

这 3 个组件中只有 kube-proxy 被容器化了，而 kubelet 因为必须要管理整个节点，容器化会限制它的能力，所以它必须在 container-runtime 之外运行。

使用 minikube ssh 命令登录到节点后，可以用 docker ps 看到 kube-proxy：

lianhaifeng@lianhaifeng-virtual-machine:~$ minikube sshLast login: Sun May 21 11:53:08 2023 from 192.168.58.1docker@minikube:~$ docker psCONTAINER ID IMAGECOMMANDCREATEDSTATUSPORTS NAMEScafb3f8e014e nginx"/docker-entrypoint.…" 46 hours ago Up 46 hours k8s_ngx_ngx_default_066a844b-d429-4057-aca1-536c04d38f70_06f488ea5ca69 k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_ngx_default_066a844b-d429-4057-aca1-536c04d38f70_05b77694e7e89 a4ca41631cc7 "/coredns -conf /etc…" 46 hours ago Up 46 hours k8s_coredns_coredns-64897985d-d5zbd_kube-system_99c6f163-5738-41d8-ab8f-9a42dc3c6331_174d32f36a523 k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_storage-provisioner_kube-system_7fa7c71e-cc6a-4408-8b70-8b15534a10c8_10a2443c55984 k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_coredns-64897985d-d5zbd_kube-system_99c6f163-5738-41d8-ab8f-9a42dc3c6331_1048758be7002 9b7cc9982109 "/usr/local/bin/kube…" 46 hours ago Up 46 hours k8s_kube-proxy_kube-proxy-zlztd_kube-system_b294b472-367b-44ca-8781-fab810428037_11148430b4e0f k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_kube-proxy-zlztd_kube-system_b294b472-367b-44ca-8781-fab810428037_15d164c717143 25f8c7f3da61 "etcd --advertise-cl…" 46 hours ago Up 46 hours k8s_etcd_etcd-minikube_kube-system_482305b50d4b0d3dbab5b9f1be9b0b18_178b7581b6659 b07520cd7ab7 "kube-controller-man…" 46 hours ago Up 46 hours k8s_kube-controller-manager_kube-controller-manager-minikube_kube-system_b965983ec05322d0973594a01d5e8245_43b81da17d618 f40be0088a83 "kube-apiserver --ad…" 46 hours ago Up 46 hours k8s_kube-apiserver_kube-apiserver-minikube_kube-system_b7b1a80caec341a470c95988d72c0626_3431f68d5dec6 99a3486be4f2 "kube-scheduler --au…" 46 hours ago Up 46 hours k8s_kube-scheduler_kube-scheduler-minikube_kube-system_be132fe5c6572cb34d93f5e05ce2a540_1315d15480c7d k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_kube-controller-manager-minikube_kube-system_b965983ec05322d0973594a01d5e8245_1799bfc75e1af k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_kube-apiserver-minikube_kube-system_b7b1a80caec341a470c95988d72c0626_13a67d5e7cebb k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_etcd-minikube_kube-system_482305b50d4b0d3dbab5b9f1be9b0b18_1729db09d17a6 k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_kube-scheduler-minikube_kube-system_be132fe5c6572cb34d93f5e05ce2a540_1docker@minikube:~$ docker ps |grep kube-proxy048758be7002 9b7cc9982109 "/usr/local/bin/kube…" 46 hours ago Up 46 hours k8s_kube-proxy_kube-proxy-zlztd_kube-system_b294b472-367b-44ca-8781-fab810428037_11148430b4e0f k8s.gcr.io/pause:3.6 "/pause" 46 hours ago Up 46 hours k8s_POD_kube-proxy-zlztd_kube-system_b294b472-367b-44ca-8781-fab810428037_1

退出(exit)，查看 kubelet：

lianhaifeng@lianhaifeng-virtual-machine:~$ ps -ef|grep kubeletroot454730776 04:21 " />3.4 组件总结 
 
Kubernetes的大致工作流程：
 
  • 每个 Node 上的 kubelet 会定期向 apiserver 上报节点状态，apiserver 再存到 etcd 里。
  • 每个 Node 上的 kube-proxy 实现了 TCP/UDP 反向代理，让容器对外提供稳定的服务。
  • scheduler 通过 apiserver 得到当前的节点状态，调度 Pod，然后 apiserver 下发命令给某个 Node 的 kubelet，kubelet 调用 container-runtime 启动容器。
  • controller-manager 也通过 apiserver 得到实时的节点状态，监控可能的异常情况，再使用相应的手段去调节恢复。
 
3.4 插件
 
minikube 也支持很多的插件，使用命令minikube addons list就可以查看插件列表：
 
lianhaifeng@lianhaifeng-virtual-machine:~$ minikube addons list|-----------------------------|----------|--------------|--------------------------------|| ADDON NAME| PROFILE|STATUS| MAINTAINER ||-----------------------------|----------|--------------|--------------------------------|| ambassador| minikube | disabled | 3rd party (Ambassador) || auto-pause| minikube | disabled | Google || cloud-spanner | minikube | disabled | Google || csi-hostpath-driver | minikube | disabled | Kubernetes || dashboard | minikube | disabled | Kubernetes || default-storageclass| minikube | enabled ✅ | Kubernetes || efk | minikube | disabled | 3rd party (Elastic)|| freshpod| minikube | disabled | Google || gcp-auth| minikube | disabled | Google || gvisor| minikube | disabled | Google || headlamp| minikube | disabled | 3rd party (kinvolk.io) || helm-tiller | minikube | disabled | 3rd party (Helm) || inaccel | minikube | disabled | 3rd party (InAccel || ||| [info@inaccel.com])|| ingress | minikube | disabled | Kubernetes || ingress-dns | minikube | disabled | Google || istio | minikube | disabled | 3rd party (Istio)|| istio-provisioner | minikube | disabled | 3rd party (Istio)|| kong| minikube | disabled | 3rd party (Kong HQ)|| kubevirt| minikube | disabled | 3rd party (KubeVirt) || logviewer | minikube | disabled | 3rd party (unknown)|| metallb | minikube | disabled | 3rd party (MetalLB)|| metrics-server| minikube | disabled | Kubernetes || nvidia-driver-installer | minikube | disabled | Google || nvidia-gpu-device-plugin| minikube | disabled | 3rd party (Nvidia) || olm | minikube | disabled | 3rd party (Operator Framework) || pod-security-policy | minikube | disabled | 3rd party (unknown)|| portainer | minikube | disabled | 3rd party (Portainer.io) || registry| minikube | disabled | Google || registry-aliases| minikube | disabled | 3rd party (unknown)|| registry-creds| minikube | disabled | 3rd party (UPMC Enterprises) || storage-provisioner | minikube | enabled ✅ | Google || storage-provisioner-gluster | minikube | disabled | 3rd party (Gluster)|| volumesnapshots | minikube | disabled | Kubernetes ||-----------------------------|----------|--------------|--------------------------------|
比较重要的有两个：DNS 和 Dashboard。
  • DNS
    • 在 Kubernetes 集群里实现了域名解析服务，能够让我们以域名而不是 IP 地址的方式来互相通信。
    • 是服务发现和负载均衡的基础。
    • 由于它对微服务、服务网格等架构至关重要，所以基本上是 Kubernetes 的必备插件。
  • Dashboard
    • 仪表盘，为 Kubernetes 提供了一个图形化的操作界面，非常直观友好。
    • 虽然大多数 Kubernetes 工作都是使用命令行 kubectl，但有的时候在 Dashboard 上查看信息也是挺方便的。
只要在 minikube 环境里执行一条简单的命令，就可以自动用浏览器打开 Dashboard 页面，而且还支持中文：
lianhaifeng@lianhaifeng-virtual-machine:~/桌面$ minikube dashboard正在验证 dashboard 运行情况 ...Launching proxy ...正在验证 proxy 运行状况 ...Opening http://127.0.0.1:36667/api/v1/namespaces/kubernetes-dashboard/services/http:kubernetes-dashboard:/proxy/ in your default browser...Gtk-Message: 20:12:44.459: Not loading module "atk-bridge": The functionality is provided by GTK natively. Please try to not load it.
宿主机本地访问：
4 总结
Kubernetes功能非常完善，实现了大部分常见的运维管理工作，而且是全自动化的，能够节约大量的人力成本。
  1. Kubernetes 能够在集群级别管理应用和服务器，可以认为是一种集群操作系统。它使用“控制面 / 数据面”的基本架构，Master 节点实现管理控制功能，Worker 节点运行具体业务。
  2. Kubernetes 由很多模块组成，可分为核心的组件和选配的插件两类。Master 里有 4 个组件，分别是 apiserver、etcd、scheduler、controller-manager。
  3. Node 里有 3 个组件，分别是 kubelet、kube-proxy、container-runtime。
  4. 通常必备的插件有 DNS 和 Dashboard。