使用kubeadm部署多节点集群
命令行工具
在 kubernetes 中,主要有三个日常使用的工具,这些工具使用 kube 前缀命名,这三个工具如下:
kubeadm
:用来初始化集群的指令,能够创建集群已经添加新的节点。可用其它部署工具替代。kubelet
:在集群中的每个节点上用来启动 Pod 和容器等,每个节点必须有,相对于节点与集群的网络代理。kubectl
:用来与集群通信/交互的命令行工具,与 kubernetes API-Server 通讯,是我们操作集群的客户端。
kubelet、kubectl,kubelet 负责集群中节点间的通讯,kubectl 供用户输入命令控制集群,而且 kubeadm 则是创建集群、添加减少节点的工具。
安装命令行工具
命令行工具是每个节点都需要安装的, kubectl、kubelet 两个是必需的组件,而 kubeadm 则可以被代替。kubeadm 是 Kubenetes 官方推荐的部署工具,但由于网络等各方面原因,中文社区中也开发了一些替代项目,例如 Kubesphere(https://kubesphere.com.cn/),可在国内部署 Kubernetes,省去网络问题。
通过软件仓库安装
下面介绍如何 通过 Google 的源下载安装工具包。
更新 apt
包索引并安装使用 Kubernetes apt
仓库所需要的包:
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl
下载 Google Cloud 公开签名秘钥:
sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
添加 Kubernetes apt
仓库:
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
注:如果是国内服务器,请忽略以上两步,使用以下命令解决:
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
更新 apt
包索引,安装 kubelet、kubeadm 和 kubectl,并锁定其版本:
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
执行命令检查是否正常:
kubeadm --help
不同操作系统
只是这里介绍一下 ubuntu 和 centos 不同的安装方法,已经通过前面的安装方法安装好,则不需要理会这一小节。
Ubuntu 和 Debain 等系统可以使用以下命令通过软件仓库安装:
sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2 curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
Centos、RHEL 等系统可以使用以下命令通过软件仓库安装:
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet kubeadm kubectl
集群管理
创建 kubernetes 集群
Kubeadm 是一个创建管理工具,主要提供了 kubeadm init
和 kubeadm join
两个命令,作为创建 Kubernetes 集群的 “快捷途径” 的最佳实践。
Kubernetes 集群由 Master 和 Worker 两种节点组成,Master 节点负责控制集群所有的节点。
注意,本教程集群中的节点应当都是内网可互通的服务器,这些服务器之间可以通过内网相互访问。如果是服务器之间通过公网相互通讯的,操作方法请查询其它教程。
1,创建 Master
执行 hostname -i
查看此 node 的 ip。
我们初始化一个 API Server 服务,绑定地址为 192.168.0.8(按照你的ip改)。此步骤创建了一个 master 节点。
注:可以直接使用 kubeadm init
,它会自动使用默认网络ip。
kubeadm init
# 或 kubeadm init --apiserver-advertise-address 192.168.0.8
# 或 kubeadm init --apiserver-advertise-address $(hostname -i)
部署失败,可以参考下面两个命令,查看失败原因。
systemctl status kubelet journalctl -xeu kubelet
常见与 Docker 有关的错误可参考: https://kubernetes.io/docs/setup/production-environment/container-runtimes/#docker
完成后,会提示一些信息,在提示的内容中找到:
kubeadm join 192.168.0.8:6443 --token q25z3f.v5uo5bphvgxkjnmz \
--discovery-token-ca-cert-hash sha256:0496adc212112b5485d0ff12796f66b29237d066fbc1d4d2c5e45e6add501f64
保存这段信息下来备用,后面加入节点时需要使用到。
如果有提示 Alternatively, if you are the root user, you can run:
则你还需要执行下面的命令。
export KUBECONFIG=/etc/kubernetes/admin.conf
[Info] 提示
admin.conf 是连接 Kubernetes 的认证文件,通过此文件才能连接到 kubernetes,kubectl 也需要这个文件;在 Linux 中,使用 KUBECONFIG 环境变量知道认证文件的所在。
Linux 中每个用户的环境变量是不同的,如果切换了用户,则也需要设置 KUBECONFIG 环境变量;如果要在别的节点上连接集群,则可以把这个文件复制过去。
后面的操作都需要 admin.conf 文件,否则会报 The connection to the server localhost:8080 was refused - did you specify the right host or port?
。
由于 export
的环境变量不能持久化,请打开 ~/.bashrc
文件,把这个命令加到文件最后面。
[Info] 提示
为了保护 /etc/kubernetes/admin.conf,避免直接指向,建议每个用户复制一次此文件到用户目录下,其命令如下:
mkdir -p $HOME/.kube cp -f /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config
2,初始化网络
这一步不是必需的,不过一般来说,部署 Kubernetes 会配置网络,否则会节点之间不能相互访问,读者可以跟着做一次,在后面的章节中我们在一探究竟。
通过远程配置文件初始化网络,需要从第三方拉取一个 yaml 文件。
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" --namespace=kube-system
# --namespace=kube-system 表示插件放到 kube-system 命名空间中运行
成功的话会提示:
serviceaccount/weave-net created
clusterrole.rbac.authorization.k8s.io/weave-net created
clusterrolebinding.rbac.authorization.k8s.io/weave-net created
role.rbac.authorization.k8s.io/weave-net created
rolebinding.rbac.authorization.k8s.io/weave-net created
daemonset.apps/weave-net created
我们也可以手动配置,执行 kubectl version
查看版本号,找到 GitVersion:v1.21.1
,替换 yaml 文件的地址 https://cloud.weave.works/k8s/net?k8s-version=v1.21.1
,然后执行 kubectl apply -n kube-system -f net.yaml
即可。
3,加入集群
前面已经创建了 Master 节点,接下来将另一个服务器以 Worker 节点的方式加入集群中。如果读者只有一台服务器,则可以跳过这个步骤。
当节点加入 kubeadm 初始化的集群时,双方需要建立双向信任,分为发现(Worker信任Master) 和 TLS 引导(Master信任待加入Worker)两部分。目前有两种加入方式,一种是通过令牌加入,一种是通过 kubeconfig 文件加入。
格式:
kubeadm join --discovery-token abcdef.xxx {IP}:6443 --discovery-token-ca-cert-hash sha256:xxx
kubeadm join--discovery-file file.conf
在第二个节点中,使用之前备份好的命令,直接执行,加入集群,格式如下命令所示。
kubeadm join 192.168.0.8:6443 --token q25z3f.v5uo5bphvgxkjnmz \
--discovery-token-ca-cert-hash sha256:0496adc212112b5485d0ff12796f66b29237d066fbc1d4d2c5e45e6add501f64
复制粘贴时,要注意,可能会由于 \
换行符,导致粘贴时,多了一个小数点,导致报错。
可能碰到的问题
查看 docker 版本:yum list installed | grep docker
和 docker version
。
如果部署过程中出现 failed to parse kernel config: unable to load kernel module
,也说明了 docker 版本太高,需要降级。
如果服务器装了 dnf,那么降级 docker 版本的命令:
dnf remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
dnf -y install dnf-plugins-core
dnf install docker-ce-18.06.3.ce-3.el7 docker-ce-cli containerd.io
不行的话就按照 https://docs.docker.com/engine/install/centos/ 降级,或者自行按照其它方法处理。
注意,docker version
会看到 client 和 server 版本,两者的版本号可能不一致。
删除节点
在生产环境中,由于节点上已经部署着服务,因此直接删除节点,可能会导致严重的故障问题。因此需要移除一个节点时,首先要在此节点上驱逐所有 Pods,Kubernetes 会自动将此节点上的 Pod 转移到其它节点上部署(第三章会讲)。
获取集群中的所有节点,找到需要驱逐的节点名称。
kubectl get nodes
驱逐此节点上所有的 Pod:
kubectl drain {node名称}
虽然驱逐了节点上所有的服务,但是节点依然在集群中,只是 Kubernetes 不会再部署 Pod 到此节点上。如果需要恢复此节点,允许继续部署 Pod,可使用:
kubectl uncordon {节点名称}
关于驱逐,后面的章节会学习到。
注:驱逐 Pod,并一定能够驱逐所有 Pod,有些 Pod 可能不会被清除。
最终删除此节点:
kubectl delete node {节点名称}
集群删除了此节点后,节点上还保留着一些数据,可以继续清除环境。
清除环境
如果步骤做错了想重来,或者移除节点需要清除环境,可以执行 kubeadm reset [flags]
命令。
注:只执行 kubeadm reset
命令无效。
[flags]
有四种类型:
preflight Run reset pre-flight checks
update-cluster-status Remove this node from the ClusterStatus object.
remove-etcd-member Remove a local etcd member.
cleanup-node Run cleanup node.
我们需要执行:
kubeadm reset cleanup-node
kubeadm reset
即可在当前服务器上清除 Kubernetes 残留的 容器或者其它数据。
到此这篇关于使用kubeadm部署多节点集群的文章就介绍到这了。希望对大家的学习有所帮助,也希望大家多多支持编程网。
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341