v1.16.1 calico3.9

This commit is contained in:
huanqing.shao
2019-10-16 22:56:32 +08:00
parent 4d826a5d0f
commit 21be8e0d52
11 changed files with 691 additions and 163 deletions

View File

@ -0,0 +1,507 @@
---
vssueId: 16
description: Kubernete安装文档_使用kubeadm安装高可用的Kubernetes_v1.15.3集群_可用于生产环境
meta:
- name: keywords
content: Kubernetes集群,Kubernetes高可用,Kubernetes生产环境
# storyBook:
# title: '使用 kubeadm 安装 kubernetes v1.15.3(高可用)'
# initial: FullPage
# pages:
# - name: overview
# title: 配置要求
# - name: step1
# title: 检查环境
# - name: step2
# title: 安装 docker/kubelet
# - name: step3
# title: 初始化 apiserver 集群
# - name: step4
# title: 初始化 worker 节点
# - name: step5
# title: 安装 Ingress Controller
# - name: step6
# title: 总结
---
# 安装Kubernetes高可用
<AdSenseTitle/>
<!-- <StoryBook>
<div slot="overview"> -->
::: tip
推荐初学者按照 [安装Kubernetes 单Master节点](install-k8s.html) 文档进行 Kubernetes 集群搭建
:::
## 介绍
kubernetes 安装有多种选择,本文档描述的集群安装具备如下特点:
* Kubernetes 1.15.3
* calico 3.8.2
* nginx-ingress 1.5.3
* Docker 18.09.7
* 三个 master 组成主节点集群,通过内网 loader balancer 实现负载均衡;至少需要三个 master 节点才可组成高可用集群,否则会出现 ***脑裂*** 现象
* 多个 worker 组成工作节点集群,通过外网 loader balancer 实现负载均衡
安装后的拓扑图如下:<a :href="$withBase('/kuboard.rp')" download="www.kuboard.cn.rp">下载拓扑图源文件</a> <font color="#999">使用Axure RP 9.0可打开该文件</font>
![Kubernetes安装拓扑结构](/images/topology/kubernetes.png)
* **在线答疑**
<Qq></Qq> 也可以扫描二维码加群
<p>
<img src="/images/kuboard_qq.png" alt="Kubernetes教程QQ群在线答疑"/>
</p>
<!-- <div>
<div style="margin-top: 10px;">未打赏用户可进 QQ 群聊,<span style="color: red;">打赏用户可进微信群聊</span>。</div>
<div style="margin-top: 10px;">
<span>扫第一个二维码完成打赏,扫第二个进微信群聊。</span> <span style="color: #CCC">QQ 群聊二维码在左侧导航栏下方。</span>
<p style="margin-top: 10px;">
<img src="/images/dz.png" style="width: 150px; margin-right: 150px;"></img>
<img src="/images/dz2.jpeg" style="width: 150px;"></img>
</p>
</div>
</div> -->
<!-- </div>
<div slot="step1"> -->
## 检查 centos / hostname
``` sh
# 在 master 节点和 worker 节点都要执行
cat /etc/redhat-release
# 此处 hostname 的输出将会是该机器在 Kubernetes 集群中的节点名字
hostname
```
**操作系统兼容性**
| CentOS 版本 | 本文档是否兼容 | 备注 |
| ----------- | --------------------------------------- | ----------------------------------- |
| 7.7 | <span style="font-size: 24px;">😄</span> | 已验证 |
| 7.6 | <span style="font-size: 24px;">😄</span> | 已验证 |
| 7.5 | <span style="font-size: 24px;">😄</span> | 已验证 |
| 7.4 | <span style="font-size: 24px;">🤔</span> | 待验证 |
| 7.3 | <span style="font-size: 24px;">🤔</span> | 待验证 |
| 7.2 | <span style="font-size: 24px;">😞</span> | 已证实会出现 kubelet 无法启动的问题 |
::: tip 修改 hostname
如果您需要修改 hostname可执行如下指令
``` sh
# 修改 hostname
hostnamectl set-hostname your-new-host-name
# 查看修改结果
hostnamectl status
```
:::
<!-- </div>
<div slot="step2"> -->
## 安装 docker / kubelet
使用 root 身份在所有节点执行如下代码,以安装软件:
- docker
- nfs-utils
- kubectl / kubeadm / kubelet
<el-tabs type="border-card">
<el-tab-pane label="快速安装">
``` sh
# 在 master 节点和 worker 节点都要执行
curl -sSL https://kuboard.cn/install-script/v1.15.3/install_kubelet.sh | sh
```
</el-tab-pane>
<el-tab-pane label="手动安装">
手动执行以下代码,效果与快速安装完全相同。
<<< @/.vuepress/public/install-script/v1.15.3/install_kubelet.sh
::: warning
如果此时执行 `service status kubelet` 命令,将得到 kubelet 启动失败的错误提示,请忽略此错误,因为必须完成后续步骤中 kubeadm init 的操作kubelet 才能正常启动
:::
</el-tab-pane>
</el-tabs>
<!-- </div>
<div slot="step3"> -->
## 初始化API Server
### 创建 ApiServer 的 Load Balancer私网
监听端口6443 / TCP
后端资源组:包含 demo-master-a-1, demo-master-b-1, demo-master-b-2
后端端口6443
开启 按源地址保持会话
假设完成创建以后Load Balancer的 ip 地址为 x.x.x.x
### 初始化第一个master节点
::: tip
* 以 root 身份在 demo-master-a-1 机器上执行
* 初始化 master 节点时,如果因为中间某些步骤的配置出错,想要重新初始化 master 节点,请先执行 `kubeadm reset` 操作
:::
::: danger 关于初始化时用到的环境变量
* **APISERVER_NAME** 不能是 master 的 hostname
* **APISERVER_NAME** 必须全为小写字母、数字、小数点,不能包含减号
* **POD_SUBNET** 所使用的网段不能与 ***master节点/worker节点*** 所在的网段重叠。该字段的取值为一个 <a href="/glossary/cidr.html" target="_blank">CIDR</a> 值,如果您对 CIDR 这个概念还不熟悉,请不要修改这个字段的取值 10.100.0.1/16
:::
<el-tabs type="border-card">
<el-tab-pane label="快速初始化">
在第一个 master 节点 demo-master-a-1 上执行
``` sh
# 只在 master 节点执行
# 替换 apiserver.demo 为 您想要的 dnsName
export APISERVER_NAME=apiserver.demo
# Kubernetes 容器组所在的网段,该网段安装完成后,由 kubernetes 创建,事先并不存在于您的物理网络中
export POD_SUBNET=10.100.0.1/16
echo "127.0.0.1 ${APISERVER_NAME}" >> /etc/hosts
curl -sSL https://kuboard.cn/install-script/v1.15.3/init_master.sh | sh
```
</el-tab-pane>
<el-tab-pane label="手工初始化">
``` sh
# 只在 master 节点执行
# 替换 apiserver.demo 为 您想要的 dnsName
export APISERVER_NAME=apiserver.demo
# Kubernetes 容器组所在的网段,该网段安装完成后,由 kubernetes 创建,事先并不存在于您的物理网络中
export POD_SUBNET=10.100.0.1/16
echo "127.0.0.1 ${APISERVER_NAME}" >> /etc/hosts
```
<<< @/.vuepress/public/install-script/v1.15.3/init_master.sh
</el-tab-pane>
</el-tabs>
***执行结果***
执行结果中:
* 第15、16、17行用于初始化第二、三个 master 节点
* 第25、26行用于初始化 worker 节点
``` sh {15,16,17,25,26}
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of the control-plane node running the following command on each as root:
kubeadm join apiserver.k8s:6443 --token 4z3r2v.2p43g28ons3b475v \
--discovery-token-ca-cert-hash sha256:959569cbaaf0cf3fad744f8bd8b798ea9e11eb1e568c15825355879cf4cdc5d6 \
--control-plane --certificate-key 41a741533a038a936759aff43b5680f0e8c41375614a873ea49fde8944614dd6
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join apiserver.k8s:6443 --token 4z3r2v.2p43g28ons3b475v \
--discovery-token-ca-cert-hash sha256:959569cbaaf0cf3fad744f8bd8b798ea9e11eb1e568c15825355879cf4cdc5d6
```
**检查 master 初始化结果**
``` sh
# 只在第一个 master 节点执行
# 执行如下命令,等待 3-10 分钟,直到所有的容器组处于 Running 状态
watch kubectl get pod -n kube-system -o wide
# 查看 master 节点初始化结果
kubectl get nodes
```
### 初始化第二、三个master节点
**获得 master 节点的 join 命令**
<el-tabs type="border-card">
<el-tab-pane label="和第一个Master节点一起初始化">
初始化第一个 master 节点时的输出内容中第15、16、17行就是用来初始化第二、三个 master 节点的命令,如下所示:<font color="red">此时请不要执行该命令</font>
``` sh
kubeadm join apiserver.k8s:6443 --token 4z3r2v.2p43g28ons3b475v \
--discovery-token-ca-cert-hash sha256:959569cbaaf0cf3fad744f8bd8b798ea9e11eb1e568c15825355879cf4cdc5d6 \
--control-plane --certificate-key 41a741533a038a936759aff43b5680f0e8c41375614a873ea49fde8944614dd6
```
</el-tab-pane>
<el-tab-pane label="第一个Master节点初始化2个小时后再初始化">
**获得 certificate key**
在 demo-master-a-1 上执行
```sh
# 只在 第一个 master 节点 demo-master-a-1 上执行
kubeadm init phase upload-certs --upload-certs
```
输出结果如下:
``` sh {6}
[root@demo-master-a-1 ~]# kubeadm init phase upload-certs --upload-certs
W0902 09:05:28.355623 1046 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
W0902 09:05:28.355718 1046 version.go:99] falling back to the local client version: v1.15.3
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
70eb87e62f052d2d5de759969d5b42f372d0ad798f98df38f7fe73efdf63a13c
```
**获得 join 命令**
在 demo-master-a-1 上执行
``` sh
# 只在 第一个 master 节点 demo-master-a-1 上执行
kubeadm token create --print-join-command
```
输出结果如下:
``` sh {2}
[root@demo-master-a-1 ~]# kubeadm token create --print-join-command
kubeadm join apiserver.demo:6443 --token bl80xo.hfewon9l5jlpmjft --discovery-token-ca-cert-hash sha256:b4d2bed371fe4603b83e7504051dcfcdebcbdcacd8be27884223c4ccc13059a4
```
则,第二、三个 master 节点的 join 命令如下:
* 命令行中,蓝色部分来自于前面获得的 join 命令,红色部分来自于前面获得的 certificate key
<div style="background-color: #ddd; padding: 20px; line-height: 20px;">
<font color="blue">kubeadm join apiserver.demo:6443 --token ejwx62.vqwog6il5p83uk7y \<br/>
--discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303 </font>\<br/>
--control-plane --certificate-key <font color="red">70eb87e62f052d2d5de759969d5b42f372d0ad798f98df38f7fe73efdf63a13c</font>
</div>
</el-tab-pane>
</el-tabs>
**初始化第二、三个 master 节点**
在 demo-master-b-1 和 demo-master-b-2 机器上执行
``` sh
# 只在第二、三个 master 节点 demo-master-b-1 和 demo-master-b-2 执行
# 替换 x.x.x.x 为 ApiServer LoadBalancer 的 IP 地址
export APISERVER_IP=x.x.x.x
# 替换 apiserver.demo 为 前面已经使用的 dnsName
export APISERVER_NAME=apiserver.demo
echo "${APISERVER_IP} ${APISERVER_NAME}" >> /etc/hosts
# 使用前面步骤中获得的第二、三个 master 节点的 join 命令
kubeadm join apiserver.demo:6443 --token ejwx62.vqwog6il5p83uk7y \
--discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303 \
--control-plane --certificate-key 70eb87e62f052d2d5de759969d5b42f372d0ad798f98df38f7fe73efdf63a13c
```
**检查 master 初始化结果**
``` sh
# 只在第一个 master 节点 demo-master-a-1 执行
# 查看 master 节点初始化结果
kubectl get nodes
```
<!-- </div>
<div slot="step4"> -->
## 初始化 worker节点
### 获得 join命令参数
<el-tabs type="border-card">
<el-tab-pane label="和第一个Master节点一起初始化">
初始化第一个 master 节点时的输出内容中第25、26行就是用来初始化 worker 节点的命令,如下所示:<font color="red">此时请不要执行该命令</font>
``` sh
kubeadm join apiserver.k8s:6443 --token 4z3r2v.2p43g28ons3b475v \
--discovery-token-ca-cert-hash sha256:959569cbaaf0cf3fad744f8bd8b798ea9e11eb1e568c15825355879cf4cdc5d6
```
</el-tab-pane>
<el-tab-pane label="第一个Master节点初始化2个小时后再初始化">
**在第一个 master 节点 demo-master-a-1 节点执行**
```bash
# 只在第一个 master 节点 demo-master-a-1 上执行
kubeadm token create --print-join-command
```
可获取kubeadm join 命令及参数,如下所示
```bash
kubeadm join apiserver.demo:6443 --token mpfjma.4vjjg8flqihor4vt --discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303
```
</el-tab-pane>
</el-tabs>
### 初始化worker
**针对所有的 worker 节点执行**
```sh
# 只在 worker 节点执行
# 替换 ${APISERVER_IP} 为 ApiServer LoadBalancer 的 IP 地址
# 替换 ${APISERVER_NAME} 为 前面已经使用的 dnsName
echo "${APISERVER_IP} ${APISERVER_NAME}" >> /etc/hosts
# 替换为前面 kubeadm token create --print-join-command 的输出结果
kubeadm join apiserver.demo:6443 --token mpfjma.4vjjg8flqihor4vt --discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303
```
### 检查 worker 初始化结果
在第一个master节点 demo-master-a-1 上执行
```sh
# 只在第一个 master 节点 demo-master-a-1 上执行
kubectl get nodes
```
## 移除 worker 节点
::: warning
正常情况下,您无需移除 worker 节点
:::
在准备移除的 worker 节点上执行
```sh
kubeadm reset
```
在第一个 master 节点 demo-master-a-1 上执行
```sh
kubectl delete node demo-worker-x-x
```
> * 将 demo-worker-x-x 替换为要移除的 worker 节点的名字
> * worker 节点的名字可以通过在第一个 master 节点 demo-master-a-1 上执行 kubectl get nodes 命令获得
<!-- </div>
<div slot="step5"> -->
## 安装 Ingress Controller
> Ingress官方文档https://kubernetes.io/docs/concepts/services-networking/ingress/
>
> Ingress Controllers官网介绍https://kubernetes.io/docs/concepts/services-networking/ingress-controllers/
>
> 本文中使用如下部署方式https://kubernetes.github.io/ingress-nginx/deploy/baremetal/#using-a-self-provisioned-edge
>
> kubernetes支持多种Ingress Controllers (traefic / Kong / Istio / Nginx 等),本文推荐使用 https://github.com/nginxinc/kubernetes-ingress
<el-tabs type="border-card">
<el-tab-pane label="快速安装">
**在 master 节点上执行**
``` sh
# 只在第一个 master 节点 demo-master-a-1 上执行
kubectl apply -f https://kuboard.cn/install-script/v1.15.3/nginx-ingress.yaml
```
</el-tab-pane>
<el-tab-pane label="YAML文件">
<<< @/.vuepress/public/install-script/v1.15.3/nginx-ingress.yaml
</el-tab-pane>
</el-tabs>
::: warning
如果您打算将 Kubernetes 用于生产环境,请参考此文档 [Installing Ingress Controller](https://github.com/nginxinc/kubernetes-ingress/blob/v1.5.3/docs/installation.md),完善 Ingress 的配置
:::
### 在 IaaS 层完成如下配置(**公网Load Balancer**
创建负载均衡 Load Balancer
* 监听器 180 / TCP SOURCE_ADDRESS 会话保持
* 服务器资源池 1 demo-worker-x-x 的所有节点的 80端口
* 监听器 2443 / TCP SOURCE_ADDRESS 会话保持
* 服务器资源池 2 demo-worker-x-x 的所有节点的443端口
假设刚创建的负载均衡 Load Balancer 的 IP 地址为: z.z.z.z
### 配置域名解析
将域名 *.demo.yourdomain.com 解析到地址负载均衡服务器 的 IP 地址 z.z.z.z
### 验证配置
在浏览器访问 a.demo.yourdomain.com将得到 404 NotFound 错误页面
<!-- </div>
<div slot="step6"> -->
## 下一步
:tada: :tada: :tada:
您已经完成了 Kubernetes 集群的安装,下一步请:
[安装 Kuboard](/install/install-dashboard.html)
安装 Kuboard 之前先
<a target="_blank" :href="`http://demo.kuboard.cn/#/dashboard?k8sToken=${$site.themeConfig.kuboardToken}`">
在线体验 Kuboard
</a>
<!-- </div>
</StoryBook> -->

View File

@ -31,78 +31,6 @@ meta:
<!-- <AdSenseTitle/> -->
<script>
const ENV_COUNT = 5
export default {
data () {
let validateEnv = (rule, value, callback) => {
if (value.length < ENV_COUNT) {
callback(new Error('请确认您的环境符合上述条件'));
} else {
callback();
}
};
return {
form: {
checked: []
},
rules: {
checked: [{validator: validateEnv, trigger: 'change'}]
}
}
},
computed: {
envOk () {
if (this.form.checked.length === ENV_COUNT) {
return true
}
return false
}
},
mounted () {
},
watch: {
'form.checked' () {
if (this.form.checked.length === ENV_COUNT) {
}
},
envOk () {
if (this.envOk) {
this.$sendGaEvent('install-k8s', 'envOk', '安装k8s-已确认环境符合条件')
}
}
},
methods: {
downloadDiagram () {
console.log('尝试发送 ga event')
if (window.ga) {
window.ga('send', {
hitType: 'event',
eventCategory: '安装K8S',
eventAction: 'Download',
eventLabel: '下载拓扑图源文件'
});
console.log('发送成功 ga event')
} else {
console.log('开发环境,不发送 ga event')
}
},
canSlideNext (currentName) {
if (currentName === 'step1' && this.form.checked.length < ENV_COUNT) {
this.$refs.envForm.validate(valid => {
})
return { flag: false, message: '请翻到本页最下方,并确认您的环境符合要求的条件' }
}
return { flag: true, message: 'can slide next' }
}
}
}
</script>
<!-- <StoryBook>
<div slot="introduction"> -->
@ -122,7 +50,7 @@ export default {
* **持续更新和完善**
* 始终有最新的 Kubernetes 稳定版安装文档,当前版本 v1.16.1
* 当前已更新了 <font color="red"> 60</font> [查看更新历史](https://github.com/eip-work/kuboard-press/commits/master/install/install-k8s.md)
* 当前已更新了 <font color="red"> 61</font> [查看更新历史](https://github.com/eip-work/kuboard-press/commits/master/install/install-k8s.md)
* **在线答疑**
@ -165,7 +93,7 @@ export default {
**安装后的软件版本为**
* Kubernetes v1.16.1
* calico 3.8.2
* calico 3.9
* nginx-ingress 1.5.5
* Docker 18.09.7
@ -184,7 +112,7 @@ export default {
</grid-item>
</grid>
安装后的拓扑图如下:<span v-on:click="downloadDiagram"><a :href="$withBase('/kuboard.rp')" download="www.kuboard.cn.rp">下载拓扑图源文件</a></span> <font color="#999">使用Axure RP 9.0可打开该文件</font>
安装后的拓扑图如下:<span v-on:click="$sendGaEvent('下载拓扑图-kubernetes', '下载拓扑图-kubernetes', 'Download-install-kubernetes.html')"><a :href="$withBase('/kuboard.rp')" download="www.kuboard.cn.rp">下载拓扑图源文件</a></span> <font color="#999">使用Axure RP 9.0可打开该文件</font>
<p style="max-width: 720px;">
<img src="/images/topology/k8s.png" style="max-width: 100%;" alt="Kubernetes安装Kubernetes安装拓扑图">
@ -261,43 +189,7 @@ echo "127.0.0.1 $(hostname)" >> /etc/hosts
## 安装 docker / kubelet
<!-- <transition-group name="el-zoom-in-top"> -->
<div v-show="!envOk" key="not">
<grid :rwd="{compact: 'stack'}">
<grid-item size="2/3" :rwd="{tablet: '1/1', compact: '1/1'}" style="padding: 1rem 0 1rem 1rem;">
<div>
::: danger 必须选中下面的四个勾选框才能继续
* 选中后显示 **安装 docker/kubelet 的文档**
<div style="display: inline-block; width: 480px; max-width: calc(100vw - 100px); overflow: hidden; line-height: 40px; background-color: rgba(255,229,100,0.3); padding: 20px 0 0 20px; margin-bottom: 20px; border: 1px solid #d7dae2;">
<el-form :model="form" ref="envForm" :rules="rules" style="text-align: left;">
<el-form-item prop="checked" class="env-form-item">
<el-checkbox-group v-model="form.checked">
<li style="height: 40px;"> <el-checkbox style="width: 300px; max-width: calc(100vw - 100px); text-align: left;" label="centos">我的任意节点 centos 版本在兼容列表中</el-checkbox> </li>
<li style="height: 40px;"> <el-checkbox style="width: 300px; max-width: calc(100vw - 100px); text-align: left;" label="hostname">我的任意节点 hostname 不是 localhost且不包含下划线</el-checkbox> </li>
<li style="height: 40px;"> <el-checkbox style="width: 300px; max-width: calc(100vw - 100px); text-align: left;" label="cpu">我的任意节点 CPU 内核数量大于等于 2</el-checkbox> </li>
<li style="height: 40px;"> <el-checkbox style="width: 300px; max-width: calc(100vw - 100px); text-align: left;" label="docker">我的任意节点不会直接使用 docker run 或 docker-compose 运行容器</el-checkbox> </li>
<li style="height: 40px;"> <el-checkbox style="width: 300px; max-width: calc(100vw - 100px); text-align: left;" label="networkcard">我的任意节点只有一块网卡可以在完成K8S安装后再添加网卡</el-checkbox> </li>
</el-checkbox-group>
</el-form-item>
</el-form>
</div>
:::
</div>
</grid-item>
<grid-item size="1/3" :rwd="{tablet: '1/1', compact: '0/1'}" style="padding: 2rem 1rem 1rem 1rem;">
<AdSenseSquare/>
</grid-item>
</grid>
</div>
<el-collapse-transition>
<div v-show="envOk" key="ok">
<InstallEnvCheck type="k8s">
使用 root 身份在所有节点执行如下代码,以安装软件:
- docker
@ -329,8 +221,7 @@ curl -sSL https://kuboard.cn/install-script/v1.16.1/install_kubelet.sh | sh
</el-tab-pane>
</el-tabs>
</div>
</el-collapse-transition>
</InstallEnvCheck>
<!-- </div>
<div slot="step3"> -->

View File

@ -1,11 +1,11 @@
---
vssueId: 16
description: Kubernete安装文档_使用kubeadm安装高可用的Kubernetes_v1.15.3集群_可用于生产环境
description: Kubernete安装文档_使用kubeadm安装高可用的Kubernetes_v1.16.1集群_可用于生产环境
meta:
- name: keywords
content: Kubernetes集群,Kubernetes高可用,Kubernetes生产环境
# storyBook:
# title: '使用 kubeadm 安装 kubernetes v1.15.3(高可用)'
# title: '使用 kubeadm 安装 kubernetes v1.16.1(高可用)'
# initial: FullPage
# pages:
# - name: overview
@ -26,7 +26,7 @@ meta:
# 安装Kubernetes高可用
<AdSenseTitle/>
<!-- <AdSenseTitle/> -->
<!-- <StoryBook>
@ -40,14 +40,22 @@ meta:
kubernetes 安装有多种选择,本文档描述的集群安装具备如下特点:
* Kubernetes 1.15.3
* calico 3.8.2
* Kubernetes 1.16.1
* calico 3.9
* nginx-ingress 1.5.3
* Docker 18.09.7
* 三个 master 组成主节点集群,通过内网 loader balancer 实现负载均衡;至少需要三个 master 节点才可组成高可用集群,否则会出现 ***脑裂*** 现象
* 多个 worker 组成工作节点集群,通过外网 loader balancer 实现负载均衡
安装后的拓扑图如下:<a :href="$withBase('/kuboard.rp')" download="www.kuboard.cn.rp">下载拓扑图源文件</a> <font color="#999">使用Axure RP 9.0可打开该文件</font>
[领取腾讯云最高2860元代金券](https://cloud.tencent.com/act/cps/redirect?redirect=1040&cps_key=2ee6baa049659f4713ddc55a51314372&from=console)
[腾讯云限时1折秒杀](https://cloud.tencent.com/act/cps/redirect?redirect=1044&cps_key=2ee6baa049659f4713ddc55a51314372&from=console)
[领取阿里云最高2000元红包](https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=obezo3pg)
[阿里云服务器限时2折](https://www.aliyun.com/acts/limit-buy?userCode=obezo3pg)
安装后的拓扑图如下:<span v-on:click="$sendGaEvent('下载拓扑图-kubernetes', '下载拓扑图-kubernetes', 'Download-install-kubernetes.html')"> <a :href="$withBase('/kuboard.rp')" download="www.kuboard.cn.rp" >下载拓扑图源文件</a> </span> <font color="#999">使用Axure RP 9.0可打开该文件</font>
![Kubernetes安装拓扑结构](/images/topology/kubernetes.png)
@ -57,17 +65,6 @@ kubernetes 安装有多种选择,本文档描述的集群安装具备如下特
<p>
<img src="/images/kuboard_qq.png" alt="Kubernetes教程QQ群在线答疑"/>
</p>
<!-- <div>
<div style="margin-top: 10px;">未打赏用户可进 QQ 群聊,<span style="color: red;">打赏用户可进微信群聊</span>。</div>
<div style="margin-top: 10px;">
<span>扫第一个二维码完成打赏,扫第二个进微信群聊。</span> <span style="color: #CCC">QQ 群聊二维码在左侧导航栏下方。</span>
<p style="margin-top: 10px;">
<img src="/images/dz.png" style="width: 150px; margin-right: 150px;"></img>
<img src="/images/dz2.jpeg" style="width: 150px;"></img>
</p>
</div>
</div> -->
<!-- </div>
@ -101,6 +98,8 @@ hostname
hostnamectl set-hostname your-new-host-name
# 查看修改结果
hostnamectl status
# 设置 hostname 解析
echo "127.0.0.1 $(hostname)" >> /etc/hosts
```
:::
@ -110,6 +109,8 @@ hostnamectl status
## 安装 docker / kubelet
<InstallEnvCheck type="kubernetes">
使用 root 身份在所有节点执行如下代码,以安装软件:
- docker
- nfs-utils
@ -121,7 +122,7 @@ hostnamectl status
``` sh
# 在 master 节点和 worker 节点都要执行
curl -sSL https://kuboard.cn/install-script/v1.15.3/install-kubelet.sh | sh
curl -sSL https://kuboard.cn/install-script/v1.16.1/install_kubelet.sh | sh
```
@ -130,7 +131,7 @@ curl -sSL https://kuboard.cn/install-script/v1.15.3/install-kubelet.sh | sh
手动执行以下代码,效果与快速安装完全相同。
<<< @/.vuepress/public/install-script/v1.15.3/install-kubelet.sh
<<< @/.vuepress/public/install-script/v1.16.1/install_kubelet.sh
::: warning
如果此时执行 `service status kubelet` 命令,将得到 kubelet 启动失败的错误提示,请忽略此错误,因为必须完成后续步骤中 kubeadm init 的操作kubelet 才能正常启动
@ -139,6 +140,8 @@ curl -sSL https://kuboard.cn/install-script/v1.15.3/install-kubelet.sh | sh
</el-tab-pane>
</el-tabs>
</InstallEnvCheck>
<!-- </div>
<div slot="step3"> -->
@ -157,8 +160,9 @@ curl -sSL https://kuboard.cn/install-script/v1.15.3/install-kubelet.sh | sh
假设完成创建以后Load Balancer的 ip 地址为 x.x.x.x
### 初始化第一个master节点
> 根据每个人实际的情况不同,实现 LoadBalancer 的方式不一样,本文不详细阐述如何搭建 LoadBalancer请读者自行解决
### 初始化第一个master节点
::: tip
* 以 root 身份在 demo-master-a-1 机器上执行
@ -177,20 +181,20 @@ curl -sSL https://kuboard.cn/install-script/v1.15.3/install-kubelet.sh | sh
在第一个 master 节点 demo-master-a-1 上执行
``` sh
# 只在 master 节点执行
# 只在第一个 master 节点执行
# 替换 apiserver.demo 为 您想要的 dnsName
export APISERVER_NAME=apiserver.demo
# Kubernetes 容器组所在的网段,该网段安装完成后,由 kubernetes 创建,事先并不存在于您的物理网络中
export POD_SUBNET=10.100.0.1/16
echo "127.0.0.1 ${APISERVER_NAME}" >> /etc/hosts
curl -sSL https://kuboard.cn/install-script/v1.15.3/init-master.sh | sh
curl -sSL https://kuboard.cn/install-script/v1.16.1/init_master.sh | sh
```
</el-tab-pane>
<el-tab-pane label="手工初始化">
``` sh
# 只在 master 节点执行
# 只在第一个 master 节点执行
# 替换 apiserver.demo 为 您想要的 dnsName
export APISERVER_NAME=apiserver.demo
# Kubernetes 容器组所在的网段,该网段安装完成后,由 kubernetes 创建,事先并不存在于您的物理网络中
@ -198,7 +202,7 @@ export POD_SUBNET=10.100.0.1/16
echo "127.0.0.1 ${APISERVER_NAME}" >> /etc/hosts
```
<<< @/.vuepress/public/install-script/v1.15.3/init-master.sh
<<< @/.vuepress/public/install-script/v1.16.1/init_master.sh
</el-tab-pane>
</el-tabs>
@ -251,10 +255,18 @@ watch kubectl get pod -n kube-system -o wide
kubectl get nodes
```
::: danger
请等到所有容器组大约9个全部处于 Running 状态,才进行下一步
:::
### 初始化第二、三个master节点
**获得 master 节点的 join 命令**
> 可以和第一个Master节点一起初始化第二、三个Master节点也可以从单Master节点调整过来只需要
> * 增加Master的 LoadBalancer
> * 将所有节点的 /etc/hosts 文件中 apiserver.demo 解析为 LoadBalancer 的地址
> * 添加第二、三个Master节点
<el-tabs type="border-card">
<el-tab-pane label="和第一个Master节点一起初始化">
@ -284,7 +296,7 @@ kubeadm init phase upload-certs --upload-certs
``` sh {6}
[root@demo-master-a-1 ~]# kubeadm init phase upload-certs --upload-certs
W0902 09:05:28.355623 1046 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
W0902 09:05:28.355718 1046 version.go:99] falling back to the local client version: v1.15.3
W0902 09:05:28.355718 1046 version.go:99] falling back to the local client version: v1.16.1
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
70eb87e62f052d2d5de759969d5b42f372d0ad798f98df38f7fe73efdf63a13c
@ -350,6 +362,7 @@ kubectl get nodes
### 获得 join命令参数
<el-tabs type="border-card">
<el-tab-pane label="和第一个Master节点一起初始化">
@ -385,9 +398,11 @@ kubeadm join apiserver.demo:6443 --token mpfjma.4vjjg8flqihor4vt --discovery
```sh
# 只在 worker 节点执行
# 替换 ${APISERVER_IP} 为 ApiServer LoadBalancer 的 IP 地址
# 替换 ${APISERVER_NAME} 为 前面已经使用的 dnsName
echo "${APISERVER_IP} ${APISERVER_NAME}" >> /etc/hosts
# 替换 x.x.x.x 为 ApiServer LoadBalancer 的 IP 地址
export MASTER_IP=x.x.x.x
# 替换 apiserver.demo 为初始化 master 节点时所使用的 APISERVER_NAME
export APISERVER_NAME=apiserver.demo
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts
# 替换为前面 kubeadm token create --print-join-command 的输出结果
kubeadm join apiserver.demo:6443 --token mpfjma.4vjjg8flqihor4vt --discovery-token-ca-cert-hash sha256:6f7a8e40a810323672de5eee6f4d19aa2dbdb38411845a1bf5dd63485c43d303
@ -403,7 +418,6 @@ kubectl get nodes
```
## 移除 worker 节点
::: warning
@ -447,13 +461,13 @@ kubectl delete node demo-worker-x-x
``` sh
# 只在第一个 master 节点 demo-master-a-1 上执行
kubectl apply -f https://kuboard.cn/install-script/v1.15.3/nginx-ingress.yaml
kubectl apply -f https://kuboard.cn/install-script/v1.16.1/nginx-ingress.yaml
```
</el-tab-pane>
<el-tab-pane label="YAML文件">
<<< @/.vuepress/public/install-script/v1.15.3/nginx-ingress.yaml
<<< @/.vuepress/public/install-script/v1.16.1/nginx-ingress.yaml
</el-tab-pane>
</el-tabs>