---
# vssueId: 66
layout: LearningLayout
description: Kubernetes_自动水平伸缩_Horizontal_Pod_Autoscaler_例子
meta:
  - name: keywords
    content: Kubernetes 教程,Kubernetes 授权,Kubernetes Horizontal Pod Autoscaler,水平自动伸缩
---

# 自动伸缩-例子

<AdSenseTitle/>

本文翻译自 Kubernetes 文档 [Horizontal Pod Autoscaler Walkthrough](https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/)

HorizontalPodAutoscaler 可以根据观察到的 CPU 利用率（或者 beta 阶段的其他应用程序提供的度量值）对 ReplicationController、Deployment、ReplicaSet、StatefulSet 中的 Pod 副本数执指定自动伸缩操作。

本文阐述了一个使用 HorizontalPodAutoscaler 对 php-apache 服务进行自动伸缩的例子。更多与 HorizontalPodAutoscaler 相关的内容，请参考 [自动伸缩](./hpa.html)。

## 前提条件

如运行本文中的例子，必须满足以下条件：
* Kubernetes 集群，版本不低于 v1.6；可以参考 [离线安装高可用的Kubernetes集群](/install/install-k8s.html) 完成集群的安装；
* Kubernetes 集群中已安装 [metrics-server](https://github.com/kubernetes-incubator/metrics-server/)，用于提供资源度量的 API 接口，可以使用 `kubectl apply -f https://addons.kuboard.cn/metrics-server/0.3.7/metrics-server.yaml` 指令完成 metrics-server 的安装；
* 如果想要使用自定义度量值，您的集群必须能够和这些度量值接口的服务进行通信；
* 如果想要使用与 Kubernetes Object 无关的度量值（External metrics API），Kubernetes 集群版本必须不低于 v1.10，并且集群必须能够与提供外部度量值的 API 服务进行通信。

## 运行并发布 php-apache server

本文将要使用一个基于 php-apache 镜像自定义的 docker 镜像来演示 HorizontalPodAutoscaler。Dockerfile 如下所示：

``` yaml
FROM php:5-apache
COPY index.php /var/www/html/index.php
RUN chmod a+rx index.php
```

其中 `index.php` 文件的内容如下所示，该 php 页面执行了一些大量消耗 CPU 的计算：

``` php
<?php
  $x = 0.0001;
  for ($i = 0; $i <= 1000000; $i++) {
    $x += sqrt($x);
  }
  echo "OK!";
?>
```

首先，我们使用下面的 YAML 文件运行该镜像，并且将其暴露为一个 Kubernetes Service：

<<< @/.vuepress/public/statics/learning/hpa/php-apache.yaml

执行指令下面的指令，可以直接在您的集群中应用该文件：

``` sh
kubectl apply -f https://kuboard.cn/statics/learning/hpa/php-apache.yaml
```

正常情况下，该指令的输出信息为：
```
deployment.apps/php-apache created
service/php-apache created
```

## 创建 Horizontal Pod Autoscaler

php-apache 服务启动以后，现在可以使用 [kubectl autoscale](https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#autoscale) 指令来创建 Autoscaler。下面的指令创建了一个 HorizontalPodAutoscaler，该 Autoscaler 使得我们在前一个步骤中创建的 php-apache Deployment 在 1 到 10 个副本之间伸缩。大致上，HPA 在通过增加或减少 Deployment 的副本数，以使得所有 Pod 的平均 CPU 利用率维持在 50% 左右（每个 Pod 的 CPU Request 是 200 milli-cores，即平均 CPU 利用率应该是 100 milli-cores）。[点击此处](./hpa.html#算法) 了解更多自动伸缩的算法。

``` sh
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
```
输出信息如下所示：
```
horizontalpodautoscaler.autoscaling/php-apache autoscaled
```
执行下面的指令，可以查看当前 HPA 的状态
```sh
kubectl get hpa
```
输出结果如下所示：
```
NAME         REFERENCE                     TARGET    MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache/scale   0% / 50%  1         10        1          18s
```
> * 请注意，当前 CPU 的消耗是 0%，因为我们尚未向 php-apache 服务发送任何请求；
> * `TARGET` 这一列展示了 Deployment 中所有 Pod 的平均 CPU 利用率。

## 增加负荷

接下来，我们为 php-apache 服务增加一些负荷，并观察 HPA 如何应对增加的负荷。

* 请打开一个新的命令行终端，并执行以下命令，该命令启动了一个容器，并进入该容器的命令行终端：
  ``` sh
  kubectl run -it --rm load-generator --image=busybox /bin/sh
  ```
  在容器命令行中输入如下脚本，并回车：
  > 该脚本向 php-apache 服务无限循环地发送查询请求：
  ``` sh
  while true; do wget -q -O- http://php-apache; done
  ```
* 大约 1 分钟左右，我们可以通过指令观察到较高的 CPU 利用率；
  ``` sh
  kubectl get hpa
  ```
  输出如下：
  ```
  NAME         REFERENCE                     TARGET      MINPODS   MAXPODS   REPLICAS   AGE
  php-apache   Deployment/php-apache/scale   305% / 50%  1         10        1          3m
  ```
* 此时，CPU 利用率增加到了 CPU 请求的 305%。对应的，HPA 将 Deployment 的副本数调整到 7：
  ``` sh
  kubectl get deployment php-apache
  ```
  输出如下：
  ```
  NAME         READY   UP-TO-DATE   AVAILABLE   AGE
  php-apache   7/7      7           7           19m
  ```
::: tip 备注
* 大约需要好几分钟的时间，Deployment 的副本数才会稳定下来；
* 由于我们并没有对施加在 php-apache 服务上的负荷做任何形式的控制，您在执行此实验时最终得到的副本数很可能与文档中的描述不一样。
:::

## 撤销负荷

在 [增加负荷](#增加负荷) 章节中创建的 load-generator 终端界面中输入组合键 `<ctrl> + c` 可以终止模拟的用户请求。此后，php-apache 服务的 CPU 利用率将持续下降到 0。

执行以下指令可以观察到这个变化的过程：
```sh
watch "kubectl get hpa && echo && kubectl get deployment php-apache"
```

一分钟左右，最终的输出结果如下：
```
NAME         REFERENCE                     TARGET       MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache/scale   0% / 50%     1         10        1          11m

NAME         READY   UP-TO-DATE   AVAILABLE   AGE
php-apache   1/1     1            1           27m
```

此时，CPU 利用率降低到 0，因此 HPA 将副本数自动地将副本数向下伸缩到 1。

::: tip 注意
自动伸缩的过程可能需要持续几分钟才能完成。
:::

## 基于多个度量值以及自定义度量值进行自动伸缩

使用 `autoscaling/v2beta2` 版本的 API，您可以引入额外的度量值用来对 Deployment `php-apache` 进行自动伸缩。

* 执行如下指令，获得前面创建的 HPA 的 `autoscaling/v1` 版本的 YAML：
  ``` sh
  kubectl get hpa php-apache -o yaml
  ```
  内容如下所示：
  ``` yaml
  apiVersion: autoscaling/v1
  kind: HorizontalPodAutoscaler
  metadata:
    name: php-apache
    namespace: default
    resourceVersion: "406527"
    selfLink: /apis/autoscaling/v1/namespaces/default/horizontalpodautoscalers/php-apache
    uid: 522839bb-1ff2-4364-b5cf-41e58837647e
  spec:
    maxReplicas: 10
    minReplicas: 1
    scaleTargetRef:
      apiVersion: apps/v1
      kind: Deployment
      name: php-apache
    targetCPUUtilizationPercentage: 50
  status:
    currentCPUUtilizationPercentage: 0
    currentReplicas: 7
    desiredReplicas: 7
    lastScaleTime: "2020-07-29T08:39:34Z"
  ```

* 执行如下指令获得同一个 HPA 的 `autoscaling/v2beta2` 版本的 YAML：

  ``` sh
  kubectl get hpa.v2beta2.autoscaling php-apache -o yaml
  ```
  内容如下所示：
  ``` yaml
  apiVersion: autoscaling/v2beta2
  kind: HorizontalPodAutoscaler
  metadata:
    name: php-apache
    namespace: default
    resourceVersion: "407497"
    selfLink: /apis/autoscaling/v2beta2/namespaces/default/horizontalpodautoscalers/php-apache
    uid: 522839bb-1ff2-4364-b5cf-41e58837647e
  spec:
    maxReplicas: 10
    metrics:
    - resource:
        name: cpu
        target:
          averageUtilization: 50
          type: Utilization
      type: Resource
    minReplicas: 1
    scaleTargetRef:
      apiVersion: apps/v1
      kind: Deployment
      name: php-apache
  status:
    conditions:
    - lastTransitionTime: "2020-07-29T08:36:00Z"
      message: recommended size matches current size
      reason: ReadyForNewScale
      status: "True"
      type: AbleToScale
    - lastTransitionTime: "2020-07-29T08:36:31Z"
      message: the HPA was able to successfully calculate a replica count from cpu resource
        utilization (percentage of request)
      reason: ValidMetricFound
      status: "True"
      type: ScalingActive
    - lastTransitionTime: "2020-07-29T08:48:26Z"
      message: the desired replica count is less than the minimum replica count
      reason: TooFewReplicas
      status: "True"
      type: ScalingLimited
    currentMetrics:
    - resource:
        current:
          averageUtilization: 0
          averageValue: 1m
        name: cpu
      type: Resource
    currentReplicas: 1
    desiredReplicas: 1
    lastScaleTime: "2020-07-29T08:48:26Z"
  ```

比对两个版本的差异，您可以注意到 `targetCPUUtilizationPercentage` 字段被替换为一个叫做 `metrics` 的数组。CPU 利用率是一个 ***resource metric***，代表了容器组的某个资源使用情况。此时，您还可以指定 CPU 之外的其他资源度量，默认情况下，除了 CPU 意外，还有另外一个可用的资源度量就是内存了。只要您的集群上安装了 `metrics.k8s.io` 接口（通常由 `metrics-server` 提供），`cpu` 和 `memory` 这两个类型的资源度量就可以使用。

您还可以用具体数值的方式指定资源度量，而不是资源的利用率。此时，您需要：
* 将 `.spec.metrics[*].resource.target.type` 的值从 `Utilization` 改为 `AverageValue`；
* 删除 `.spec.metrics[*].resource.target.averageUtilization` 字段；
* 增加 `.spec.metrics[*].resource.target.averageValue` 并指定对应的度量值。

除了 ***resource metrics*** 资源度量以外，还存在两种类型的度量（pod metrics / object metrics），这两种类型的度量都被认为是 ***custom metrics*** 自定义度量。自定义度量需要对集群进行比较复杂的监控设置，并且，在不同的集群上，其名字可能不一样。

* ***Pod metrics*** 是用来描述 Pod 的度量值，HPA 控制器对所有 Pod metrics 求平均值后再与目标值进行对比，以此决定最终的伸缩目标副本数。***Pod metrics*** 的工作方式与资源度量非常相似，不同的是，***pod metrics*** 对应的 `.spec.metrics[*].pods.target` 字段只支持 `AverageValue` 这个取值。

  例如：
  ``` yaml
  type: Pods
  pods:
    metric:
      name: packets-per-second
    target:
      type: AverageValue
      averageValue: 1k
  ```

* ***Object metrics*** 是一种描述了同一名称空间中 Pod 以外的某种对象的度量值，这些度量信息并不一定从该对象本身获得。***Object metrics*** 的 `.spec.metrics[*].object.target` 支持 `Value` 和 `AverageValue` 两个选项：
  * `Value`： HPA 控制器将 `.spec.metrics[*].object.target.value` 字段的取值直接和 API 中获得的度量值进行比较；
  * `AverageValue`： HPA 控制器将 API 中获得的自定义度量值除以 Pod 的总数，然后在和 `.spec.metrics[*].object.target.averageValue` 字段的取值进行比较。
  
  下面的 YAML 示例了如何使用 `requests-per-second` 度量值进行自动伸缩：
  ``` yaml
  type: Object
  object:
    metric:
      name: requests-per-second
    describedObject:
      apiVersion: networking.k8s.io/v1beta1
      kind: Ingress
      name: main-route
    target:
      type: Value
      value: 2k
  ```

* 如果 HorizontalPodAutoscaler 中提供了多个 metrics 区块，则 HPA 控制器将会逐个考察每一个度量信息。具体来说，HPA 控制器将会依据每一种度量信息计算出建议的目标伸缩副本数，并最终选取数值最高的一个。
  
  例如：如果您的监控系统可以收集网络流量的度量信息，您可以使用 `kubectl edit` 编辑上述的 HorizontalPodAutoscaler 为如下 YAML：
  
  ``` yaml
  apiVersion: autoscaling/v2beta2
  kind: HorizontalPodAutoscaler
  metadata:
    name: php-apache
  spec:
    scaleTargetRef:
      apiVersion: apps/v1
      kind: Deployment
      name: php-apache
    minReplicas: 1
    maxReplicas: 10
    metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 50
    - type: Pods
      pods:
        metric:
          name: packets-per-second
        target:
          type: AverageValue
          averageValue: 1k
    - type: Object
      object:
        metric:
          name: requests-per-second
        describedObject:
          apiVersion: networking.k8s.io/v1beta1
          kind: Ingress
          name: main-route
        target:
          type: Value
          value: 10k
  status:
    observedGeneration: 1
    lastScaleTime: <some-time>
    currentReplicas: 1
    desiredReplicas: 1
    currentMetrics:
    - type: Resource
      resource:
        name: cpu
      current:
        averageUtilization: 0
        averageValue: 0
    - type: Object
      object:
        metric:
          name: requests-per-second
        describedObject:
          apiVersion: networking.k8s.io/v1beta1
          kind: Ingress
          name: main-route
        current:
          value: 10k
  ```
  此时，HorizontalPodAutoscaler 将会尝试确保：
  * 每个 Pod 大致消耗 50% 的已请求的 CPU；
  * 每秒钟处理 1000 个数据包；
  * `main-route` Ingress 后的所有 Pod 每秒总共处理 10000 个请求。

### 基于特定度量的自动伸缩

许多度量信息源允许用户通过名称和一组额外的标签（labels）描述度量信息。对于非资源度量（pod metrics / object metrics / external metrics 等）来说，用户可以指定一个额外的标签选择器作为查询度量信息时的参数。例如，您的监控系统采集了带 `verb` 标签的 `http_requests` 度量，您可以通过下述 YAML 样例指定 HPA 基于 `verb` 标签值为 `GET` 的度量值进行伸缩：

``` yaml
type: Object
object:
  metric:
    name: http_requests
    selector: {matchLabels: {verb: GET}}
```

此处的选择器 `selector` 使用与 Kubernetes [标签选择器](/learning/k8s-intermediate/obj/labels.html) 一样的语法。如果此处指定的名字和标签选择器最终匹配了度量信息源中的多个序列（series），则由度量信息源决定如何将多个序列（series）合并成单个数值。

### 基于与 Kubernetes 对象无关的度量信息的自动伸缩