kubectl详解 | 禹都一只猫

节点管家：`kubelet`

kubelet运行在集群的所有节点上

每个节点上的kubelet由操作系统的init进程（如：systemd）启动

在ubuntu 16.04 +有两个，init进程与文件分别是：

$ ls /lib/systemd/system/kubelet.service
-----------
/lib/systemd/system/kubelet.service

$ ls /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
-----------
/etc/systemd/system/kubelet.service.d/10-kubeadm.conf

kubelet的主要参数配置在/etc/systemd/system/kubelet.service.d/10-kubeadm.conf里面，查看一下

$ cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
-----------------------

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS

bootstrap-kubeconfig，用于在kubeconfig的配置文件不存在的情况下，向apiserver获取client的证书文件和秘钥文件，获取后的证书文件以及秘钥文件，存储在cert-dir指定的目录下，即/var/lib/kubelet/pki目录下，同时数据也会写入一份到kubeconfig指定的配置文件里面

kubeconfig，指定的就是kubelet的kubeconfig文件，用来访问apiserver使用的

pod-manifest-path，就是静态pod的manifest路径，在master中，存放了master组件的静态pod的yaml文件，kubelet将负责启动这些静态pod，并维持它们处于运行状态

KUBELET_NETWORK_ARGS，是与节点上cni网络插件相关的配置，kubelet通过这些配置调用cni相关的程序，来配置pod中的容器网络

KUBELET_DNS_ARGS，是集群dns相关的配置

cadvisor-port，这里配置是0，默认是4194，配置为0是不在节点上开放cadvisor服务，cadvisor是一个开源的容器资源使用率和性能的代理工具，默认情况下会在每一个节点上配置agent，通过暴露cadvisor-port来提供服务，配置为0就是不在node上暴露cadvisor-port了，但cadvisor仍然运行在内部，可以通过节点ip + 10250端口来访问这个服务

一般不用修改启动参数，要修改参数的话，只用修改上面的kubeadm.conf配置文件，修改之后生效

$ systemctl daemon-relod & systemctl restart kubelet

集群管理入口`kube-apiserver`

kube-apiserver：

由kubelet启动的static pod
APIServer的pod spec：/etc/kubernets/manifests/kube-apiserver.yaml

查看一下该配置文件

$ cat /etc/kubernets/manifests/kube-apiserver.yaml
-----------
...
containers:
  - command:
    - kube-apiserver
    - --client-ca-file=/etc/kubernetes/pki/ca.crt
    - --tls-cert-file=/etc/kubernetes/pki/apiserver.crt
    - --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
    - --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key
    - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
    - --service-cluster-ip-range=10.96.0.0/12
    - --requestheader-username-headers=X-Remote-User
    - --requestheader-extra-headers-prefix=X-Remote-Extra-
    - --service-account-key-file=/etc/kubernetes/pki/sa.pub
    - --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt
    - --insecure-port=0
    - --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,DefaultTolerationSeconds,NodeRestriction,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota
    - --requestheader-group-headers=X-Remote-Group
    - --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt
    - --requestheader-allowed-names=front-proxy-client
    - --advertise-address=xxxx
    - --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key
    - --secure-port=6443
    - --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt
    - --enable-bootstrap-token-auth=true
    - --allow-privileged=true
    - --authorization-mode=Node,RBAC
    - --etcd-servers=https://127.0.0.1:2379
    - --etcd-cafile=/etc/kubernetes/pki/etcd/ca.crt
    - --etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt
    - --etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key
    image: k8s.gcr.io/kube-apiserver-amd64:v1.10.2
...

insecure-port是api-server的非安全服务端口，默认使用http协议访问，默认值为0，即不开启

service-account-key-file是server-account的公钥文件，用于验证客户端请求中的service-account中的token串的，若没有设置，则apiserver会使用tls-private-key-file来验证token串

kubelet-client-key设置的是apiserver以client端身份，访问kubernetes所使用的私钥文件

admission-control设置的是一组准入策略的拦截器

service-cluster-ip-range设置的是抽象的kubernetes-servers的无类别遇见路由地址分配范围，不能与pod的范围有交集

kubelet-client-certificate设置的是apiserver以client端身份访问kubernetes的数字公钥证书

allow-privileged，配置是否允许启动特权容器

client-ca-file，是用于对client请求进行证书校验的ca公钥证书

tls-cert-file，是apiserver的公钥证书

tls-private-key-file，是apiserver的私钥证书

secure-port是apiserver的端口

advertise-address是apiserver的地址

authorization-mode=Node是设置用户授权模式列表

最下面的etcd则是用来配置apiserver与etcd之前的相关文件

kubelet监听/etc/kubernetes/manifests目录变化，自动重启配置发生变化的apiserver pod

配置中心：`etcd`

etcd：

位置在/etc/kubernetes/manifests下的etcd.yaml
由kubelet启动的static pod
apiserver与etcd之间采用基于TLS的安全通信
etcd挂载master节点本地路径/var/lib/etcd用于运行时数据存储

要是做etcd的数据迁移，需要关注这个目录/var/lib/etcd

管理控制中心：`kube-controller-manager`

Controller-manager：

负责集群内Node、Pod副本、服务的endpoit、命名空间、Service Account、资源配额等管理
由kubelet启动的static pod
文件是在/etc/kubernetes/manifests中的kube-controller-manager.yaml，修改方式就修改这个文件，然后会自动重启生效

调度器`kube-scheduler`

Scheduler：单纯地调度Pod

按照特定的调度算法和策略，将待调度的Pod绑定到集群中某个合适的Node，并写入绑定信息
由kubelet启动static pod
位置在/etc/kubernetes/manifests中的kube-scheduler.yaml

服务抽象实现`kube-proxy`

kube-proxy运行在kubernetes集群的每一个节点上

kube-proxy由daemonse控制器在各个节点上启动唯一实例
配置参数：/var/lib/kube-proxy/config.cong（pod内）
查看，我的k8s1的是：kube-proxy-vjr5c

$ kubectl exec kube-proxy-vjr5c -n kube-system -- cat /var/lib/kube-proxy/config.conf

-----------------

apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
clientConnection:
  acceptContentTypes: ""
  burst: 10
  contentType: application/vnd.kubernetes.protobuf
  kubeconfig: /var/lib/kube-proxy/kubeconfig.conf
  qps: 5
clusterCIDR: 192.168.16.0/20
configSyncPeriod: 15m0s
conntrack:
  max: null
  maxPerCore: 32768
  min: 131072
  tcpCloseWaitTimeout: 1h0m0s
  tcpEstablishedTimeout: 24h0m0s
enableProfiling: false
healthzBindAddress: 0.0.0.0:10256
hostnameOverride: ""
iptables:
  masqueradeAll: false
  masqueradeBit: 14
  minSyncPeriod: 0s
  syncPeriod: 30s
ipvs:
  minSyncPeriod: 0s
  scheduler: ""
  syncPeriod: 30s
kind: KubeProxyConfiguration
metricsBindAddress: 127.0.0.1:10249
mode: ""
nodePortAddresses: null
oomScoreAdj: -999
portRange: ""
resourceContainer: /kube-proxy
udpIdleTimeout: 250ms

mode为空，则为选择目前最好的mode，目前是iptables

Proxy mode：目前是：iptables

集群管理工具：`kubectl`

kubectl是目前管理k8s集群的最强利器

集群访问控制命令kubectl config

查看当前节点下kube config的内容

$ kubectl config view
-----------------------
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: REDACTED
    server: https://xxxxx:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: REDACTED
    client-key-data: REDACTED

可以看到隐去了私钥公钥的内容

另一个

$ kubectl config set-cluster

在当前的kube-config文件中创建一个cluster入口，如果已存在，那么会做字段的合并。创建一个名为master的cluster

$ kubectl config set-cluster master --server=https://1.2.3.4

通过kubectl config set-clusters命令，来查看当前kube config文件中配置的所有cluster

$ kubectl config get-clusters
-------------------
NAME
master
kubernetes

删除cluster

$ kubectl config delete-cluster master
---------------------
deleted cluster master from /etc/kubernetes/admin.conf

另一个

$ kubectl config set-context

会在config文件中创建一个context入口，存在的话，会覆盖，创建一个context是admin1@k8s1，关联的user是admin1

$ kubectl config set-context admin1@k8s1 --user=admin1
--------------------
Context "admin1@k8s1" created.

获取当前所有的context

$ kubectl config get-contexts
--------------------
CURRENT   NAME                          CLUSTER      AUTHINFO           NAMESPACE
          admin1@k8s1                                admin1
*         kubernetes-admin@kubernetes   kubernetes   kubernetes-admin

查看当前所使用的kube-context

$ kubectl config current-context
---------------------
kubernetes-admin@kubernetes

设置使用哪个context

$ kubectl config use-context <context-name>

删除context

$ kubectl config delete-context <context-name>

另一个，在config中创建一个user记录，存在即覆盖

$ kubectl config set-credentials admin1 --username=admin --password=abcdef

查看当时添加

$ kubectl config view

集群的控制命令：kubectl create/apply/delete/label/edit/expose/scale

创建

$ kubectl create -f xxx.yaml

打标签

$ kubectl lable pods/<pod-name>  <pod-lable>

查询标签

$ kubectl get pods --show-lables | grep <%pod-name%>

编辑pod的配置yaml文件

$ kubeclt edit deployment/<pod-name>

将pod副本数升到3

$ kubectl scale --replicas=3 deployment/<%pod-name%>

其中<pod-name>是<xx-xx>

恢复原始数据

$ kubectl apply -f xxx.yaml

删除deployment

$ kubectl delete -f xxx.yaml

集群查看跟问题调试命令：kubectl get/describe/logs/exec/attach

查看pod

$ kubectl get pods <参数>

查看pod运行的信息

$ kubectl describe pods/<pod-name>

查看log日志

$ kubectl logs -f pods/<pod-name>

访问容器内部，例如查看容器内/xxx/xxx/xxx.conf的内容

$ kubectl exec <pod-name> -- cat /xxx/xxx/xxx.conf

挂在到容器中

$ kubectl attach <pod-name>

本文作者为olei，转载请注明。

kubernetes

节点管家：kubelet

集群管理入口kube-apiserver

配置中心：etcd

管理控制中心：kube-controller-manager

调度器kube-scheduler

服务抽象实现kube-proxy

集群管理工具：kubectl

节点管家：`kubelet`

集群管理入口`kube-apiserver`

配置中心：`etcd`

管理控制中心：`kube-controller-manager`

调度器`kube-scheduler`

服务抽象实现`kube-proxy`

集群管理工具：`kubectl`