[kubernetes] kubeadm join Worker 노드 추가하기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

kubeadm join 명령어는 Kubernetes 클러스터에 새로운 노드를 추가할 때 사용되는 명령어입니다. Worker 노드를 추가하는 경우, 사전에 Master 노드가 구성되어 있어야 합니다.

Kubernetes 클러스터에 Worker 노드를 추가하는 방법을 알아보도록 하겠습니다.

작업 구성

사전에 총 3대의 서버를 Master 노드로 구성 완료한 상태입니다.
총 3대의 Worker 노드를 추가하는 Kubernetes 클러스터 구성을 만들고자 합니다.

사전 작업

기본 작업

Worker 노드는 join 명령어를 통해 Master 노드 클러스터에 연결 및 추가됩니다.

kubeadm join 명령어로 클러스터에 추가하기 위해 기본 사전 작업을 진행합니다.

• [kubernetes] CRI-O 설치하기
  https://every-up.tistory.com/84

• [kubernetes] kubeadm, kubelet, kubectl 설치하기
  https://every-up.tistory.com/87

• [Linux] IPv4 Forwarding 설정하기
  https://every-up.tistory.com/89

kubeadm join 시 필요한 정보 확인

Worker 노드를 추가할 경우에는 token 값과 CA 인증서 값만 필요하지만 Master 노드를 추가할 경우에는 클러스터 인증서 값이 추가적으로 필요합니다. 아래 링크를 통해 kubeadm join 시 필요한 정보를 사전에 확인 합니다.

• [kubernetes] kubeadm join 시 필요한 정보 확인
  https://every-up.tistory.com/92

kubeadm join

Worker 노드에서 join 명령어를 통해 Master 노드 클러스터에 연결 및 추가합니다.

kubeadm join 명령어에는 Master 노드 IP 및 Port, 토큰(Token), CA 인증서 해시 값이 필요합니다.

# kubeadm join 10.0.0.11:6443 \ 
              --token fb4jku.kkt1ivfjvxkskxrq \ 
              --discovery-token-ca-cert-hash sha256:48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5 \ 
              --v=5

I1112 16:54:23.022474   33868 join.go:419] [preflight] found NodeName empty; using OS hostname as NodeName
I1112 16:54:23.022891   33868 initconfiguration.go:123] detected and using CRI socket: unix:///var/run/crio/crio.sock

##### 생략 #####

I1112 16:54:25.901893   33868 cert_rotation.go:140] Starting client certificate rotation controller
I1112 16:54:25.902612   33868 kubelet.go:318] [kubelet-start] preserving the crisocket information for the node
I1112 16:54:25.902639   33868 patchnode.go:31] [patchnode] Uploading the CRI Socket information "unix:///var/run/crio/crio.sock" to the Node API object "k8s-wn-001" as an annotation

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

성공적으로 Worker 노드 추가 작업이 완료되었습니다.

클러스터 join 상태 확인

Kubernetes 클러스터에서 현재 구성된 모든 노드(node)에 대한 정보를 확인할 수 있습니다.

# kubectl get nodes
NAME         STATUS   ROLES           AGE   VERSION
k8s-cn-001   Ready    control-plane   12d   v1.31.2
k8s-cn-002   Ready    control-plane   24h   v1.31.2
k8s-cn-003   Ready    control-plane   24h   v1.31.2
k8s-wn-001   Ready    <none>          17h   v1.31.0
k8s-wn-002   Ready    <none>          35m   v1.31.0
k8s-wn-003   Ready    <none>          35m   v1.31.0

노드 이름, 상태, 역할, 생성된 시간, 버전 등의 정보를 확인할 수 있으며,

추가된 k8s-wn-001, k8s-wn-002, k8s-wn-003 Worker 노드를 확인할 수 있습니다.

Kubernetes에서 kubeadm join 명령어를 통해 Worker 노드를 추가하는 방법을 알아봤습니다.

먼저, Worker 노드에서 kubeadm join 명령어를 사용하기 위해 CRI-O, kubeadm, kubelet, kubectl 등을 설치합니다. 이후 kubeadm join 명령어를 사용하여 클러스터에 연결합니다. Worker 노드를 추가할 때는 token 값, CA 인증서 해시 값을 추가하여 Master 노드에 Worker 노드를 추가합니다.

이후 kubectl get nodes 명령어로 추가된 Worker 노드 상태를 확인할 수 있습니다.

지금까지 Kubernetes에서 kubeadm join 명령어를 통해 Worker 노드를 추가하는 방법을 알아보는 시간을 가졌습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/

[kubernetes] kubeadm join Master 노드 추가하기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

kubeadm join 명령어는 Kubernetes 클러스터에 새로운 노드를 추가할 때 사용되는 명령어입니다. Master 노드를 추가하는 경우, 단순 Worker 노드를 추가하는 것보다 몇 가지 추가 설정이 필요합니다.

Kubernetes 클러스터에 Master 노드를 추가하는 방법을 알아보도록 하겠습니다.

작업 구성

Kubernetes 클러스터 구성은 총 3대의 서버를 Master 노드로 구성하고자 합니다.

첫 번째 Master(또는 Control Plane) 노드는 init 명령어로 클러스터를 구성합니다.
두 번째와 세 번째 Master 노드는 join 명령어를 통해 클러스터에 노드로 추가되며 추가 시 옵션을 추가하여 Worker 노드가 아닌 Master 노드로 추가될 예정입니다.

사전 작업

[첫 번째 Master 노드] kubeadm init 클러스터 구성하기

Kubernetes 클러스터에 control plane이 구성된 첫 번째 Master 노드를 구성합니다.

• [kubernetes] kubeadm init 클러스터 구성하기
  https://every-up.tistory.com/88

• [kubernetes] controlPlaneEndpoint 구성하기
  https://every-up.tistory.com/93

[두 번째, 세 번째 Master 노드]

두 번째, 세 번째 Master 노드는 join 명령어를 통해 첫 번째 Master 노드를 통해 클러스터에 연결 및 추가됩니다.
기본 환경 구성을 위해 첫 번째 Master 노드와 유사하게 kubeadm init 이전까지의 기본 사전 작업을 진행합니다.

• [kubernetes] CRI-O 설치하기
  https://every-up.tistory.com/84

• [kubernetes] kubeadm, kubelet, kubectl 설치하기
  https://every-up.tistory.com/87

• [Linux] IPv4 Forwarding 설정하기
  https://every-up.tistory.com/89

kubeadm join 시 필요한 정보 확인

Worker 노드를 추가할 경우에는 token 값과 CA 인증서 값만 필요하지만 Master 노드를 추가할 경우에는 클러스터 인증서 값이 추가적으로 필요합니다. 아래 링크를 통해 kubeadm join 시 필요한 정보를 사전에 확인 합니다.

• [kubernetes] kubeadm join 시 필요한 정보 확인
  https://every-up.tistory.com/92

kubeadm join

두 번째, 세 번째 Master 노드는 join 명령어를 통해 첫 번째 Master 노드 클러스터에 연결 및 추가합니다.
kubeadm join 명령어에는 Master 노드 IP 및 Port, 토큰(Token), CA 인증서 해시, 클러스터 인증서 값이 필요합니다.

kubeadm join 명령어를 사용하여 클러스터를 추가합니다.

# kubeadm join 10.0.0.11:6443 \ 
              --token fb4jku.kkt1ivfjvxkskxrq \ 
              --discovery-token-ca-cert-hash sha256:48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5 \ 
              --control-plane --certificate-key 9ea5555144a397c54a6ddfec77dc8b14ad5b93d6d006c8fc04092aa88c833f27 \
              --v=5

I1112 09:56:19.086799 1171838 join.go:419] [preflight] found NodeName empty; using OS hostname as NodeName
I1112 09:56:19.086913 1171838 join.go:423] [preflight] found advertiseAddress empty; using default interface's IP address as advertiseAddress
I1112 09:56:19.087599 1171838 initconfiguration.go:123] detected and using CRI socket: unix:///var/run/crio/crio.sock

##### 생략 #####

This node has joined the cluster and a new control plane instance was created:

* Certificate signing request was sent to apiserver and approval was received.
* The Kubelet was informed of the new secure connection details.
* Control plane label and taint were applied to the new node.
* The Kubernetes control plane instances scaled up.
* A new etcd member was added to the local/stacked etcd cluster.

To start administering your cluster from this node, you need to run the following as a regular user:

        mkdir -p $HOME/.kube
        sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
        sudo chown $(id -u):$(id -g) $HOME/.kube/config

Run 'kubectl get nodes' to see this node join the cluster.

마지막 로그에서 나온 것과 같이 클러스터와 통신할 수 있도록 인증 정보 설정을 추가합니다.

# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config

클러스터 추가 작업이 완료되었습니다.

kubeadm join 시 오류 발생

kubeadm join 명령어로 클러스터 추가 시 발생할 수 있는 오류 내용입니다.
kubeadm join 명령어 입력 시 --v=5 옵션을 추가해야 상세 오류 내용을 확인하실 수 있습니다.

TOKEN 값 오류 로그

TOKEN 값이 만료되었거나 일치하지 않을 경우 아래와 같이 에러 로그가 발생합니다.

I1031 14:16:15.895101   43351 token.go:228] [discovery] Retrying due to error: could not find a JWS signature in the cluster-info ConfigMap for token ID "sa3r4y"

CA 인증서 Hash 값 오류 로그

CA 인증서 Hash 값이 일치하지 않을 경우 아래와 같이 에러 로그가 발생합니다.

none of the public keys "sha256:48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5" are pinned

controlPlaneEndpoint 오류 로그

join 하고자 하는 master 서버 API의  IP, Port 정보가 잘못되었거나 controlPlaneEndpoint가 설정되어 있지 않을 경우 아래와 같이 에러 로그가 발생합니다.

One or more conditions for hosting a new control plane instance is not satisfied.

unable to add a new control plane instance to a cluster that doesn't have a stable controlPlaneEndpoint address

Please ensure that:
* The cluster has a stable controlPlaneEndpoint address.
* The certificates that must be shared among control plane instances are provided.

클러스터 join 상태 확인

Kubernetes 클러스터에서 현재 구성된 모든 노드(node)에 대한 정보를 확인할 수 있습니다.

# kubectl get nodes
NAME         STATUS   ROLES           AGE     VERSION
k8s-cn-001   Ready    control-plane   12d     v1.31.2
k8s-cn-002   Ready    control-plane   3h32m   v1.31.2
k8s-cn-003   Ready    control-plane   3h26m   v1.31.2

노드 이름, 상태, 역할, 생성된 시간, 버전 등의 정보를 확인할 수 있습니다.

Kubernetes 클러스터의 핵심 구성 요소들이 실행되는 kube-system 네임스페이스의 리소스를 확인할 수 있습니다.
etcd, kube-api-server, kube-controller-manager, kube-proxy, kube-scheduler 등 Master(또는 Control Plane) 노드에 필요한 구성 요소들이 추가된 노드에 따라 각각 추가된 것을 확인하실 수 있습니다.

# kubectl get all -A
NAMESPACE     NAME                                     READY   STATUS    RESTARTS        AGE
kube-system   pod/coredns-7c65d6cfc9-9znfx             1/1     Running   0               12d
kube-system   pod/coredns-7c65d6cfc9-j76md             1/1     Running   0               12d
kube-system   pod/etcd-k8s-cn-001                      1/1     Running   0               12d
kube-system   pod/etcd-k8s-cn-002                      1/1     Running   0               3h34m
kube-system   pod/etcd-k8s-cn-003                      1/1     Running   0               3h28m
kube-system   pod/kube-apiserver-k8s-cn-001            1/1     Running   0               3h47m
kube-system   pod/kube-apiserver-k8s-cn-002            1/1     Running   0               3h34m
kube-system   pod/kube-apiserver-k8s-cn-003            1/1     Running   0               3h28m
kube-system   pod/kube-controller-manager-k8s-cn-001   1/1     Running   2 (3h48m ago)   12d
kube-system   pod/kube-controller-manager-k8s-cn-002   1/1     Running   0               3h34m
kube-system   pod/kube-controller-manager-k8s-cn-003   1/1     Running   0               3h28m
kube-system   pod/kube-proxy-kx2tk                     1/1     Running   0               3h28m
kube-system   pod/kube-proxy-xgvst                     1/1     Running   0               12d
kube-system   pod/kube-proxy-xs2wk                     1/1     Running   0               3h34m
kube-system   pod/kube-scheduler-k8s-cn-001            1/1     Running   2 (3h48m ago)   12d
kube-system   pod/kube-scheduler-k8s-cn-002            1/1     Running   0               3h34m
kube-system   pod/kube-scheduler-k8s-cn-003            1/1     Running   0               3h28m

NAMESPACE     NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
default       service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP                  12d
kube-system   service/kube-dns     ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   12d

NAMESPACE     NAME                        DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/kube-proxy   3         3         3       3            3           kubernetes.io/os=linux   12d

NAMESPACE     NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
kube-system   deployment.apps/coredns   2/2     2            2           12d

NAMESPACE     NAME                                 DESIRED   CURRENT   READY   AGE
kube-system   replicaset.apps/coredns-7c65d6cfc9   2         2         2       12d

Kubernetes에서 kubeadm join 명령어를 통해 Master 노드를 추가하는 방법을 알아봤습니다.

먼저, Kubernetes 클러스터를 고가용성(HA)으로 구성하기 위해 첫 번째 Master 노드에서 kubeadm init 명령어를 사용하여 클러스터의 control plane을 초기화하고, controlPlaneEndpoint를 설정합니다. 이후 두 번째와 세 번째 Master 노드는 kubeadm join 명령어를 사용하여 클러스터에 연결합니다. Master 노드를 추가할 때는 token 값, CA 인증서 해시, 클러스터 인증서가 필요하며, --control-plane 옵션을 사용하여 Master 노드로 추가합니다.

클러스터에 추가된 노드에서 kubectl 명령어를 사용하기 위해 설정 파일을 준비하고 권한을 설정하는 명령을 실행합니다.
이후 kubectl get nodes 명령어로 노드 상태를 확인하고, kubectl get all -A 명령어로 kube-system 네임스페이스 내 핵심 구성 요소들이 각 노드에 추가되어 정상적으로 실행되고 있는지 확인합니다.

지금까지 Kubernetes에서 kubeadm join 명령어를 통해 Master 노드를 추가하는 방법을 알아보는 시간을 가졌습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

[kubernetes] controlPlaneEndpoint 설정하기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

Kubernetes에서 controlPlaneEndpoint 설정은 고가용성(HA)을 위한 필수 구성 요소입니다. 이 설정을 통해 클러스터 내 여러 master 노드를 로드밸런서나 고정 IP를 통해 단일 접점으로 묶어 관리할 수 있습니다. controlPlaneEndpoint를 사용하면, 클러스터의 API 서버에 대한 요청을 단일 엔드포인트로 전달하고, 그 뒤에서 로드밸런서가 요청을 여러 master 노드로 분산 처리하게 됩니다.

controlPlaneEndpoint에 대해 더 알아보고 설정하는 방법을 알아보도록 하겠습니다.

controlPlaneEndpoint 란?

[ 기능 ]

controlPlaneEndpoint는 클러스터의 API 서버를 외부에서 접근할 수 있는 단일 접점을 제공합니다.
이를 통해 클라이언트(예: kubectl)는 master 노드의 IP 주소가 변경되더라도 항상 동일한 엔드포인트를 사용하여 API 서버에 접근할 수 있습니다.

[ 필요성 ]

여러 master 노드를 사용하는 경우, API 서버에 대한 접근을 로드밸런서가 담당하도록 하여 고가용성 및 장애 대응을 구현할 수 있습니다. 만약 하나의 master 노드가 다운되더라도, 로드밸런서가 요청을 남은 master 노드로 자동으로 라우팅하여 서비스가 지속되도록 합니다.

단일 master 노드를 사용하는 경우에는 controlPlaneEndpoint 설정 없이 클러스터를 사용하여도 문제는 없습니다.

controlPlaneEndpoint 설정하기

kubeadm init 단계에서 설정하기

kubeadm init 단계에서 --control-plane-endpoint 옵션을 추가하여 직접 controlPlaneEndpoint를 설정할 수 있습니다.

# kubeadm init --control-plane-endpoint "10.0.0.11:6443"

kubeadm init 완료 후 설정하기

Kubernetes configmaps 설정 중 kubeadm-config 설정에 controlPlaneEndpoint 옵션을 추가합니다.

# kubectl edit configmaps -n kube-system kubeadm-config

ClusterConfiguration 섹션에 controlPlaneEndpoint: <IP 및 도메인> 값을 추가합니다.
추가 후 자동으로 적용되며 controlPlaneEndpoint를 통해 안정적으로 API 서버에 접근할 수 있습니다.

접근 확인

controlPlaneEndpoint가 설정된 로드밸런서나 고정 IP를 통해 Kubernetes API 서버에 접근할 수 있는지 확인하려면, 로컬 머신이나 클러스터의 다른 노드에서 kubectl 명령을 실행합니다.

### 예시
# kubectl get nodes --server https://<controlPlaneEndpoint>:6443

# kubectl get nodes --server https://10.0.0.11:6443
NAME         STATUS   ROLES           AGE   VERSION
k8s-cn-001   Ready    control-plane   12d   v1.31.2
k8s-cn-002   Ready    control-plane   60m   v1.31.2
k8s-cn-003   Ready    control-plane   54m   v1.31.2

정상적으로 설정한 controlPlaneEndpoint를 통해 API 서버에 접근하는 것을 확인하실 수 있습니다.

Kubernetes 클러스터에서 controlPlaneEndpoint를 설정하고 확인하는 방법을 알아봤습니다.

먼저, 클러스터의 고가용성을 위해 로드밸런서나 고정 IP를 통해 접근할 수 있는 controlPlaneEndpoint를 설정합니다. 이를 위해, kubeadm, kubelet, kubectl 패키지를 설치한 후, kubeadm init 명령어를 사용해 control plane을 초기화합니다. kubeadm init 단계에서 controlPlaneEndpoint 설정을 추가하거나 완료 후 configmaps 설정을 추가하여 controlPlaneEndpoint  설정을 추가할 수 있습니다.

마지막으로, kubectl get nodes 명령어에 --server 옵션을 추가하여 설정한 controlPlaneEndpoint를 통해 모든 master 노드가 정상적으로 응답하는지 확인합니다.

지금까지 Kubernetes 클러스터에서 controlPlaneEndpoint를 설정하고 확인하는 방법을 알아보는 시간을 가졌습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
https://kubernetes.io/docs/reference/config-api/kubeadm-config.v1beta3/

[kubernetes] kubeadm join 시 필요한 정보 확인

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

kubeadm join 명령어는 Kubernetes 클러스터에 새로운 노드를 추가할 때 사용되는 명령어입니다.
이때 각각의 옵션을 추가하여 필요한 정보를 입력하면 Master(또는 Control Plane) 노드로 추가하거나 Worker 노드로 추가할 수 있습니다. 각각의 경우, kubeadm join을 실행할 때 필요한 정보가 어떤 것인지 확인하고 설정하는 방법을 확인해보도록 하겠습니다.

kubeadm join 시 필요한 정보 확인

0. 기본 명령어 구조

kubeadm join 시 사용하는 명령어의 기본적인 구조는 아래와 같습니다.

아래 명령어를 확인 후 필요한 정보에 대한 상세 정보를 확인해봅시다.

kubeadm join <IP:Port> \
          --token <TOKEN> \
          --discovery-token-ca-cert-hash sha256:<HASH> \
          --control-plane --certificate-key <CERTIFICATE_KEY>

1. Master 노드 IP 및 Port

클러스터에 처음 초기화된 Master(또는 Control Plane) 노드의 IP 주소입니다.
Port는 클러스터의 API 서버가 사용하는 정보로 기본적으로 6443번을 사용합니다.

필수 값으로 IP:Port 형태로 옵션을 추가하여 사용합니다.

2. token 확인 및 발급 방법

클러스터에 노드를 추가하는 인증 토큰입니다.
필수 값으로 --token <TOKEN> 형태로 옵션을 추가하여 사용합니다.

token 확인 시 kubeadm token list 명령어를 사용하여 현재 발급된 token 값을 확인합니다.
발급 시 기본적으로 24시간의 TTL을 가집니다.

# kubeadm token list
TOKEN                     TTL         EXPIRES                USAGES                   DESCRIPTION                                                EXTRA GROUPS
tu3evj.a78mjq13wnb144gz   23h         2024-11-01T01:29:43Z   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token

token 발급 시에는 kubeadm token create 명령어를 사용하며 신규 발급을 할 수 있습니다.

kubeadm init 시에는 자동으로 기본 token 값이 발급됩니다.

# kubeadm token create
vr7t89.jxazmg5p92o9b64u

3. CA 인증서 확인 방법

클러스터의 CA 인증서에 대한 SHA-256 해시 값으로 API 서버에 연결할 때 인증서를 검증하기 위한 값입니다.
필수 값으로 --discovery-token-ca-cert-hash <HASH> 형태로 옵션을 추가하여 사용합니다.

CA 인증서 파일은 기본 경로인 /etc/kubernetes/pki/ca.crt 경로에 생성되며 아래 명령어를 통해 Hash 값을 확인할 수 있습니다.

# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | \
    openssl rsa -pubin -outform der 2>/dev/null | \
    sha256sum | \
    awk '{print $1}'
48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5

4. 클러스터 인증서 확인 및 발급 방법

클러스터 인증서란 추가 노드를 Worker 노드가 아닌 Master(또는 Control Plane) 노드로 추가하기 위해 클러스터 부트스트랩(bootstrap) 과정에서 클러스터의 컨트롤 플레인 노드 간에 비밀 값을 공유하기 위한 인증서입니다. Master 노드로 추가 시에만 사용하는 옵션으로 --control-plane --certificate-key <CERTIFICATE_KEY> 형태로 옵션을 추가하여 사용합니다.

인증서 발급 시 인증서를 사용하기 위한 키 값이 생성되며 발급 과정에서 키를 복사 후 사용해야 됩니다.
만약 키를 잃어버렸다면, 인증서를 재발급 하거나 클러스터를 재구성해야 할 수 있습니다.

클러스터 인증서 발급 여부를 확인하기 위해 kubectl get 명령어와 kubectl describe 명령어를 사용할 수 있습니다.

### 클러스터 인증서 발급 확인
# kubectl get secret kubeadm-certs -n kube-system
NAME            TYPE     DATA   AGE
kubeadm-certs   Opaque   8      7m58s


### 클러스터 인증서 상세 내용 확인
# kubectl describe secret kubeadm-certs -n kube-system
Name:         kubeadm-certs
Namespace:    kube-system
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
sa.pub:              479 bytes
ca.crt:              1135 bytes
ca.key:              1707 bytes
etcd-ca.crt:         1122 bytes
etcd-ca.key:         1703 bytes
front-proxy-ca.crt:  1151 bytes
front-proxy-ca.key:  1707 bytes
sa.key:              1703 bytes

클러스터 인증서 발급 여부만 확인할 수 있으며 키는 확인할 수 없습니다.

인증서를 신규 발급 및 재발급 시에는 kubeadm init phase upload-certs --upload-certs 명령어를 사용합니다.
클러스터가 이미 초기화된 후에 인증서를 업로드하거나 갱신할 때 사용하는 명령어 입니다.

# kubeadm init phase upload-certs --upload-certs
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
60796e6a29ed231d32af9d59f557c858789166a4809f6296374ae7073d2bfd96

클러스터 초기화 단계에서 인증서를 생성 및 업로드할 경우에는 kubeadm init --upload-certs 명령어를 통해 클러스터 초기화와 인증서를 생성 및 업로드 작업을 한번에 할 수 있습니다.

# kubeadm init --upload-certs
===== 이후 클러스터 초기화 =====

Kubernetes의 kubeadm join 명령어 사용 시 필요한 정보를 확인해봤는데요.

새로운 노드를 클러스터에 추가하려면 Master 노드 IP 및 Port, 토큰(Token), CA 인증서 해시, 클러스터 인증서 등이 필요합니다. 각각의 정보들은 명령어를 통해 확인 및 발급하여 관리할 수 있습니다. 클러스터 인증서 같은 경우에는 발급 시에만 키 값을 확인할 수 있어 발급 과정에서 키를 복사 후 저장하여 사용해야 됩니다. 클러스터 추가 시 필요한 정보들을 명확히 확인 후 잘 사용하시기 바랍니다.

지금까지 Kubernetes의 kubeadm join 명령어 사용 시 필요한 정보를 확인해보는 방법을 알아봤습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

[kubernetes] kubeadm join 시 secrets "kubeadm-certs" is forbidden 오류 확인

Kubernetes의 kubeadm join 명령어를 사용하여 새로운 노드를 클러스터의 Control Plane에 추가할 수 있습니다.
새로운 노드 추가 시 오류가 발생하였으며 오류 내용과 해결 방법을 알아봅시다.

오류 내용

사용한 kubeadm join 명령어는 아래와 같습니다.

# kubeadm join 10.0.0.11:6443 --token sa3r4y.ngt09l1rja0ji0xq \
    --discovery-token-ca-cert-hash sha256:41b08148601186594f2d125f01e04b77feff0ad5ce40cd0b52e3ee862362cfc3 \
    --control-plane --certificate-key 3fa1cc2fb71465621ba882f021464f483c46957a01755cbbd4435dcaf4d60032 \
    --v=5

상세 오류 로그를 확인하기 위해서는 --v=5 옵션이 필요합니다.

위 kubeadm join 명령어를 사용하여 Control Plane 추가 시 아래 오류가 발생하였습니다.

[download-certs] Downloading the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
secrets "kubeadm-certs" is forbidden: User "system:bootstrap:sa3r4y" cannot get resource "secrets" in API group "" in the namespace "kube-system"
error downloading the secret

오류 내용은 join 하고자하는 클러스터의 인증서 파일이 "kube-system" Namespace, "kubeadm-certs" 이름의 Secret으로 조회할 수 없어 발생한 오류입니다.

상세 내용으로는 첫 번째 Control Plane 노드를 설정한 클러스터에서 클러스터 인증서 파일이 생성 및 저장되지 않아 조회 시 발생한 오류로 kubeadm init 및 수동으로 인증서 생성 시 --upload-certs 옵션을 사용하여 인증서를 정상적으로 생성 및 저장하여 오류를 해결 할 수 있습니다.

해결 방법

노드 구성 (kubeadm init)

신규로 노드를 구성하거나 기존에 구성한 노드를 초기화 후 다시 재구성할 경우 kubeadm init 명령어 시 --upload-certs 옵션을 추가합니다. 노드가 구성되면서 인증서 파일은 정상적으로 생성 및 저장됩니다.

# kubeadm init --control-plane-endpoint "<고정 IP 또는 DNS 이름>:6443" --upload-certs ...

신규 인증서 발급

아래 명령어를 사용하여 신규 인증서를 발급하여 "kube-system" Namespace, "kubeadm-certs" 이름의 Secret에 인증서를  저장합니다.

# kubeadm init phase upload-certs --upload-certs
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
8ff8f8c871c6bab95b42b0e1928ffbb4d935ac9355dc4484379fd648a4dc4a37

생성된 인증서의 key 값을 사용하여 다시 kubeadm join 명령어를 사용하여 새로운 노드를 추가합니다.

Kubernetes의 kubeadm join 명령어 사용 시 인증서 관련 오류를 확인해봤습니다.

인증서를 신규로 발급하여 저장하는 방법으로 간단히 오류를 해결할 수 있으며 join 시에는 다양한 오류가 발생할 수 있으니 오류 로그를 확인 후 잘 해결해보시기 바랍니다.

지금까지 새로운 노드를 클러스터의 Control Plane에 추가 시 발생한 오류 내용과 해결 방법을 알아봤습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://github.com/kubernetes/kubeadm/issues/2386

[kubernetes] Master/Worker 노드 개념 알아보기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

Kubernetes에서 Master 노드와 Worker 노드는 클러스터를 구성하는 두 가지 주요 노드 유형입니다.
각 노드는 서로 다른 역할을 가지고 있으며, 이들이 협력하여 애플리케이션을 배포하고 관리하는 환경을 제공합니다.

Master 노드와 Worker 노드의 개념에 대해서 알아보도록 하겠습니다.

개념

Master 노드

주요 : 클러스터 제어 및 관리, 작업 스케줄링 담당

Master 노드는 클러스터의 중앙 제어 시스템으로, 클러스터 상태를 관리하고, 워크로드를 스케줄링하며, Worker 노드를 관리하는 역할을 합니다. 여러 주요 컴포넌트로 구성되어 있으며, 이들 컴포넌트가 협력하여 클러스터가 안정적이고 효율적으로 작동하도록 보장합니다.

Master 노드가 다운되면 클러스터의 제어 기능에 문제가 발생하며, 특히 단일 Master 노드 구성에서는 클러스터 가용성이 크게 저하됩니다. 이 때문에 프로덕션 환경에서는 일반적으로 다중 Master 노드를 구성하여 고가용성을 보장하고, Master 노드에 문제가 발생해도 클러스터가 지속적으로 운영될 수 있도록 합니다.

Worker 노드

주요 : 애플리케이션(Pod) 실행 및 실제 작업 수행

Worker 노드는 클러스터에서 실제로 애플리케이션이 실행되는 장소로, 클러스터에 배포된 Pod와 컨테이너를 호스팅하고 관리합니다. 사용자가 요청한 애플리케이션 워크로드를 처리하고, 각 애플리케이션이 원활하게 동작하도록 필요한 리소스를 제공합니다. Kubernetes 클러스터에서 실질적인 작업을 수행하는 노드로, 모든 애플리케이션과 서비스를 실제로 실행하며, 각 Pod와 컨테이너가 배포된 상태에서 안정적으로 동작하도록 보장합니다.

구성요소

Master 노드

• 1. API 서버 (kube-apiserver)
  • API 서버는 Kubernetes 클러스터와 상호작용하는 주요 구성요소 입니다.
  • 사용자가 Kubernetes 클러스터와 통신할 때, kubectl과 같은 CLI 도구 또는 외부 시스템은 API 서버를 통해 요청을 전달합니다.
  • 모든 요청을 인증 및 인가하고, 필요한 경우 요청을 허용하거나 거부합하며 etcd에 저장된 클러스터 상태를 조회하고 업데이트하여 클러스터의 일관성을 유지합니다.

• 2. etcd
  • etcd는 Kubernetes 클러스터의 모든 상태 데이터를 저장하는 분산 키-값 데이터베이스입니다.
  • Kubernetes의 핵심 데이터 저장소로, 클러스터의 구성 정보와 상태 정보를 영구적으로 저장합니다.
  • 모든 Kubernetes 오브젝트(Pod, 서비스, ConfigMap 등)의 상태, 구성, 설정 등을 저장합니다.

• 3. 컨트롤러 매니저 (kube-controller-manager)
  • 컨트롤러 매니저는 여러 개의 컨트롤러를 하나의 프로세스에서 관리하는 역할을 합니다.
  • 클러스터의 상태를 지속적으로 점검하고 수정하여 원하는 상태를 유지합니다

• 4. 스케줄러 (kube-scheduler)
  • 스케줄러는 새로 생성된 Pod를 클러스터 내의 적절한 Worker 노드에 배치하는 역할을 합니다.
  • 적절한 노드를 선택하여 리소스를 최적화하며, 클러스터의 안정성과 효율성을 높입니다.
  • 스케줄러가 없으면, 새로운 Pod가 생성되어도 어느 노드에서도 실행되지 않습니다.

• 5. 클라우드 컨트롤러 매니저 (cloud-controller-manager)
  • 클라우드 컨트롤러 매니저는 클라우드 환경에서 Kubernetes 클러스터와 클라우드 공급자 간의 상호작용을 담당하는 컴포넌트입니다.
  • 이는 Kubernetes와 클라우드 제공자 API 간의 인터페이스 역할을 하며 이를 통해 클러스터 관리와 확장성을 높일 수 있습니다.

Worker 노드

• 1. kubelet
  • kubelet은 Worker 노드의 핵심 에이전트로, 해당 노드에서 실행될 Pod와 컨테이너를 관리하는 역할을 합니다.
  • Master 노드의 API 서버와 지속적으로 통신하여, 노드에서 실행할 Pod의 정의를 받고 이를 관리합니다.
  • kubelet은 각 Pod의 상태를 주기적으로 확인하고 보고하여, 문제가 발생한 경우 자동으로 복구하거나 재시작하는 등의 작업을 수행합니다.

• 2. 컨테이너 런타임(Container Runtime)
  • 컨테이너 런타임은 컨테이너 작업 및 실행을 담당하는 소프트웨어입니다.
  • Kubernetes는 여러 컨테이너 런타임을 지원하며, 대표적으로 Docker, containerd, CRI-O 등이 사용됩니다.
  • 컨테이너 런타임은 kubelet과 상호작용하여 Pod의 컨테이너를 생성, 시작, 중지하는 작업을 수행합니다.

• 3. kube-proxy
  • kube-proxy는 Kubernetes 클러스터 내에서 네트워크 통신을 관리하는 역할을 하는 네트워크 프록시입니다.
  • 클러스터 내부의 모든 Pod와 서비스 간의 네트워크 트래픽을 라우팅하고, 네트워크 규칙을 설정하여 서비스와 Pod가 서로 통신할 수 있도록 지원합니다.

구성 요소를 보면 Kubernetes는 Master 노드와 Worker 노드로 역할이 분리되어 클러스터를 안정적으로 관리하고 확장성을 높이는 특징이 있습니다. Master 노드는 클러스터의 상태 관리, 스케줄링, 클라우드 연동을 담당하고, Worker 노드는 kubelet, 컨테이너 런타임 등을 통해 실제 애플리케이션을 실행합니다. 이러한 구조는 Kubernetes가 다양한 환경에서 유연하고 효율적으로 작동하도록 지원합니다.

Kubernetes에서 Master 노드와 Worker 노드의 개념과 구성을 간단히 알아봤는데요.

먼저, Kubernetes 클러스터를 구성하기 위해 Master 노드와 Worker 노드의 역할을 이해해야 합니다.

Master 노드는 클러스터의 상태 관리, 작업 스케줄링, 클라우드 연동을 담당하는 중앙 제어 시스템으로, API 서버, etcd, 컨트롤러 매니저, 스케줄러 등으로 구성됩니다. Worker 노드는 실제 애플리케이션이 실행되는 작업 노드로, kubelet, 컨테이너 런타임, kube-proxy 등의 구성 요소를 포함해 Pod와 컨테이너를 관리합니다.

구성 요소를 보면 Kubernetes는 Master 노드와 Worker 노드로 역할이 분리되어 있으며, 클러스터의 안정성과 확장성을 높이는 구조로 설계되었습니다. 이를 통해 다양한 환경에서 유연하고 효율적인 애플리케이션 배포 및 관리가 가능합니다.

지금까지 Kubernetes에서 Master 노드와 Worker 노드의 개념과 구성을 간단히 알아보았습니다...! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://github.com/kubernetes/kubernetes
https://www.aquasec.com/cloud-native-academy/kubernetes-101/kubernetes-nodes/
https://www.linkedin.com/pulse/master-worker-node-components-kubernetes-cluster-vikas-arora

[Linux] IPv4 Forwarding 설정하기

Linux에서 IPv4 Forwarding(IPv4 포워딩)은 시스템이 들어오는 네트워크 패킷을 다른 네트워크 인터페이스로 전달할 수 있는 기능을 활성화하는 설정입니다

기본적으로 서버나 컴퓨터는 자신에게 전달된 패킷을 처리하지만, 이 설정을 활성화하면 한 네트워크 인터페이스에서 받은 패킷을 다른 네트워크 인터페이스로 전달할 수 있습니다. Linux 서버를 네트워크 장비(스위치, 라우터, VPN) 기능으로 사용하거나 Kubernetes, Docker 와 같이 가상 네트워크를 구성하는 환경에서는 IPv4 Forwarding 설정이 필요합니다.

Linux에서 IPv4 Forwarding 설정을 해보도록 하겠습니다.

IPv4 Forwarding 설정 및 확인하기

일시적 설정 (재부팅 시 초기화됨)

sysctl 명령어를 사용하여 일시적으로 IPv4 포워딩 설정을 활성화합니다.

# sysctl -w net.ipv4.ip_forward=1
net.ipv4.ip_forward = 1

영구적 설정 (재부팅 후에도 유지됨)

시스템 재부팅 후에도 IPv4 포워딩이 유지되도록 하려면, /etc/sysctl.conf 파일에 아래와 같이 설정을 추가해야 합니다.

# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

확인 방법

# sysctl -p
net.ipv4.ip_forward = 1

값 1 or 0 에 따라서 활성화 여부를 확인하실 수 있습니다.

Linux에서 IPv4 포워딩을 설정하는 방법을 알아봤습니다.

먼저, IPv4 포워딩을 일시적으로 활성화하기 위해 sysctl 명령어를 사용하고, 시스템 재부팅 후에도 설정을 유지하려면 /etc/sysctl.conf 파일에 값을 추가해야 합니다. 그런 다음, sysctl -p 명령어로 설정을 적용하여 IPv4 포워딩이 정상적으로 활성화되었는지 확인할 수 있습니다.

이 설정은 네트워크 장비로서 서버를 사용하거나, Kubernetes 및 Docker와 같은 가상 네트워크 환경을 구성할 때 필수적인 과정입니다.

지금까지 Linux에서 IPv4 포워딩을 설정하는 방법을 간단히 알아보는 시간을 가졌습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주시고, 댓글로 의견을 남겨주시면 감사하겠습니다!

[kubernetes] kubeadm init 클러스터 구성하기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

kubeadm init 명령어는 Kubernetes 클러스터의 control plane을 설정하고 초기화하는데 사용됩니다.
이 명령어를 통해 Kubernetes 마스터 노드를 설정하고, 다른 워커 노드를 추가할 수 있습니다.

kubeadm init 명령어를 통해 Kubernetes 클러스터 구축하는 방법을 알아보도록 하겠습니다.

사전 작업

컨테이너 런타임 설치

컨테이너를 실행하고 관리하는 역할인 컨테이너 런타임 설치가 필요합니다.
CRI-O 컨테이너 런타임을 설치합니다.

• CRI-O 설치하기
  https://every-up.tistory.com/84

kubeadm kubelet kubectl 설치

Kubernetes 클러스터 생성 및 기본적인 명령어를 사용하기 위해 kubeadm kubelet kubectl 패키지를 설치합니다.

• kubeadm kubelet kubectl 설치하기
  https://every-up.tistory.com/87

IPv4 Forward 설정

Pod 네트워크의 트래픽을 정상적으로 라우팅하기 위해 ipv4 forward 설정을 추가합니다.

• IPv4 Forwarding 설정하기
  https://every-up.tistory.com/89

Kubernetes 컴포넌트 이미지 다운로드

Kubernetes 클러스터의 초기화를 성공적으로 진행하기 위해 Kubernetes 컴포넌트 이미지를 다운로드 받습니다.

# kubeadm config images pull
[config/images] Pulled registry.k8s.io/kube-apiserver:v1.31.1
[config/images] Pulled registry.k8s.io/kube-controller-manager:v1.31.1
[config/images] Pulled registry.k8s.io/kube-scheduler:v1.31.1
[config/images] Pulled registry.k8s.io/kube-proxy:v1.31.1
[config/images] Pulled registry.k8s.io/coredns/coredns:v1.11.3
[config/images] Pulled registry.k8s.io/pause:3.10
[config/images] Pulled registry.k8s.io/etcd:3.5.15-0

kubeadm init

Kubernetes 클러스터의 control plane을 설정하고 초기화하는 kubeadm init 명령어를 사용하여 마스터 노드를 설정합니다.

kubeadm init 명령어 이후 클러스터 설정 진행에 대한 로그를 확인하실 수 있습니다.

#  kubeadm init
[init] Using Kubernetes version: v1.31.1

===== 생략 =====

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.0.13:6443 --token 80hzos.m4ql4kdlrv7bpd24 \
        --discovery-token-ca-cert-hash sha256:2827b77380f60a82a86f6051c599289f9432f71b7c369216f62da768822d7e02

kubectl 명령어를 사용할 수 있도록 설정 파일을 준비하고 권한 설정을 위해 아래 명령어를 추가로 입력합니다.

# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubelet을 재시작 합니다.

# systemctl restart kubelet

클러스터 설치 확인

Kubernetes 클러스터에서 현재 구성된 모든 노드(node)에 대한 정보를 확인할 수 있습니다.

# kubectl get nodes
NAME         STATUS   ROLES           AGE     VERSION
k8s-cn-001   Ready    control-plane   5m53s   v1.31.1

노드 이름, 상태, 역할, 생성된 시간, 버전 등의 정보를 확인할 수 있습니다.

Kubernetes 클러스터의 핵심 구성 요소들이 실행되는 kube-system 네임스페이스의 리소스를 확인할 수 있습니다.

# kubectl get all -A
NAMESPACE     NAME                                     READY   STATUS    RESTARTS   AGE
kube-system   pod/coredns-7c65d6cfc9-5gtzj             1/1     Running   0          12m
kube-system   pod/coredns-7c65d6cfc9-85swv             1/1     Running   0          12m
kube-system   pod/etcd-k8s-cn-003                      1/1     Running   0          12m
kube-system   pod/kube-apiserver-k8s-cn-003            1/1     Running   0          12m
kube-system   pod/kube-controller-manager-k8s-cn-003   1/1     Running   0          12m
kube-system   pod/kube-proxy-6gx92                     1/1     Running   0          12m
kube-system   pod/kube-scheduler-k8s-cn-003            1/1     Running   0          12m

NAMESPACE     NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
default       service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP                  12m
kube-system   service/kube-dns     ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   12m

NAMESPACE     NAME                        DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/kube-proxy   1         1         1       1            1           kubernetes.io/os=linux   12m

NAMESPACE     NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
kube-system   deployment.apps/coredns   2/2     2            2           12m

NAMESPACE     NAME                                 DESIRED   CURRENT   READY   AGE
kube-system   replicaset.apps/coredns-7c65d6cfc9   2         2         2       12m

Rocky Linux 9.4에서 Kubernetes 클러스터를 구축하는 방법을 알아봤습니다.

먼저, 클러스터 구성을 위해 컨테이너 런타임(CRI-O)을 설치하고, kubeadm, kubelet, kubectl 패키지를 설치한 후, IPv4 포워딩을 활성화해야 합니다.

그 후, kubeadm init 명령어를 사용하여 Kubernetes 클러스터의 control plane을 초기화합니다. 초기화가 완료되면, 클러스터에서 kubectl 명령어를 사용하기 위해 설정 파일을 준비하고 권한을 추가합니다. 그리고 kubelet을 재시작하여 클러스터가 정상적으로 동작하도록 합니다.

마지막으로, kubectl get nodes 명령어로 클러스터의 노드를 확인하고, kubectl get all -A 명령어로 kube-system 네임스페이스에서 Kubernetes의 핵심 구성 요소들이 제대로 실행되고 있는지 확인할 수 있습니다.

지금까지 Kubernetes 클러스터를 구축하는 방법을 간단히 알아보는 시간을 가졌습니다....! 끝...!

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

[Reference]
https://github.com/kubernetes/kubernetes
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/