[kubernetes] Pod 스케줄링 조건 및 정책

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

Kubernetes에서 스케줄링은 Kubelet이 Pod를 실행할 수 있도록 Pod가 Node에 적합한지 확인하는 것을 말합니다.
Pod가 배포될 때 적용되는 조건과 정책은 Pod의 배치, 리소스 할당, 네트워크, 보안 등 다양한 측면에서 영향을 미칩니다.

 

Kubernetes에서 다양한 환경과 조건에 유연하게 Pod를 배포하기 위한 스케줄링 조건 및 정책에 대해 알아보도록 하겠습니다.

 

 

 


스케줄링 조건 및 정책

Node Selector

Node Selector는 Pod가 특정 Node에 배치되도록 하기 위해 사용됩니다.
Node에 Key-Value 형태로 라벨을 추가하고, Pod의 nodeSelector 필드에 해당 라벨을 지정합니다.
지정된 라벨을 가진 Node가 없으면 Pod 배포가 불가합니다.

apiVersion: v1
kind: Pod
metadata:
  name: node-selector-pod
spec:
  nodeSelector:
    disktype: ssd

 

 

 

Node Affinity

Node Affinity는 Node Selector보다 유연한 방식으로, Node에 대한 강제(required) 조건과 선호(preferred) 조건을 정의할 수 있습니다.

 

requiredDuringSchedulingIgnoredDuringExecution : 반드시 조건을 만족해야만 배포
preferredDuringSchedulingIgnoredDuringExecution : 조건을 선호하지만, 만족하지 않아도 배포 가능

apiVersion: v1
kind: Pod
metadata:
  name: node-affinity-pod
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: disktype
            operator: In
            values:
            - ssd
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: zone
            operator: In
            values:
            - us-west-1

 

 

 

Taint & Toleration

Taint는 특정 Node에 Pod 배치를 제한하거나 허용하기 위한 정책으로 사용됩니다.
Node에 Taint를 설정하고, Pod에 해당 Taint를 허용하는 Toleration을 추가하면 해당 Node에 Pod 배치가 가능합니다.
이를 통해 클러스터의 리소스를 효율적으로 활용하고, 특정 Node에서 실행할 Pod를 제어할 수 있습니다.

 

Node에 Taint를 추가하는 명령어입니다.

# kubectl taint nodes node1 key=value:NoSchedule

 

 

Master(Control) Node에 Pod가 배포되지 않는 이유는 아래와 같이 Taint가 설정되어 있기 때문입니다.

# kubectl describe node node1 | grep Taint
Taints:             node-role.kubernetes.io/control-plane:NoSchedule

 

 

Toleration 설정을 통해 NoSchedule Taint가 설정된 Node에만 Pod를 배치할 수 있도록 허용합니다.

apiVersion: v1
kind: Pod
metadata:
  name: taint-toleration-pod
spec:
  tolerations:
  - key: "key"
    operator: "Equal"
    value: "value"
    effect: "NoSchedule"

 

 

 

Resource request & limit

Pod의 CPU, Memoery 등의 리소스 요청(requests) 및 제한(limits)을 설정하여, 해당 요구사항을 만족하는 Node에 배포되도록 합니다.
Pod에서 요청한 CPU/Memory를 수용할 수 없는 Node에는 배치 불가하며, 수용할 수 있는 Node가 없으면 Pod 배포는 불가합니다.
Pod가 사용하는 CPU와 메모리 리소스를 효율적으로 관리하기 위해 사용됩니다.

apiVersion: v1
kind: Pod
metadata:
  name: resource-pod
spec:
  containers:
  - name: nginx
    image: nginx
    resources:
      requests:
        memory: "64Mi"
        cpu: "250m"
      limits:
        memory: "128Mi"
        cpu: "500m"

 

 

 

Pod Affinity & Anti-Affinity

Pod Affinity는 특정 Pod가 클러스터 내의 다른 Pod와 가까운 위치(같은 Node 또는 같은 영역(zone))에 배치되도록 스케줄링하는 기능입니다.
서비스 간 네트워크 지연을 최소화하거나, 동일한 하드웨어 리소스를 공유하여 성능을 최적화해야 하는 경우 유용합니다.
반대로, Pod Anti-Affinity는 특정 Pod가 특정 조건을 가진 다른 Pod와 떨어진 위치에 배치되도록 합니다.

 

Pod Affinity requiredDuringSchedulingIgnoredDuringExecution : 반드시 조건을 만족해야만 배포
Pod Affinity preferredDuringSchedulingIgnoredDuringExecution : 조건을 선호하지만, 만족하지 않아도 배포 가능

 

 

예시) app=frontend 라벨을 가진 Pod가 반드시 app=backend 라벨을 가진 Pod와 같은 Node에 배치되도록 설정합니다.

apiVersion: v1
kind: Pod
metadata:
  name: frontend-pod
  labels:
    app: frontend
spec:
  affinity:
    podAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - backend
          topologyKey: "kubernetes.io/hostname"
  containers:
  - name: nginx
    image: nginx

 

 

예시) app=frontend 라벨을 가진 Pod가 가능하면 app=backend 라벨을 가진 Pod와 같은 Node에 배치되도록 선호합니다.

apiVersion: v1
kind: Pod
metadata:
  name: frontend-pod
  labels:
    app: frontend
spec:
  affinity:
    podAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
        - weight: 1
          podAffinityTerm:
            labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - backend
            topologyKey: "kubernetes.io/hostname"
  containers:
  - name: nginx
    image: nginx

 

 

예시) app=frontend 라벨을 가진 Pod가 반드시 app=frontend 라벨을 가진 다른 Pod와 다른 Node에 배치되도록 설정합니다.

apiVersion: v1
kind: Pod
metadata:
  name: frontend-pod
  labels:
    app: frontend
spec:
  affinity:
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - frontend
          topologyKey: "kubernetes.io/hostname"
  containers:
  - name: nginx
    image: nginx

 

 

 

 


다영한 스케줄링 조건 및 정책을 사용하는 이유?

Kubernetes에서 다양한 스케줄링 조건 및 정책을 사용하는 이유는 클러스터의 자원 효율성, 애플리케이션 안정성, 운영 유연성을 극대화하기 위해서입니다. Kubernetes는 온프레미스, 클라우드, 하이브리드 환경 등 다양한 인프라에서 운영될 수 있으며, 각 환경과 워크로드의 요구 사항에 최적화된 배포를 지원하는 것이 중요합니다. 이러한 목적을 달성하기 위해 다양한 스케줄링 조건과 정책이 조합되어 사용됩니다.

 

예시 시나리오

  • 고성능 워크로드 배포
    • Node Affinity를 사용해 GPU를 장착한 Node에만 배포.
    • Taints/Tolerations로 일반 워크로드가 GPU Node에 배치되지 않도록 설정.
    • Resource Limits로 GPU 리소스를 효율적으로 할당.
  • 웹 애플리케이션 배포
    • Pod Affinity를 사용하여 backend 서버와 DB 서버를 같은 Node에 배포.
    • Pod Anti-Affinity를 사용하여 backend 서버와 frontend 서버를 다른 Node에 배포.
    • Node Selector를 사용하여 disk가 ssd인 Node에 DB 서버 배포.
  • 데이터 분석 워크로드 배포
    • Node Affinity로 SSD를 사용하는 Node에만 배치.
    • Resource Requests로 대량의 메모리와 CPU 확보.
    • Anti-Affinity로 동일한 Node에 과도한 분석 작업 배치 방지.

 

결론적으로는 Kubernetes의 스케줄링 조건과 정책은 클러스터의 자원 활용을 최적화하고, 다양한 환경과 워크로드에 맞춰 배포를 유연하게 조정하며, 장애 복원력과 안정성을 강화하여 전체적인 운영 효율성을 높이는 데 중요한 역할을 합니다. 이를 통해 클라우드 네이티브 환경에서의 워크로드 배포를 효과적으로 관리할 수 있습니다.

 

 

 


스케줄링 사용 유의점

Kubernetes에서 스케줄링을 사용할 때는 다양한 조건과 정책을 적절히 설정해야 하는데, 잘못된 설정이나 과도한 복잡성은 클러스터의 성능 저하, 운영상의 문제, 리소스 낭비 등을 초래할 수 있습니다.

 

Pod의 Resource Requests와 Limits를 잘못 설정하면 스케줄링 가능한 Node가 부족해지거나, Limits를 너무 낮게 설정하면 Pod이 리소스를 초과해 비정상동작할 수 있습니다. 또한 Node Affinity, Pod Affinity/Anti-Affinity, Taints와 Tolerations 등의 조건은 배포를 세밀하게 제어할 수 있지만, 너무 복잡한 조건을 설정하면 오히려 스케줄링 가능한 Node가 줄어드는 문제가 발생할 수 있습니다.

 

이러한 문제를 방지하기 위해 애플리케이션의 실제 리소스 요구 사항을 모니터링한 후 적절한 값을 설정하거나 필수 조건과 선호 조건을 적절히 분리하여 설정하고, 필요 이상의 복잡성을 피하는 것이 중요합니다.

 

 

 


 

Kubernetes에서 Pod 스케줄링 조건 및 정책에 대해 알아봤습니다.

 

Pod를 배포할 때 다양한 조건과 정책을 사용하여 클러스터의 자원 활용을 최적화하고, 애플리케이션의 안정성과 운영 효율성을 높일 수 있습니다. Node Selector와 Node Affinity를 통해 특정 Node에 Pod를 배치하거나, Taints와 Tolerations을 통해 특정 Node에서만 실행되도록 제어할 수 있습니다. 또한, Resource Request와 Limits를 활용해 Pod의 리소스를 관리하고, Pod Affinity 및 Anti-Affinity로 Pod 간의 배치 관계를 세밀히 조정할 수 있습니다.

 

이러한 설정을 통해 Kubernetes는 다양한 환경에서 워크로드를 유연하고 안정적으로 배포할 수 있으며, 클라우드 네이티브 애플리케이션의 관리를 더욱 간편하게 만듭니다.

 

지금까지 Deployment를 통해 pod를 배포하는 방법을 알아보는 시간을 가졌습니다.

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/concepts/scheduling-eviction/
https://kubernetes.io/docs/tasks/configure-pod-container/assign-pods-nodes-using-node-affinity/
https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/
https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/
https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/

 

 

 

[kubernetes] Deployment로 pod 배포하기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

Kubernetes에서 Deployment는 애플리케이션을 선언적으로 배포하고 관리하는 리소스로, Pod의 생성, 업데이트, 확장 및 롤백을 자동화합니다. 이를 통해 안정적인 상태를 유지하며 원하는 개수의 Pod를 보장하고 애플리케이션의 지속적인 배포를 지원합니다.

 

Kubernetes에서 Deployment를 통해 pod를 배포하는 방법을 알아보도록 하겠습니다.

 

 


 

주요 기능

Kubernetes Deployment는 애플리케이션 배포, 업데이트, 확장 및 롤백을 자동화하는 Kubernetes의 핵심 리소스입니다.
Deployment는 선언적 접근 방식을 사용하여 애플리케이션의 원하는 상태를 정의하고, 이를 기반으로 Kubernetes가 클러스터에서 해당 상태를 유지하도록 관리합니다.

  • Pod의 선언적 관리 : 사용자는 YAML 파일로 애플리케이션의 상태를 정의하고, Deployment는 이를 자동으로 관리합니다.
  • 롤링 업데이트 : 애플리케이션 버전을 순차적으로 업데이트하여 무중단 배포를 지원합니다.
  • 롤백 : 문제가 발생하면 이전 버전으로 쉽게 되돌릴 수 있습니다.
  • 자동 복구 : Pod가 비정상 상태일 경우 자동으로 재생성하거나 복제본을 유지합니다.
  • 확장 : 수평 확장을 통해 애플리케이션의 Pod 개수를 조정할 수 있습니다.

 

 

Deployment를 사용하는 이유

직접 배포된 Pod는 클러스터 내에서 특정 노드가 다운되거나 문제가 발생할 경우 자동으로 재생성되지 않으며, 확장성과 관리의 어려움이 있습니다.또한 새로운 버전의 애플리케이션을 배포하거나 설정을 변경하는 경우, 기존 Pod를 삭제하고 새로운 Pod를 수동으로 생성하고 롤백도 수동 작업이 필요합니다.

 

이와 같이 직접 Pod를 배포하는 것은 여러 문제점과 관리에 비효율적이기 때문에 Deployment를 사용하여 Pod를 배포하는 것이 좋습니다.

 

 

 


 

실행 방법

kubectl 명령을 사용하여 Deployment를 생성하거나 YAML 파일을 사용하여 Deployment를 생성할 수 있습니다.

 

kubectl 명령을 사용한 Deployment 생성

kubectl 명령은 간단한 방식으로 Deployment를 생성할 수 있습니다.

# kubectl create deployment nginx-deployment --image=nginx:1.21 --replicas=3
deployment.apps/nginx-deployment created

 

 

YAML 파일을 사용한 Deployment 생성

YAML 파일은 Deployment의 세부 설정을 명시적으로 작성할 때 유용합니다.

# cat nginx-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.21


kubectl create -f nginx-deployment.yaml
deployment.apps/nginx-deployment created

 

 

 


확인

kubectl get deployments 명령어를 통해 deployment의 상태를 확인할 수 있으며 -o wide 옵션을 추가하면 추가 정보 또한 확인할 수 있습니다.

# kubectl get deployments -o wide
NAME               READY   UP-TO-DATE   AVAILABLE   AGE    CONTAINERS   IMAGES       SELECTOR
nginx-deployment   3/3     3            3           114s   nginx        nginx:1.21   app=nginx
  • NAME : deployments의 이름
  • READY : Ready 상태인 Pod의 수와 Deployment가 관리하는 총 Pod 수를 표시
    • x/y x/y 형식으로 표시되며, x는 Ready 상태(정상 실행 중)인 Pod의 수이고, y는 Deployment가 관리하는 총 Pod의 수를 나타냅니다
  • UP-TO-DATE : 업데이트된 템플릿(이미지, 설정 등)을 기반으로 생성된 Pod의 수
  • AVAILABLE : 사용자 요청을 처리할 준비가 된 Pod의 수
  • AGE : Deployment가 생성된 후 경과된 시간
  • CONTAINERS : Deployment에서 관리하는 Pod 내 컨테이너 이름
  • IMAGES : Deployment에서 사용된 컨테이너 이미지
  • SELECTOR : Deployment가 관리하는 Pod를 식별하기 위한 Label

 

 

kubectl get deployments 명령어를 통해 deployment를 통해 생성된 pod를 확인할 수 있습니다.
설정한 replicas 값 만큼 총 3개의 pod가 생성되었습니다.

# kubectl get pod
NAME                                READY   STATUS    RESTARTS   AGE
nginx-deployment-6c789f6549-42gqp   1/1     Running   0          6m50s
nginx-deployment-6c789f6549-qtn8b   1/1     Running   0          6m50s
nginx-deployment-6c789f6549-zpv46   1/1     Running   0          6m50s

 

 

 


 

Kubernetes에서 Deployment를 통해 pod를 배포하는 방법을 알아봤습니다.

 

직접 Pod를 배포할 경우 여러 문제점과 관리에 비효율적이기 때문에 Deployment를 사용하여 Pod를 배포하는 것이 좋습니다. kubectl 명령을 사용하면 빠르게 Deployment를 통해 pod를 배포할 수 있으며, YAML 파일을 활용하면 세부 설정과 재사용 가능한 구성을 작성할 수 있습니다. 또한, kubectl get deployments 명령어를 통해 Pod의 배포 상태 및 상세 정보를 확인할 수 있습니다.

 

지금까지 Deployment를 통해 pod를 배포하는 방법을 알아보는 시간을 가졌습니다.

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/ko/docs/concepts/workloads/controllers/deployment/

 

 

 

[kubernetes] pod 실행하기

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

Kubernetes에서 Pod는 하나 이상의 컨테이너와 스토리지, 네트워크를 공유하며 동일한 환경에서 동작하며 컨테이너를 실행하기 위한 가장 작은 단위입니다. Kubernetes에서 Pod를 실행하는 방법은 간단하며, kubectl 명령줄 도구를 사용하거나 YAML 파일을 작성하여 Pod를 생성할 수 있습니다.

 

 

 


실행 방법

kubectl 명령을 사용한 Pod를 실행하거나 YAML 파일을 사용하여 Pod를 실행할 수 있습니다.

 

kubectl 명령을 사용한 Pod 실행

가장 간단한 방법은 kubectl 명령을 사용하는 것입니다. 예를 들어, Nginx 컨테이너를 실행하려면 다음 명령을 사용할 수 있습니다:

# kubectl run nginx-pod --image=nginx
pod/nginx-pod created

 

 

YAML 파일을 사용한 Pod 실행

더 복잡한 설정이 필요하거나 재사용 가능한 구성을 원한다면 YAML 파일을 작성하여 Pod를 생성할 수 있습니다.

# cat nginx-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: nginx-pod
spec:
  containers:
  - name: nginx-pod
    image: nginx


# kubectl create -f nginx-pod.yaml
pod/nginx-pod created

 

 

 


확인

kubectl get pods 명령어를 통해 pod의 상태를 확인할 수 있으며 -o wide 옵션을 추가하면 추가 정보 또한 확인할 수 있습니다.

# kubectl get pods nginx-pod -o wide
NAME        READY   STATUS    RESTARTS   AGE   IP          NODE         NOMINATED NODE   READINESS GATES
nginx-pod   1/1     Running   0          23m   10.85.0.4   k8s-wn-001   <none>           <none>

 

  • NAME : Pod의 이름
  • READY : Pod 내의 컨테이너가 실행 중인지와 준비 상태인지의 비율
    • x/y 형식으로 표시되며, x는 준비 상태(Ready)인 컨테이너의 수이고, y는 Pod에 포함된 총 컨테이너 수를 나타냅니다.
  • STATUS : Pod의 현재 상태
    • Pending : Pod가 스케줄링 중이거나 아직 실행 준비가 되지 않은 상태
    • Running : Pod의 모든 컨테이너가 실행 중이며 최소한 하나가 준비 상태
    • Succeeded : Pod가 정상적으로 종료됨(모든 컨테이너 종료)
    • Failed : 하나 이상의 컨테이너가 비정상적으로 종료됨
    • Unknown : Pod 상태를 알 수 없는 경우
  • RESTARTS : Pod 내 컨테이너가 재시작된 횟수
  • AGE : Pod가 생성된 후 경과된 시간
  • IP : Pod의 내부 IP 주소
  • NODE : Pod가 실행 중인 워커 노드의 이름
  • NOMINATED NODE : Pod가 스케줄링될 예정인 노드
  • READINESS GATES : 추가적인 준비 상태 조건(옵션).

 


 

 

Kubernetes에서 Pod를 실행하는 방법에 대해 알아봤습니다.

 

kubectl 명령을 사용하면 빠르게 Pod를 실행할 수 있으며, YAML 파일을 활용하면 재사용 가능한 구성을 작성할 수 있습니다. 또한, kubectl get pods 명령어를 통해 Pod의 상태를 확인하고 디버깅할 수 있으며 -o wide 옵션을 사용하면 Pod가 실행 중인 노드와 IP 정보 등 추가 정보를 확인할 수 있습니다.

 

지금까지 Kubernetes에서 Pod를 실행하는 방법을 알아보는 시간을 가졌습니다.

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/concepts/workloads/pods/

 

 

 

 

[kubernetes] kubectl explain 명령어


Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

kubectl explain 명령어는 Kubernetes 리소스의 API 정보를 조회하는 데 사용됩니다. Kubernetes에서 관리하는 리소스와 해당 필드에 대한 상세한 정보를 확인할 수 있으며 사용 방법을 파악하기 위해 활용됩니다.

 

kubectl explain 명령어 사용을 알아봅시다

 

 

 


 

명령어 형식

# kubectl explain {리소스} {필드} {옵션}

 

kubectl explain 명령어는 위와 같은 형식을 사용합니다.

 

특정 리소스의 구조와 가능한 필드를 파악하고, 특정 필드가 무엇을 의미하는지 설명을 제공합니다.
리소스의 하위 필드로 점진적으로 탐색할 수 있으며, Kubernetes API 버전에 맞는 최신 정보를 제공합니다.

 

 

 


출력 예시

# kubectl explain pods
KIND:       Pod
VERSION:    v1

DESCRIPTION:
    Pod is a collection of containers that can run on a host. This resource is
    created by clients and scheduled onto hosts.

FIELDS:
  apiVersion    <string>
    ##### 설명 #####

  kind  <string>
    ##### 설명 #####

  metadata      <ObjectMeta>
    ##### 설명 #####

  spec  <PodSpec>
    ##### 설명 #####

  status        <PodStatus>
    ##### 설명 #####

 

출력 필드 설명

  • KIND: 리소스의 유형(Type)을 나타내며 기본적인 배포 단위를 의미합니다.
  • VERSION: Kubernetes API의 버전을 나타내며 버전에 따라 리소스의 구조나 기능이 달라질 수 있습니다.
  • DESCRIPTION: 리소스의 전반적인 설명을 제공하며 목적, 동작 방식, 및 기본 개념을 간략히 설명합니다.
  • FIELDS: 리소스의 세부 필드 목록과 각 필드의 목적 및 설명을 제공하며 필드 이름, 데이터 유형 등을 설명합니다.

 

 


 

추가 옵션

--recursive 옵션을 사용하여 하위 필드 정보 한번에 보기

# kubectl explain pods.spec.containers  --recursive
KIND:       Pod
VERSION:    v1

FIELD: containers <[]Container>


DESCRIPTION:
    ##### 생략 #####

FIELDS:
  args  <[]string>
  command       <[]string>
  env   <[]EnvVar>
    name        <string> -required-
    value       <string>
    valueFrom   <EnvVarSource>
      configMapKeyRef   <ConfigMapKeySelector>
        key     <string> -required-
        name    <string>
        optional        <boolean>
      ##### 생략 #####

 

 

--api-version 옵션을 사용하여 특정 API 버전의 리소스 정보 확인

API 버전에 따라 빌드 정보가 다른 것을 확인할 수 있습니다.

# kubectl explain hpa.spec --api-version=autoscaling/v1

##### 생략 #####
FIELDS:
  maxReplicas   <integer> -required-
    ##### 생략 #####

  minReplicas   <integer>
    ##### 생략 #####

  scaleTargetRef        <CrossVersionObjectReference> -required-
    ##### 생략 #####

  targetCPUUtilizationPercentage        <integer>
    ##### 생략 #####


# kubectl explain hpa.spec --api-version=autoscaling/v2

##### 생략 #####
FIELDS:
  behavior      <HorizontalPodAutoscalerBehavior>
    ##### 생략 #####

  maxReplicas   <integer> -required-
    ##### 생략 #####

  metrics       <[]MetricSpec>
    ##### 생략 #####

  minReplicas   <integer>
    ##### 생략 #####

  scaleTargetRef        <CrossVersionObjectReference> -required-
    ##### 생략 #####

 

 

 

 


활용

kubectl explain 명령어의 가장 큰 활용 방법은 리소스 정의를 이해하고, YAML 파일을 작성하거나 디버깅할 때 매우 유용하다는 것입니다. 특히 리소스의 구조, 필드, 그리고 필드의 올바른 이름과 사용법 등을 상세히 확인할 수 있습니다.

 

필드의 리소스 타입이 <[]string>인지 <string>인지 구분하여 타입에 맞는 구조로 YAML 파일을 작성할 수 있습니다. 또한 하위 필드에 필요한 옵션 및 정보들을 확인하여 리소스를 생성하거나 디버깅할 때 유용하며 YAML 파일에서 오류가 발생했을 때, 잘못된 필드 이름이나 누락된 필드를 찾을 때 사용할 수 있습니다.

 

Kubernetes 공식 문서를 통해서 각 리소스의 필드에 대한 정보를 확인할 수 있지만, kubectl explain 명령어를 통해서도 상세하게 확인할 수 있으며 명령어를 통해 바로 확인할 수 있다는 장점이 있을 것 같습니다.

 

 

 


 

Kubernetes에서 kubectl explain 명령어를 통해 리소스 정의를 이해하고 활용하는 방법을 알아봤습니다.

 

kubectl explain 명령어는 Kubernetes에서 관리하는 리소스와 해당 필드의 구조, 데이터 타입, 그리고 사용 방법을 상세히 확인할 수 있도록 도와줍니다. 이를 통해 YAML 파일 작성 시 참고하거나, 디버깅 및 리소스 학습 시 유용하게 사용할 수 있습니다.

 

특정 리소스의 구조와 필드를 점진적으로 탐색할 수 있으며, --recursive 옵션을 통해 모든 하위 필드 정보를 한 번에 출력하거나, --api-version 옵션을 통해 API 버전에 따른 차이를 확인할 수 있습니다. 특히 필드의 데이터 타입(<[]string>, <string> 등)를 명확히 파악하여 YAML 파일을 올바르게 작성할 수 있고, 공식 문서를 참조하지 않아도 명령어를 통해 바로 리소스 정보를 확인할 수 있다는 장점이 있습니다.

 

지금까지 Kubernetes에서 kubectl explain 명령어의 사용법과 활용 방법에 대해 알아보는 시간을 가졌습니다.

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/reference/kubectl/generated/kubectl_explain/

 

 

 

[kubernetes] kubectl api-resources 명령어

Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

kubectl api-resources 명령어는 Kubernetes 클러스터에서 사용할 수 있는 API 리소스 목록을 확인하는 데 사용됩니다. Kubernetes에서 지원하는 리소스와 해당 리소스의 범위(네임스페이스 포함 여부) 및 가능한 동작(verbs)을 표시합니다.

 

kubectl api-resources 명령어 사용을 알아봅시다

 

 

 


출력 예시

# kubectl api-resources
NAME                                SHORTNAMES   APIVERSION                        NAMESPACED   KIND
bindings                                         v1                                true         Binding
componentstatuses                   cs           v1                                false        ComponentStatus
configmaps                          cm           v1                                true         ConfigMap
endpoints                           ep           v1                                true         Endpoints
events                              ev           v1                                true         Event
limitranges                         limits       v1                                true         LimitRange
namespaces                          ns           v1                                false        Namespace
nodes                               no           v1                                false        Node
persistentvolumeclaims              pvc          v1                                true         PersistentVolumeClaim
persistentvolumes                   pv           v1                                false        PersistentVolume
pods                                po           v1                                true         Pod
podtemplates                                     v1                                true         PodTemplate
replicationcontrollers              rc           v1                                true         ReplicationController
resourcequotas                      quota        v1                                true         ResourceQuota
secrets                                          v1                                true         Secret
serviceaccounts                     sa           v1                                true         ServiceAccount
services                            svc          v1                                true         Service
mutatingwebhookconfigurations                    admissionregistration.k8s.io/v1   false        MutatingWebhookConfiguration
validatingadmissionpolicies                      admissionregistration.k8s.io/v1   false        ValidatingAdmissionPolicy
validatingadmissionpolicybindings                admissionregistration.k8s.io/v1   false        ValidatingAdmissionPolicyBinding
validatingwebhookconfigurations                  admissionregistration.k8s.io/v1   false        ValidatingWebhookConfiguration
customresourcedefinitions           crd,crds     apiextensions.k8s.io/v1           false        CustomResourceDefinition
apiservices                                      apiregistration.k8s.io/v1         false        APIService
controllerrevisions                              apps/v1                           true         ControllerRevision
daemonsets                          ds           apps/v1                           true         DaemonSet
deployments                         deploy       apps/v1                           true         Deployment
replicasets                         rs           apps/v1                           true         ReplicaSet
statefulsets                        sts          apps/v1                           true         StatefulSet
selfsubjectreviews                               authentication.k8s.io/v1          false        SelfSubjectReview
tokenreviews                                     authentication.k8s.io/v1          false        TokenReview
localsubjectaccessreviews                        authorization.k8s.io/v1           true         LocalSubjectAccessReview
selfsubjectaccessreviews                         authorization.k8s.io/v1           false        SelfSubjectAccessReview
selfsubjectrulesreviews                          authorization.k8s.io/v1           false        SelfSubjectRulesReview
subjectaccessreviews                             authorization.k8s.io/v1           false        SubjectAccessReview
horizontalpodautoscalers            hpa          autoscaling/v2                    true         HorizontalPodAutoscaler
cronjobs                            cj           batch/v1                          true         CronJob
jobs                                             batch/v1                          true         Job
certificatesigningrequests          csr          certificates.k8s.io/v1            false        CertificateSigningRequest
leases                                           coordination.k8s.io/v1            true         Lease
endpointslices                                   discovery.k8s.io/v1               true         EndpointSlice
events                              ev           events.k8s.io/v1                  true         Event
flowschemas                                      flowcontrol.apiserver.k8s.io/v1   false        FlowSchema
prioritylevelconfigurations                      flowcontrol.apiserver.k8s.io/v1   false        PriorityLevelConfiguration
ingressclasses                                   networking.k8s.io/v1              false        IngressClass
ingresses                           ing          networking.k8s.io/v1              true         Ingress
networkpolicies                     netpol       networking.k8s.io/v1              true         NetworkPolicy
runtimeclasses                                   node.k8s.io/v1                    false        RuntimeClass
poddisruptionbudgets                pdb          policy/v1                         true         PodDisruptionBudget
clusterrolebindings                              rbac.authorization.k8s.io/v1      false        ClusterRoleBinding
clusterroles                                     rbac.authorization.k8s.io/v1      false        ClusterRole
rolebindings                                     rbac.authorization.k8s.io/v1      true         RoleBinding
roles                                            rbac.authorization.k8s.io/v1      true         Role
priorityclasses                     pc           scheduling.k8s.io/v1              false        PriorityClass
csidrivers                                       storage.k8s.io/v1                 false        CSIDriver
csinodes                                         storage.k8s.io/v1                 false        CSINode
csistoragecapacities                             storage.k8s.io/v1                 true         CSIStorageCapacity
storageclasses                      sc           storage.k8s.io/v1                 false        StorageClass
volumeattachments                                storage.k8s.io/v1                 false        VolumeAttachment

 

 

출력 필드 설명

  • NAME: 리소스 이름
  • SHORTNAMES: 리소스의 단축 이름(별칭) / 예시) po는 pods, svc는 services의 단축형
  • APIVERSION: 리소스를 제공하는 API 그룹과 버전
  • NAMESPACED: 해당 리소스가 네임스페이스 범위인지 여부.
    • true: 네임스페이스 내부에 존재
    • false: 클러스터 범위에 존재
  • KIND: 리소스의 오브젝트 종류

 

 


추가 동작

특정 API 그룹에 속한 리소스 보기

# kubectl api-resources --api-group=apps
NAME                  SHORTNAMES   APIVERSION   NAMESPACED   KIND
controllerrevisions                apps/v1      true         ControllerRevision
daemonsets            ds           apps/v1      true         DaemonSet
deployments           deploy       apps/v1      true         Deployment
replicasets           rs           apps/v1      true         ReplicaSet
statefulsets          sts          apps/v1      true         StatefulSet

 

 

지원되는 동작(verbs) 확인

# kubectl api-resources --verbs=list,get
NAME                                SHORTNAMES   APIVERSION                        NAMESPACED   KIND
componentstatuses                   cs           v1                                false        ComponentStatus
configmaps                          cm           v1                                true         ConfigMap
endpoints                           ep           v1                                true         Endpoints
events                              ev           v1                                true         Event
limitranges                         limits       v1                                true         LimitRange
namespaces                          ns           v1                                false        Namespace
nodes                               no           v1                                false        Node
persistentvolumeclaims              pvc          v1                                true         PersistentVolumeClaim
persistentvolumes                   pv           v1                                false        PersistentVolume
pods                                po           v1                                true         Pod
podtemplates                                     v1                                true         PodTemplate
replicationcontrollers              rc           v1                                true         ReplicationController
resourcequotas                      quota        v1                                true         ResourceQuota
secrets                                          v1                                true         Secret
serviceaccounts                     sa           v1                                true         ServiceAccount
services                            svc          v1                                true         Service
mutatingwebhookconfigurations                    admissionregistration.k8s.io/v1   false        MutatingWebhookConfiguration
validatingadmissionpolicies                      admissionregistration.k8s.io/v1   false        ValidatingAdmissionPolicy
validatingadmissionpolicybindings                admissionregistration.k8s.io/v1   false        ValidatingAdmissionPolicyBinding
validatingwebhookconfigurations                  admissionregistration.k8s.io/v1   false        ValidatingWebhookConfiguration
customresourcedefinitions           crd,crds     apiextensions.k8s.io/v1           false        CustomResourceDefinition
apiservices                                      apiregistration.k8s.io/v1         false        APIService
controllerrevisions                              apps/v1                           true         ControllerRevision
daemonsets                          ds           apps/v1                           true         DaemonSet
deployments                         deploy       apps/v1                           true         Deployment
replicasets                         rs           apps/v1                           true         ReplicaSet
statefulsets                        sts          apps/v1                           true         StatefulSet
horizontalpodautoscalers            hpa          autoscaling/v2                    true         HorizontalPodAutoscaler
cronjobs                            cj           batch/v1                          true         CronJob
jobs                                             batch/v1                          true         Job
certificatesigningrequests          csr          certificates.k8s.io/v1            false        CertificateSigningRequest
leases                                           coordination.k8s.io/v1            true         Lease
endpointslices                                   discovery.k8s.io/v1               true         EndpointSlice
events                              ev           events.k8s.io/v1                  true         Event
flowschemas                                      flowcontrol.apiserver.k8s.io/v1   false        FlowSchema
prioritylevelconfigurations                      flowcontrol.apiserver.k8s.io/v1   false        PriorityLevelConfiguration
ingressclasses                                   networking.k8s.io/v1              false        IngressClass
ingresses                           ing          networking.k8s.io/v1              true         Ingress
networkpolicies                     netpol       networking.k8s.io/v1              true         NetworkPolicy
runtimeclasses                                   node.k8s.io/v1                    false        RuntimeClass
poddisruptionbudgets                pdb          policy/v1                         true         PodDisruptionBudget
clusterrolebindings                              rbac.authorization.k8s.io/v1      false        ClusterRoleBinding
clusterroles                                     rbac.authorization.k8s.io/v1      false        ClusterRole
rolebindings                                     rbac.authorization.k8s.io/v1      true         RoleBinding
roles                                            rbac.authorization.k8s.io/v1      true         Role
priorityclasses                     pc           scheduling.k8s.io/v1              false        PriorityClass
csidrivers                                       storage.k8s.io/v1                 false        CSIDriver
csinodes                                         storage.k8s.io/v1                 false        CSINode
csistoragecapacities                             storage.k8s.io/v1                 true         CSIStorageCapacity
storageclasses                      sc           storage.k8s.io/v1                 false        StorageClass
volumeattachments                                storage.k8s.io/v1                 false        VolumeAttachment

 

 

네임스페이스 범위 리소스 확인

# kubectl api-resources --namespaced=false
NAME                                SHORTNAMES   APIVERSION                        NAMESPACED   KIND
componentstatuses                   cs           v1                                false        ComponentStatus
namespaces                          ns           v1                                false        Namespace
nodes                               no           v1                                false        Node
persistentvolumes                   pv           v1                                false        PersistentVolume
mutatingwebhookconfigurations                    admissionregistration.k8s.io/v1   false        MutatingWebhookConfiguration
validatingadmissionpolicies                      admissionregistration.k8s.io/v1   false        ValidatingAdmissionPolicy
validatingadmissionpolicybindings                admissionregistration.k8s.io/v1   false        ValidatingAdmissionPolicyBinding
validatingwebhookconfigurations                  admissionregistration.k8s.io/v1   false        ValidatingWebhookConfiguration
customresourcedefinitions           crd,crds     apiextensions.k8s.io/v1           false        CustomResourceDefinition
apiservices                                      apiregistration.k8s.io/v1         false        APIService
selfsubjectreviews                               authentication.k8s.io/v1          false        SelfSubjectReview
tokenreviews                                     authentication.k8s.io/v1          false        TokenReview
selfsubjectaccessreviews                         authorization.k8s.io/v1           false        SelfSubjectAccessReview
selfsubjectrulesreviews                          authorization.k8s.io/v1           false        SelfSubjectRulesReview
subjectaccessreviews                             authorization.k8s.io/v1           false        SubjectAccessReview
certificatesigningrequests          csr          certificates.k8s.io/v1            false        CertificateSigningRequest
flowschemas                                      flowcontrol.apiserver.k8s.io/v1   false        FlowSchema
prioritylevelconfigurations                      flowcontrol.apiserver.k8s.io/v1   false        PriorityLevelConfiguration
ingressclasses                                   networking.k8s.io/v1              false        IngressClass
runtimeclasses                                   node.k8s.io/v1                    false        RuntimeClass
clusterrolebindings                              rbac.authorization.k8s.io/v1      false        ClusterRoleBinding
clusterroles                                     rbac.authorization.k8s.io/v1      false        ClusterRole
priorityclasses                     pc           scheduling.k8s.io/v1              false        PriorityClass
csidrivers                                       storage.k8s.io/v1                 false        CSIDriver
csinodes                                         storage.k8s.io/v1                 false        CSINode
storageclasses                      sc           storage.k8s.io/v1                 false        StorageClass
volumeattachments                                storage.k8s.io/v1                 false        VolumeAttachment

 

 

 


활용

Kubernetes의 여러가지 기능은 API 리소스를 통해 구현할 수 있습니다.

 

Kubernetes 버전에 따라 사용할 수 있는 기능과 API의 버전은 다릅니다.
기본적으로 Kubernetes 공식 릴리즈 노트를 통해 해당 정보를 확인할 수 있지만 kubectl api-resources 명령어를 통해 현재 사용할 수 있는 API 리소스 리스트를 확인하는 목적이 가장 클 것 같습니다.

 

특정 리소스에 대해 지원되는 API 버전을 확인할 수 있으며, 특정 API 버전이 제거되거나 업데이트될 경우 대체 API로 전환할 수 있습니다. 네임스페이스 범위와 클러스터 범위의 리소스를 명확히 구분하고 싶을 때 kubectl api-resources 명령어를 사용하여 확인할 수 있습니다.

 

 


 

 

Kubernetes에서 kubectl api-resources 명령어를 통해 클러스터에서 사용할 수 있는 API 리소스를 확인하는 방법을 알아봤습니다.

 

kubectl api-resources 명령어는 Kubernetes에서 지원하는 리소스의 이름, 단축 이름(SHORTNAMES), API 그룹과 버전(APIVERSION), 네임스페이스 범위 여부(NAMESPACED), 오브젝트 종류(KIND) 등을 확인할 수 있습니다. 이를 통해 현재 클러스터에서 활성화된 리소스를 쉽게 탐색할 수 있습니다.

 

특정 API 그룹에 속한 리소스를 조회하거나, 네임스페이스 범위의 리소스만 확인하는 등 다양한 옵션을 활용하여 필요한 리소스 정보를 빠르게 얻을 수 있습니다. 또한 Kubernetes 버전별로 지원되는 API 리소스와 버전을 확인할 때 유용하며, 특정 API가 제거되거나 업데이트될 경우 대체 API로 전환하는 데에도 도움을 줍니다.

 

지금까지 Kubernetes에서 kubectl api-resources 명령어의 사용법과 활용 방법에 대해 알아보는 시간을 가졌습니다.

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/reference/kubectl/generated/kubectl_api-resources/

 

 

 

[kubernetes] kubeadm join Worker 노드 추가하기


Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

kubeadm join 명령어는 Kubernetes 클러스터에 새로운 노드를 추가할 때 사용되는 명령어입니다. Worker 노드를 추가하는 경우, 사전에 Master 노드가 구성되어 있어야 합니다.

 

Kubernetes 클러스터에 Worker 노드를 추가하는 방법을 알아보도록 하겠습니다.

 

 

 


작업 구성

사전에 총 3대의 서버를 Master 노드로 구성 완료한 상태입니다.
총 3대의 Worker 노드를 추가하는 Kubernetes 클러스터 구성을 만들고자 합니다.

 

 

 


사전 작업

기본 작업

Worker 노드는 join 명령어를 통해 Master 노드 클러스터에 연결 및 추가됩니다.


kubeadm join 명령어로 클러스터에 추가하기 위해 기본 사전 작업을 진행합니다.

 

 

 

 

kubeadm join 시 필요한 정보 확인

Worker 노드를 추가할 경우에는 token 값과 CA 인증서 값만 필요하지만 Master 노드를 추가할 경우에는 클러스터 인증서 값이 추가적으로 필요합니다. 아래 링크를 통해 kubeadm join 시 필요한 정보를 사전에 확인 합니다.

 

 

 

 


 

kubeadm join

Worker 노드에서 join 명령어를 통해 Master 노드 클러스터에 연결 및 추가합니다.


kubeadm join 명령어에는 Master 노드 IP 및 Port, 토큰(Token), CA 인증서 해시 값이 필요합니다.

# kubeadm join 10.0.0.11:6443 \ 
              --token fb4jku.kkt1ivfjvxkskxrq \ 
              --discovery-token-ca-cert-hash sha256:48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5 \ 
              --v=5

I1112 16:54:23.022474   33868 join.go:419] [preflight] found NodeName empty; using OS hostname as NodeName
I1112 16:54:23.022891   33868 initconfiguration.go:123] detected and using CRI socket: unix:///var/run/crio/crio.sock

##### 생략 #####

I1112 16:54:25.901893   33868 cert_rotation.go:140] Starting client certificate rotation controller
I1112 16:54:25.902612   33868 kubelet.go:318] [kubelet-start] preserving the crisocket information for the node
I1112 16:54:25.902639   33868 patchnode.go:31] [patchnode] Uploading the CRI Socket information "unix:///var/run/crio/crio.sock" to the Node API object "k8s-wn-001" as an annotation

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

 

성공적으로 Worker 노드 추가 작업이 완료되었습니다.

 

 

 


클러스터 join 상태 확인

Kubernetes 클러스터에서 현재 구성된 모든 노드(node)에 대한 정보를 확인할 수 있습니다.

# kubectl get nodes
NAME         STATUS   ROLES           AGE   VERSION
k8s-cn-001   Ready    control-plane   12d   v1.31.2
k8s-cn-002   Ready    control-plane   24h   v1.31.2
k8s-cn-003   Ready    control-plane   24h   v1.31.2
k8s-wn-001   Ready    <none>          17h   v1.31.0
k8s-wn-002   Ready    <none>          35m   v1.31.0
k8s-wn-003   Ready    <none>          35m   v1.31.0

 

노드 이름, 상태, 역할, 생성된 시간, 버전 등의 정보를 확인할 수 있으며,

추가된 k8s-wn-001, k8s-wn-002, k8s-wn-003 Worker 노드를 확인할 수 있습니다.

 

 

 


 

Kubernetes에서 kubeadm join 명령어를 통해 Worker 노드를 추가하는 방법을 알아봤습니다.

 

먼저, Worker 노드에서 kubeadm join 명령어를 사용하기 위해 CRI-O, kubeadm, kubelet, kubectl 등을 설치합니다. 이후 kubeadm join 명령어를 사용하여 클러스터에 연결합니다. Worker 노드를 추가할 때는 token 값, CA 인증서 해시 값을 추가하여 Master 노드에 Worker 노드를 추가합니다.

 

이후 kubectl get nodes 명령어로 추가된 Worker 노드 상태를 확인할 수 있습니다.

 

지금까지 Kubernetes에서 kubeadm join 명령어를 통해 Worker 노드를 추가하는 방법을 알아보는 시간을 가졌습니다....! 끝...!

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/

 

 

 

[kubernetes] kubeadm join Master 노드 추가하기


Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

kubeadm join 명령어는 Kubernetes 클러스터에 새로운 노드를 추가할 때 사용되는 명령어입니다. Master 노드를 추가하는 경우, 단순 Worker 노드를 추가하는 것보다 몇 가지 추가 설정이 필요합니다.

 

 

Kubernetes 클러스터에 Master 노드를 추가하는 방법을 알아보도록 하겠습니다.

 

 

 


작업 구성

Kubernetes 클러스터 구성은 총 3대의 서버를 Master 노드로 구성하고자 합니다.


첫 번째 Master(또는 Control Plane) 노드는 init 명령어로 클러스터를 구성합니다.
두 번째와 세 번째 Master 노드는 join 명령어를 통해 클러스터에 노드로 추가되며 추가 시 옵션을 추가하여 Worker 노드가 아닌 Master 노드로 추가될 예정입니다.

 

 

 


사전 작업

 

[첫 번째 Master 노드] kubeadm init 클러스터 구성하기

Kubernetes 클러스터에 control plane이 구성된 첫 번째 Master 노드를 구성합니다.

 

 

 

 

[두 번째, 세 번째 Master 노드]

두 번째, 세 번째 Master 노드는 join 명령어를 통해 첫 번째 Master 노드를 통해 클러스터에 연결 및 추가됩니다.
기본 환경 구성을 위해 첫 번째 Master 노드와 유사하게 kubeadm init 이전까지의 기본 사전 작업을 진행합니다.

 

 

 

 

 

kubeadm join 시 필요한 정보 확인

Worker 노드를 추가할 경우에는 token 값과 CA 인증서 값만 필요하지만 Master 노드를 추가할 경우에는 클러스터 인증서 값이 추가적으로 필요합니다. 아래 링크를 통해 kubeadm join 시 필요한 정보를 사전에 확인 합니다.

 

 

 

 

 


kubeadm join

두 번째, 세 번째 Master 노드는 join 명령어를 통해 첫 번째 Master 노드 클러스터에 연결 및 추가합니다.
kubeadm join 명령어에는 Master 노드 IP 및 Port, 토큰(Token), CA 인증서 해시, 클러스터 인증서 값이 필요합니다.

 

kubeadm join 명령어를 사용하여 클러스터를 추가합니다.

# kubeadm join 10.0.0.11:6443 \ 
              --token fb4jku.kkt1ivfjvxkskxrq \ 
              --discovery-token-ca-cert-hash sha256:48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5 \ 
              --control-plane --certificate-key 9ea5555144a397c54a6ddfec77dc8b14ad5b93d6d006c8fc04092aa88c833f27 \
              --v=5

I1112 09:56:19.086799 1171838 join.go:419] [preflight] found NodeName empty; using OS hostname as NodeName
I1112 09:56:19.086913 1171838 join.go:423] [preflight] found advertiseAddress empty; using default interface's IP address as advertiseAddress
I1112 09:56:19.087599 1171838 initconfiguration.go:123] detected and using CRI socket: unix:///var/run/crio/crio.sock

##### 생략 #####

This node has joined the cluster and a new control plane instance was created:

* Certificate signing request was sent to apiserver and approval was received.
* The Kubelet was informed of the new secure connection details.
* Control plane label and taint were applied to the new node.
* The Kubernetes control plane instances scaled up.
* A new etcd member was added to the local/stacked etcd cluster.

To start administering your cluster from this node, you need to run the following as a regular user:

        mkdir -p $HOME/.kube
        sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
        sudo chown $(id -u):$(id -g) $HOME/.kube/config

Run 'kubectl get nodes' to see this node join the cluster.

 

 

마지막 로그에서 나온 것과 같이 클러스터와 통신할 수 있도록 인증 정보 설정을 추가합니다.

# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config

 

클러스터 추가 작업이 완료되었습니다.

 

 

 


kubeadm join 시 오류 발생

kubeadm join 명령어로 클러스터 추가 시 발생할 수 있는 오류 내용입니다.
kubeadm join 명령어 입력 시 --v=5 옵션을 추가해야 상세 오류 내용을 확인하실 수 있습니다.

 

TOKEN 값 오류 로그

TOKEN 값이 만료되었거나 일치하지 않을 경우 아래와 같이 에러 로그가 발생합니다.

I1031 14:16:15.895101   43351 token.go:228] [discovery] Retrying due to error: could not find a JWS signature in the cluster-info ConfigMap for token ID "sa3r4y"

 

 

CA 인증서 Hash 값 오류 로그

CA 인증서 Hash 값이 일치하지 않을 경우 아래와 같이 에러 로그가 발생합니다.

none of the public keys "sha256:48ebf1c55897a3d0e55c19e75648d457b6309f4f0b8c88ae5e3dc871c0d8a1a5" are pinned

 

 

controlPlaneEndpoint 오류 로그

join 하고자 하는 master 서버 API의  IP, Port 정보가 잘못되었거나 controlPlaneEndpoint가 설정되어 있지 않을 경우 아래와 같이 에러 로그가 발생합니다.

One or more conditions for hosting a new control plane instance is not satisfied.

unable to add a new control plane instance to a cluster that doesn't have a stable controlPlaneEndpoint address

Please ensure that:
* The cluster has a stable controlPlaneEndpoint address.
* The certificates that must be shared among control plane instances are provided.

 

 


클러스터 join 상태 확인

Kubernetes 클러스터에서 현재 구성된 모든 노드(node)에 대한 정보를 확인할 수 있습니다.

# kubectl get nodes
NAME         STATUS   ROLES           AGE     VERSION
k8s-cn-001   Ready    control-plane   12d     v1.31.2
k8s-cn-002   Ready    control-plane   3h32m   v1.31.2
k8s-cn-003   Ready    control-plane   3h26m   v1.31.2

노드 이름, 상태, 역할, 생성된 시간, 버전 등의 정보를 확인할 수 있습니다.

 

 

Kubernetes 클러스터의 핵심 구성 요소들이 실행되는 kube-system 네임스페이스의 리소스를 확인할 수 있습니다.
etcd, kube-api-server, kube-controller-manager, kube-proxy, kube-scheduler 등 Master(또는 Control Plane) 노드에 필요한 구성 요소들이 추가된 노드에 따라 각각 추가된 것을 확인하실 수 있습니다.

# kubectl get all -A
NAMESPACE     NAME                                     READY   STATUS    RESTARTS        AGE
kube-system   pod/coredns-7c65d6cfc9-9znfx             1/1     Running   0               12d
kube-system   pod/coredns-7c65d6cfc9-j76md             1/1     Running   0               12d
kube-system   pod/etcd-k8s-cn-001                      1/1     Running   0               12d
kube-system   pod/etcd-k8s-cn-002                      1/1     Running   0               3h34m
kube-system   pod/etcd-k8s-cn-003                      1/1     Running   0               3h28m
kube-system   pod/kube-apiserver-k8s-cn-001            1/1     Running   0               3h47m
kube-system   pod/kube-apiserver-k8s-cn-002            1/1     Running   0               3h34m
kube-system   pod/kube-apiserver-k8s-cn-003            1/1     Running   0               3h28m
kube-system   pod/kube-controller-manager-k8s-cn-001   1/1     Running   2 (3h48m ago)   12d
kube-system   pod/kube-controller-manager-k8s-cn-002   1/1     Running   0               3h34m
kube-system   pod/kube-controller-manager-k8s-cn-003   1/1     Running   0               3h28m
kube-system   pod/kube-proxy-kx2tk                     1/1     Running   0               3h28m
kube-system   pod/kube-proxy-xgvst                     1/1     Running   0               12d
kube-system   pod/kube-proxy-xs2wk                     1/1     Running   0               3h34m
kube-system   pod/kube-scheduler-k8s-cn-001            1/1     Running   2 (3h48m ago)   12d
kube-system   pod/kube-scheduler-k8s-cn-002            1/1     Running   0               3h34m
kube-system   pod/kube-scheduler-k8s-cn-003            1/1     Running   0               3h28m

NAMESPACE     NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
default       service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP                  12d
kube-system   service/kube-dns     ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   12d

NAMESPACE     NAME                        DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/kube-proxy   3         3         3       3            3           kubernetes.io/os=linux   12d

NAMESPACE     NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
kube-system   deployment.apps/coredns   2/2     2            2           12d

NAMESPACE     NAME                                 DESIRED   CURRENT   READY   AGE
kube-system   replicaset.apps/coredns-7c65d6cfc9   2         2         2       12d

 

 

 


 

Kubernetes에서 kubeadm join 명령어를 통해 Master 노드를 추가하는 방법을 알아봤습니다.

 

먼저, Kubernetes 클러스터를 고가용성(HA)으로 구성하기 위해 첫 번째 Master 노드에서 kubeadm init 명령어를 사용하여 클러스터의 control plane을 초기화하고, controlPlaneEndpoint를 설정합니다. 이후 두 번째와 세 번째 Master 노드는 kubeadm join 명령어를 사용하여 클러스터에 연결합니다. Master 노드를 추가할 때는 token 값, CA 인증서 해시, 클러스터 인증서가 필요하며, --control-plane 옵션을 사용하여 Master 노드로 추가합니다.

 

클러스터에 추가된 노드에서 kubectl 명령어를 사용하기 위해 설정 파일을 준비하고 권한을 설정하는 명령을 실행합니다.
이후 kubectl get nodes 명령어로 노드 상태를 확인하고, kubectl get all -A 명령어로 kube-system 네임스페이스 내 핵심 구성 요소들이 각 노드에 추가되어 정상적으로 실행되고 있는지 확인합니다.

 

지금까지 Kubernetes에서 kubeadm join 명령어를 통해 Master 노드를 추가하는 방법을 알아보는 시간을 가졌습니다....! 끝...!

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

 

 

 

[kubernetes] controlPlaneEndpoint 설정하기


Kubernetes는 컨테이너화된 애플리케이션을 자동으로 배포, 확장, 관리하는 오픈 소스 플랫폼이며, 다양한 환경에서 일관된 애플리케이션 실행을 가능하게 해주는 컨테이너 오케스트레이션 도구입니다.

 

Kubernetes에서 controlPlaneEndpoint 설정은 고가용성(HA)을 위한 필수 구성 요소입니다. 이 설정을 통해 클러스터 내 여러 master 노드를 로드밸런서나 고정 IP를 통해 단일 접점으로 묶어 관리할 수 있습니다. controlPlaneEndpoint를 사용하면, 클러스터의 API 서버에 대한 요청을 단일 엔드포인트로 전달하고, 그 뒤에서 로드밸런서가 요청을 여러 master 노드로 분산 처리하게 됩니다.

 

 

controlPlaneEndpoint에 대해 더 알아보고 설정하는 방법을 알아보도록 하겠습니다.

 

 


controlPlaneEndpoint 란?

 

[ 기능 ]

controlPlaneEndpoint는 클러스터의 API 서버를 외부에서 접근할 수 있는 단일 접점을 제공합니다.
이를 통해 클라이언트(예: kubectl)는 master 노드의 IP 주소가 변경되더라도 항상 동일한 엔드포인트를 사용하여 API 서버에 접근할 수 있습니다.

 

 

[ 필요성 ]

여러 master 노드를 사용하는 경우, API 서버에 대한 접근을 로드밸런서가 담당하도록 하여 고가용성 및 장애 대응을 구현할 수 있습니다. 만약 하나의 master 노드가 다운되더라도, 로드밸런서가 요청을 남은 master 노드로 자동으로 라우팅하여 서비스가 지속되도록 합니다.

 

단일 master 노드를 사용하는 경우에는 controlPlaneEndpoint 설정 없이 클러스터를 사용하여도 문제는 없습니다.

 

 


controlPlaneEndpoint 설정하기

 

kubeadm init 단계에서 설정하기

kubeadm init 단계에서 --control-plane-endpoint 옵션을 추가하여 직접 controlPlaneEndpoint를 설정할 수 있습니다.

# kubeadm init --control-plane-endpoint "10.0.0.11:6443"

 

 

kubeadm init 완료 후 설정하기

Kubernetes configmaps 설정 중 kubeadm-config 설정에 controlPlaneEndpoint 옵션을 추가합니다.

# kubectl edit configmaps -n kube-system kubeadm-config


ClusterConfiguration 섹션에 controlPlaneEndpoint: <IP 및 도메인> 값을 추가합니다.
추가 후 자동으로 적용되며 controlPlaneEndpoint를 통해 안정적으로 API 서버에 접근할 수 있습니다.

 

 


접근 확인

controlPlaneEndpoint가 설정된 로드밸런서나 고정 IP를 통해 Kubernetes API 서버에 접근할 수 있는지 확인하려면, 로컬 머신이나 클러스터의 다른 노드에서 kubectl 명령을 실행합니다.

### 예시
# kubectl get nodes --server https://<controlPlaneEndpoint>:6443
# kubectl get nodes --server https://10.0.0.11:6443
NAME         STATUS   ROLES           AGE   VERSION
k8s-cn-001   Ready    control-plane   12d   v1.31.2
k8s-cn-002   Ready    control-plane   60m   v1.31.2
k8s-cn-003   Ready    control-plane   54m   v1.31.2

 

정상적으로 설정한 controlPlaneEndpoint를 통해 API 서버에 접근하는 것을 확인하실 수 있습니다.

 

 


 

Kubernetes 클러스터에서 controlPlaneEndpoint를 설정하고 확인하는 방법을 알아봤습니다.

 

먼저, 클러스터의 고가용성을 위해 로드밸런서나 고정 IP를 통해 접근할 수 있는 controlPlaneEndpoint를 설정합니다. 이를 위해, kubeadm, kubelet, kubectl 패키지를 설치한 후, kubeadm init 명령어를 사용해 control plane을 초기화합니다. kubeadm init 단계에서 controlPlaneEndpoint 설정을 추가하거나 완료 후 configmaps 설정을 추가하여 controlPlaneEndpoint  설정을 추가할 수 있습니다.

 

마지막으로, kubectl get nodes 명령어에 --server 옵션을 추가하여 설정한 controlPlaneEndpoint를 통해 모든 master 노드가 정상적으로 응답하는지 확인합니다.

 

지금까지 Kubernetes 클러스터에서 controlPlaneEndpoint를 설정하고 확인하는 방법을 알아보는 시간을 가졌습니다....! 끝...!

 

 

유익하게 보셨다면 공감을 눌러주고, 댓글로 의견을 공유해 남겨주시면 감사하겠습니다!

 

 

 

[Reference]
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
https://kubernetes.io/docs/reference/config-api/kubeadm-config.v1beta3/

 

 

 

+ Recent posts