지난 10월달에 "State of DevOps Report 2023" 이 나왔습니다! State of DevOps Report란 Google에서 DevOps를 연구하는 DORA라는 팀에서 발표하는 자료인데요. State of DevOps Report에는 어떤 내용이 있는지 한번 알아보는 시간을 가지겠습니다.
시작하기 전에...
DORA
매년 보고서를 발표하는 DORA 팀에 대해 간단히 알아보겠습니다.
Google의 DevOps Research and Assessment(DORA)팀은 소프트웨어 개발 및 배포 프로세스의 연구에 중점을 둔 팀으로, 가장 효율적인 DevOps 적용 사례, 효과, 기술 동향, 모범 사례 등을 연구하고 공유합니다.
State of DevOps Report는 DORA 팀에서 매년 DevOps를 연구하고 발표한 자료입니다.
State of DevOps Report
"Accelerate: The State of DevOps Report"는 DevOps의 현황과 추세를 조사하고 분석하여 소프트웨어 개발 및 운영 프로세스의 효율성과 품질을 평가하는 보고서입니다. 이 보고서는 기업의 DevOps 도입 및 성공 사례, DevOps를 통한 비즈니스 성과, 다양한 조직의 DevOps 관련 실천 사례 등을 다루고 있으며 지난 9년 동안 전 세계 36,000명 이상의 전문가로부터 의견을 듣고 보고서가 작성되었습니다.
이 보고서를 통해 DevOps에 대한 이해를 높이고, 고성능 조직의 모범 사례를 제시하여 기업이 DevOps를 성공적으로 도입하고 활용할 수 있도록 지원하는 데 목적이 있습니다.
보고서 점수 측정
평균
평균 점수
IQR
사분위수 범위(IQR)의 경계 데이터
중간 50%가 위치하는 두 개의 숫자(25번째 및 75번째 백분위수)를 제공함으로써 응답의 퍼짐을 전달하는 데 도움이 됩니다.
중앙값
데이터 집합의 중간 값
평균과 크게 다른 경우 데이터가 왜곡되었음을 나타낼 수 있습니다.
Key outcomes (주요 성과)
주요 성과는 사람, 팀 또는 조직이 달성하기 위해 노력하고 있다고 믿는 목표 입니다.
팀 성과 점수는 평균이 가장 높은 값인 "7.6"으로 팀을 위해 가장 많은 노력을 하고 있다는 것을 확인하실 수 있습니다.
그 외에는 신뢰성 목표 항목이 조직 성과, 소프트웨어 제공 성능, 운영 성능보다 높다는 것을 확인하실 수 있습니다.
직원들의 번아웃(탈진), 생산력, 직업 만족도 측면 입니다.
개인적인 생각으로는 번아웃(탈진) 항목이 평균 5점 이상일 것이다라고 생각했지만 평균 "4.1"점으로 측정되었습니다.
또한 생산력 항목은 개인적인 생각보다는 높은 평균 "7.5"점 이었습니다.
Processes & technical capabilities (프로세스 및 기술 역량)
팀이나 조직에서 일하는 방식이나 활동, 상태에 대한 자료입니다.
AI(Artificial Intelligence) 항목은 평균 "3.3"점으로 현재 AI가 업무에 주는 영향은 생각보다 낮다는 것을 확인하실 수 있습니다. ( ChatGPT나 Copilot을 많이 사용하는데 말이죠 ㅎㅎ )
DevOps의 중요한 CI(Continuous Integration), CD(Continuous Delivery) 항목은 가장 높은 평균 점수 "6.9"점과 "7.0"점을 기록하였습니다.
그 다음으로는 유연한 아키텍처, 코드 검토 속도, 느슨한 결합 등의 항목이 차지했습니다.
Culture aspects (문화적인 측면)
DORA 팀에서는 문화를 정의하는 것은 쉽지 않지만 6가지 항목으로 분류하였습니다. 이러한 것들이 일반적인 규범(유연성 등), 일반적인 지향성(사용자 중심성 등), 그리고 직장의 분위기(조직 안정성 등)라고 말할 수 있다고 합니다.
이후에도 더 내용이 나오겠지만 사용자 중심주의 항목이 가장 높은 평균 점수인 "7.8"점을 기록하였습니다.
그 다음으로는 유연성, 조직 안정성, 웨스트럼 조직 문화 항목이 높은 점수를 기록하였습니다.
개인적인 생각으로는 지식 공유 항목이 높은 점수가 안나와서 의아했지만 조직마다 지식 공유 분위기가 많이 다르다보니 나올 수 있는 점수라고 생각되었습니다.
2023 State of DevOps Report의 요약된 주요 내용을 확인해봤는데요. 2탄에서는 각각의 주요 내용에 대해서 상세하게 확인해보는 시간을 가져보겠습니다....! 끝...!
AWS에서 CloudWatch를 통해 서버의 메모리 및 디스크 사용량 등을 확인하기 위해서는 EC2 서버에 CloudWatchAgent를 설치해야 됩니다. 리눅스 서버의 서버의 메모리 및 디스크 사용량 등을 확인하기 위해 CloudWatchAgent를 설치하고, AWS를 설정하는 방법을 알아봅시다.
IAM Role 적용
EC2에서 CloudWatchAgent를 통해 EC2 인스턴스의 정보를 보낼 수 있도록 IAM 역할을 인스턴스에 연결해야 합니다. 허용이 필요한 정책은 CloudWatchAgentServerPolicy 이며, IAM 역할 추가를 통해 생성합니다.
IAM -> Roles 메뉴에서 신규로 Role을 생성합니다.
서비스는 EC2를 선택합니다.
정책은 CloudWatchAgentServerPolicy를 검색 후 해당 정책을 선택합니다.
IAM Role 이름을 설정 후 생성합니다.
생성된 IAM Role을 확인하실 수 있습니다.
이제 EC2 -> Instances 메뉴에서 역할을 적용할 EC2를 우클릭 후 Security -> Modify IAM role을 클릭합니다.
생성한 IAM role을 선택 후 업데이트하면 IAM Role 적용이 완료됩니다.
CloudWatchAgent 설치 및 설정 파일 적용
CloudWatchAgent를 설치할 리눅스 서버에 접속 후 설치 파일을 통해 패키지를 설치하고, 설정 파일을 적용해보겠습니다. 테스트한 EC2 서버의 OS는 Rocky Linux 9.2를 사용하였습니다.
설치 파일을 다운로드 하기 위해 wget 명령어를 사용합니다. wget 명령어가 없을 경우 yum 명령어로 설치합니다.
아래 명령어를 통해 추가한 config.json 파일 내용으로 AmazonCloudWatchAgent를 실행합니다.
실행 명령어
amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -s -c file:/tmp/config.json
결과
****** processing amazon-cloudwatch-agent ******
I! Trying to detect region from ec2 D! [EC2] Found active network interface I! imds retry client will retry 1 timesSuccessfully fetched the config and saved in /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.d/file_config.json.tmp
Start configuration validation...
2023/12/07 07:27:51 Reading json config file path: /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.d/file_config.json.tmp ...
2023/12/07 07:27:51 I! Valid Json input schema.
2023/12/07 07:27:51 D! ec2tagger processor required because append_dimensions is set
2023/12/07 07:27:51 D! metric decorator required because measurement fields are set
2023/12/07 07:27:51 D! pipeline hostDeltaMetrics has no receivers
2023/12/07 07:27:51 Configuration validation first phase succeeded
I! Detecting run_as_user...
I! Trying to detect region from ec2
D! [EC2] Found active network interface
I! imds retry client will retry 1 times
/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent -schematest -config /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.toml
Configuration validation second phase succeeded
Configuration validation succeeded
아래 명령어를 통해 정상적으로 AmazonCloudWatchAgent가 실행되었는지 확인합니다.
● amazon-cloudwatch-agent.service - Amazon CloudWatch Agent
Loaded: loaded (/etc/systemd/system/amazon-cloudwatch-agent.service; enabled; preset: disabled)
Active: active (running) since Thu 2023-12-07 07:26:19 UTC; 23s ago
Main PID: 11484 (amazon-cloudwat)
Tasks: 7 (limit: 22602)
Memory: 19.7M
CPU: 170ms
CGroup: /system.slice/amazon-cloudwatch-agent.service
└─11484 /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent -config /opt/aws/amazon-cloudwatch-agent/etc/amazon>
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: 2023/12/07 07:26:19 Reading json config file path: /opt/aws/amazon-cloudwa>
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: 2023/12/07 07:26:19 I! Valid Json input schema.
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: I! Detecting run_as_user...
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: I! Trying to detect region from ec2
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: 2023/12/07 07:26:19 D! ec2tagger processor required because append_dimensi>
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: 2023/12/07 07:26:19 D! metric decorator required because measurement field>
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: 2023/12/07 07:26:19 D! pipeline hostDeltaMetrics has no receivers
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11489]: 2023/12/07 07:26:19 Configuration validation first phase succeeded
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11484]: /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json does not>
Dec 07 07:26:19 TEST start-amazon-cloudwatch-agent[11484]: I! Detecting run_as_user...
인스턴스 메트릭 정보 확인
이제 CloudWatch에서 정상적으로 인스턴스의 메트릭 정보가 저장되고 있는지 확인합니다.
CloudWatch -> Metrics -> All metrics 메뉴를 통해 "CloudWatch/TestMetrics" 이름의 네임스페이스가 생성되었는지 확인합니다.
config.json 파일에서 정의한 DISK_USED, MEMORY_USED 정보를 검색하여 메트릭 정보를 확인하실 수 있습니다.
DISK_USED
MEMORY_USED
이제 AWS 리눅스 EC2 서버의 메모리 및 디스크 사용량 등의 인스턴스 정보를 CloudWatch를 통해서 확인하시길 바랍니다. 지금까지 CloudWatchAgent를 설치하고, AWS를 설정하는 작업을 알아보는 시간이었습니다....! 끝...!
AWS에서 CloudWatch를 통해 서버의 메모리 및 디스크 사용량 등을 확인하기 위해서는 EC2 서버에 CloudWatchAgent를 설치해야 됩니다. 윈도우 서버의 메모리 및 디스크 사용량 등을 확인하기 위해 CloudWatchAgent를 설치하고, AWS를 설정하는 방법을 알아봅시다.
IAM Role 적용
EC2에서 CloudWatchAgent를 통해 EC2 인스턴스의 정보를 보낼 수 있도록 IAM 역할을 인스턴스에 연결해야 합니다. 허용이 필요한 정책은 CloudWatchAgentServerPolicy 이며, IAM 역할 추가를 통해 생성합니다.
IAM -> Roles 메뉴에서 신규로 Role을 생성합니다.
서비스는 EC2를 선택합니다.
정책은 CloudWatchAgentServerPolicy를 검색 후 해당 정책을 선택합니다.
IAM Role 이름을 설정 후 생성합니다.
생성된 IAM Role을 확인하실 수 있습니다.
이제 EC2 -> Instances 메뉴에서 역할을 적용할 EC2를 우클릭 후 Security -> Modify IAM role을 클릭합니다.
생성한 IAM role을 선택 후 업데이트하면 IAM Role 적용이 완료됩니다.
CloudWatchAgent 설치 및 설정 파일 적용
CloudWatchAgent를 설치할 윈도우 서버에 접속 후 설치 파일을 통해 패키지를 설치하고, 설정 파일을 적용해보겠습니다. 테스트한 EC2 서버의 OS는 Windows Server 2022를 사용하였습니다.
아래 명령어를 통해 추가한 config.json 파일 내용으로 AmazonCloudWatchAgent를 실행합니다.
& "C:\Program Files\Amazon\AmazonCloudWatchAgent\amazon-cloudwatch-agent-ctl.ps1" -a fetch-config -m ec2 -s -c file:"C:\Program Files\Amazon\AmazonCloudWatchAgent\config.json"
****** processing amazon-cloudwatch-agent ******
I! Trying to detect region from ec2
D! [EC2] Found active network interface
I! imds retry client will retry 1 timesSuccessfully fetched the config and saved in C:\ProgramData\Amazon\AmazonCloudWatchAgent\Configs\file_config.json.tmp
Start configuration validation...
2023/12/06 09:21:38 Reading json config file path: C:\ProgramData\Amazon\AmazonCloudWatchAgent\Configs\file_config.json.tmp ...
2023/12/06 09:21:38 I! Valid Json input schema.
I! Trying to detect region from ec2
D! [EC2] Found active network interface
I! imds retry client will retry 1 times2023/12/06 09:21:38 D! ec2tagger processor required because append_dimensions is set
2023/12/06 09:21:38 D! metric decorator required because measurement fields are set
2023/12/06 09:21:38 D! pipeline hostDeltaMetrics has no receivers
2023/12/06 09:21:38 Configuration validation first phase succeeded
Configuration validation second phase succeeded
Configuration validation succeeded
AmazonCloudWatchAgent has been stopped
AmazonCloudWatchAgent has been started
아래 명령어를 통해 정상적으로 AmazonCloudWatchAgent가 실행되었는지 확인합니다.
운영중인 서비스가 점차 커진다면 대용량의 실시간 데이터를 수집, 처리 및 분석할 수 있도록 구성해야됩니다. 별도의 데이터 처리 서버를 구성할 수 있겠지만 확장성 및 실시간 모니터링 등 데이터 처리에 필요한 기능을 구현해야 하므로 어려움이 많습니다. AWS에서는 클라우드 기반 데이터 스트리밍 플랫폼인 Amazon Kinesis를 사용하여 대용량의 실시간 데이터를 수집, 처리 및 분석할 수 있습니다.
주요 기능
Amazon Kinesis의 주요 기능은 크게 4가지로 구성되어 있습니다.
Kinesis Video Streams
비디오 스트림 캡처, 처리 및 저장
Kinesis Data Streams
데이터 스트림 캡처, 처리 및 저장
Kinesis Data Firehose
데이터 스트림 AWS 데이터 스토어로 로드
Kinesis Data Analytics
SQL 또는 Apache Flink로 데이터 스트림 분석
Kinesis Video Streams
Kinesis Video Streams는 동영상 스트림을 쉽게 처리하고 저장하기 위한 기능입니다. IoT 디바이스나 카메라에서 생성되는 동영상 스트림을 실시간으로 수집하고 처리할 수 있습니다. 또한 동영상 데이터를 압축하고 인코딩하며, 실시간으로 스트리밍하거나 저장할 수 있는 인프라를 제공합니다.
Kinesis Data Streams
Kinesis Data Streams은 대량의 실시간 데이터 스트림을 처리하고 분석하기 위한 기능입니다. 데이터 스트림은 하나 이상의 샤드로 구성되며, 각 샤드는 데이터의 순서를 보장하고 병렬 처리가 가능합니다. 데이터를 수집한 후 필요한 처리를 수행하거나 다른 AWS 서비스와 연동하여 사용할 수 있습니다.
Kinesis Data Firehose
Kinesis Data Firehose는 스트림 데이터를 처리하여 다양한 대상으로 전달하는 역할을 합니다. 데이터를 Amazon S3, Amazon Redshift, Amazon Elasticsearch 등과 같은 저장소나 분석 도구로 전달할 수 있습니다. 또한 데이터 전달 과정을 자동으로 관리하므로 개발자는 데이터 전달 파이프라인을 구축하고 관리하는데 시간을 절약할 수 있습니다.
Kinesis Data Analytics
Kinesis Data Analytics는 SQL 쿼리를 사용하여 스트림 데이터를 실시간으로 분석하는 데 사용됩니다. 데이터 스트림에서 생성된 실시간 데이터를 실시간으로 데이터를 가공하고, 패턴을 발견하며, 실시간 대시보드를 생성할 수 있습니다. 또한 SQL 쿼리를 통해 분석하면서 시각화 및 모니터링에 활용할 수 있습니다.
장단점
Amazon Kinesis는 강력한 실시간 데이터 스트리밍 및 처리 플랫폼이지만, 사용 시 고려해야 할 장점과 단점이 있습니다.
장점
실시간 데이터 처리: 대량의 실시간 데이터를 처리하고 분석하는데 탁월한 성능을 제공합니다.
확장성: 데이터 스트림을 여러 샤드로 나누어 처리할 수 있으며, 필요에 따라 확장하여 데이터 처리의 확장성을 보장하면서도 성능을 유지할 수 있습니다.
다양한 데이터 유형 처리: 웹사이트 로그, 센서 데이터, 애플리케이션 로그 등 다양한 소스의 데이터 유형을 처리할 수 있습니다.
간편한 데이터 파이프라인 구축: 간편하게 데이터 파이프라인을 쉽게 구축하고, 데이터 변환과 전달을 자동으로 관리하므로 개발자는 데이터 이동에만 집중하면 됩니다.
실시간 분석 및 모니터링: 실시간으로 데이터를 분석하고 모니터링할 수 있습니다.
다양한 대상으로의 전달: 데이터를 다양한 AWS 서비스 및 저장소로 전달할 수 있습니다.
단점
복잡성: 대규모 애플리케이션에서는 설정 및 구성 과정이 다소 복잡해질 수 있습니다.
비용: 데이터 처리량 및 스트림의 크기에 따라 과금되므로, 대규모 데이터 처리 시 비용이 증가할 수 있습니다.
모니터링 및 디버깅: 대용량 데이터 처리 시 모니터링 및 디버깅이 복잡해질 수 있습니다.
서비스 의존성: AWS 서비스에 의존성이 높아지므로, AWS 서비스가 불안정한 경우 영향을 받을 수 있습니다.
비용
Amazon Kinesis의 비용은 사용되는 리소스와 데이터 처리량에 따라 다를 수 있습니다
Kinesis Data Streams
데이터 샤드 수: 가장 큰 비용 요소는 데이터 샤드 수입니다. 데이터 샤드 수가 많을수록 비용이 증가합니다. 데이터 샤드 시간당 비용: 각 데이터 샤드당 시간당 비용이 부과됩니다.
Kinesis Data Firehose
전송량: 전송된 데이터 양에 따라 비용이 부과됩니다. 데이터 전송량이 많을수록 비용이 증가합니다. 전송 시간당 비용: 데이터 전송 시간당 비용이 부과됩니다.
Kinesis Data Analytics
처리량: 처리되는 데이터 양에 따라 비용이 부과됩니다. 처리량이 많을수록 비용이 증가합니다. 처리 시간당 비용: 처리된 시간당 비용이 부과됩니다.
활용
웹 사이트 모니터링 및 분석
모바일 서비스 발전에 따라 모바일에서 어플이나 웹 사이트를 통해 다양한 서비스를 이용하고 있습니다. 어플이나 웹 사이트에서 생성되는 로그 데이터를 수집하고 분석하여 성능, 사용자 동작, 에러 등을 실시간으로 모니터링 및 분석할 수 있습니다. 실시간 대시보드 및 경고 시스템을 구축하여 웹사이트의 상태를 실시간으로 파악하고 개선할 수 있습니다.
금융 거래 감지 및 분석
결제, 입출금, 주식 거래 등 실시간으로 많은 수의 금융 거래가 실시간으로 계속 발생되고 있습니다. 금융 거래 데이터를 실시간으로 처리하여 부정 거래나 신용카드 사기 등을 감지할 수 있습니다. 또한 금융 거래의 이상 패턴을 실시간으로 분석하여 신속하게 대응할 수 있습니다.
게임 분석
온라인 게임에서는 실시간으로 다른 플레이어들과 상호작용을 하면서 다양한 게임 플레이를 진행합니다. 온라인 게임에서 생성되는 사용자 데이터를 실시간으로 분석하여 게임 플레이, 플레이어 상호작용, 성과 등을 추적하고 게임 개선에 활용할 수 있습니다.
Amazon Kinesis를 통해 대용량의 실시간 데이터를 유연하게 처리해보시기 바랍니다. 지금까지 Amazon Kinesis를 알아보는 시간이었습니다....! 끝...!
EC2(온디맨드, 스팟, 예약) 인스턴스를 실행할 때, 인스턴스들은 물리적으로 AWS의 데이터 센터에 배치(Placement)되어 실행됩니다.
이렇게 AWS의 데이터 센터에 배치되는 위치를 EC2 Placement라고 하며, EC2 Placement에는 가용 영역 (Availability Zone)과 배치 그룹 (Placement Group), 두 가지 주요 요소가 있습니다
가용 영역 (Availability Zone)
가용 영역(Availability Zone)은 AWS의 데이터 센터가 물리적으로 분리된 지리적 위치입니다.
각 가용 영역은 고유한 전력, 네트워킹 및 연결성을 갖고 있으며, 장애가 발생할 경우 다른 가용 영역은 독립적으로 작동할 수 있습니다. 따라서 가용 영역을 사용하여 고가용성 및 내구성을 보장할 수 있습니다.
배치 그룹 (Placement Group)
배치 그룹은 동일한 물리적 하드웨어에서 여러 EC2 인스턴스를 실행할 수 있도록 지원하는 것입니다.
배치 그룹을 사용하면 인스턴스 간의 네트워크 지연 시간을 최소화하고 클러스터 컴퓨팅 또는 데이터 간의 고성능 통신을 제공할 수 있습니다. 배치 그룹은 크게 세 가지의 유형을 선택하여 생성할 수 잇습니다.
클러스터 배치 그룹(Cluster Placement Group)
클러스터 배치 그룹은 하나의 물리적 호스트에 인스턴스를 모아서 실행되어, 가장 높은 네트워크 성능을 제공합니다. 짧은 네트워크 지연 시간, 높은 네트워크 처리량 또는 둘 다의 이점을 활용할 수 있는 애플리케이션에 권장됩니다. 하지만 특정 가용 영역에 제한되어 물리적 호스트에 장애 발생 시 모든 EC2에 장애가 발생할 수 있어 고가용성은 떨어집니다.
파티션 배치 그룹(Partition Placement Group)
파티션 배치 그룹은 EC2를 파티션으로 분리하여 여러 물리적 호스트에 분산하여 실행합니다. 배치 그룹 내 파티션이 동일한 랙을 공유해지 않으므로 하드웨어 장애 가능성을 줄이는데 도움이 됩니다. 여러 가용 영역에 걸쳐 고가용성을 제공할 수 있지만 파티션 장애 발생 시 같은 파티션의 EC2에 모두 장애가 발생할 수 있습니다.
스프레드 배치 그룹(Spread Placement Group)
스프레드 배치 그룹은 인스턴스를 가능한 한 물리적으로 분리된 호스트에 실행하여 가용 영역 및 물리적 하드웨어에서 실패가 발생해도 안정성을 보장합니다. 서로 떨어져 있어야 하는 중요 인스턴스의 수가 적은 애플리케이션에서는 분산형 배치 그룹이 권장됩니다.
비용
EC2 Placement를 사용하여 EC2 인스턴스를 구성할 때, 추가 비용 없이 인스턴스의 배치를 최적화하여 성능과 가용성을 개선할 수 있습니다.
EC2 Placement는 인스턴스를 배치하는 방법에 대한 설정이며, 이는 인스턴스의 가격이나 인스턴스 자체에 영향을 미치지 않습니다. 비용은 EC2 인스턴스의 유형, 크기, 운영 체제 등과 같은 인스턴스 자체의 속성에 따라 결정됩니다.
EC2 Placement는 성능, 내구성 및 확장성을 위해 중요한 요소이며, 올바르게 구성하고 관리함으로써 안정적인 인스턴스 운영과 서비스 제공에 도움을 줍니다. 따라서 인스턴스를 실행하기 전에 가용 영역 및 플레이스먼트 그룹을 신중하게 선택하고 구성해보시기 바랍니다.