[Azure] CLI 명령어를 통한 Blob Storage 생성 및 사용


Azure Blob Storage는 대규모 비정형 데이터를 저장하고 관리하는 확장 가능하고 고가용성의 객체 스토리지 서비스입니다.

 

Azure CLI 명령어로 스토리지 계정에 컨테이너를 생성 후 파일을 업로드 및 다운로드를 해보도록 하겠습니다.

 

 


스토리지 접근 방법

Azure CLI를 통해 스토리지를 접근 시 Auze login을 통한 권한이 있는 계정에 접근하거나, 스토리지 계정에 있는 액세스 키를 사용하여 스토리지를 사용할 수 있습니다.

 

Azure CLI 설치 및 login 방법은 아래 링크를 통해 확인해보시길 바랍니다.
https://every-up.tistory.com/77

 

 

스토리지 액세스 키는 스토리지 계정의 액세스 키 메뉴에서 확인하실 수 있습니다.

 

 

스토리지 계정 이름과 액세스 키를 CLI 명령어에서 사용 시 아래와 같이 옵션을 추가하여 사용합니다.
ex) --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY

 

 


컨테이너 생성 및 확인

스토리지 관련 명령어는 az storage 명령어로 관리되며 컨테이너 생성을 위한 container create 등의 옵션이 추가적으로 필요합니다.


앞에서 확인한 스토리지 계정 이름과 액세스 키를 사용하여 "test-container-02" 이름의 컨테이너를 생성해보겠습니다.

> az storage container create --name test-container-02 --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY
{
  "created": true
}

 

 

 

생성이 완료되면 아래 명령어를 통해 생성된 컨테이너를 확인하실 수 있습니다.

> az storage container list --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY
[
  {
    "deleted": null,
    "encryptionScope": {
      "defaultEncryptionScope": "$account-encryption-key",
      "preventEncryptionScopeOverride": false
    },
    "immutableStorageWithVersioningEnabled": false,
    "metadata": null,
    "name": "test-container-02",
    "properties": {
      "etag": "\"0x###############\"",
      "hasImmutabilityPolicy": false,
      "hasLegalHold": false,
      "lastModified": "2024-06-07T04:59:08+00:00",
      "lease": {
        "duration": null,
        "state": "available",
        "status": "unlocked"
      },
      "publicAccess": null
    },
    "version": null
  }
]

 

 


컨테이너 파일 업로드 및 다운로드

파일 업로드

이제 생성된 컨테이너에 파일을 업로드 해보도록 하겠습니다. az storage blob upload 명령어를 사용하여 "text2.txt" 이름의 파일을 "test-container-02" 컨테이너에 업로드 해보도록 하겠습니다.

> az storage blob upload --container-name test-container-02 --file text2.txt --name text2.txt --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY
Finished[#############################################################]  100.0000%
{
  "client_request_id": "f6525a32-248b-11ef-####-###########",
  "content_md5": "CkKOC8iUNoUV##########==",
  "date": "2024-06-07T05:08:23+00:00",
  "encryption_key_sha256": null,
  "encryption_scope": null,
  "etag": "\"0x###############\"",
  "lastModified": "2024-06-07T05:08:24+00:00",
  "request_id": "106ef2b2-801e-006a-####-###########",
  "request_server_encrypted": true,
  "version": "2022-11-02",
  "version_id": null
}

 

파일 확인

생성된 컨테이너의 파일 정보는 az storage blob list 명령어를 통해 확인하실 수 있습니다.

> az storage blob list --container-name test-container-02 --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY
[
  {
    "container": "test-container-02",
    "content": "",
    "deleted": null,
    "encryptedMetadata": null,
    "encryptionKeySha256": null,
    "encryptionScope": null,
    "hasLegalHold": null,
    "hasVersionsOnly": null,
    "immutabilityPolicy": {
      "expiryTime": null,
      "policyMode": null
    },
    "isAppendBlobSealed": null,
    "isCurrentVersion": null,
    "lastAccessedOn": null,
    "metadata": {},
    "name": "test2.txt",
    "objectReplicationDestinationPolicy": null,
    "objectReplicationSourceProperties": [],
    "properties": {
      "##### 생략 #####"
    }

 

 

파일 이름명만 확인하고 싶을 경우에는 해당 명령어에 --query "[].name" --output tsv 옵션을 추가합니다.

> az storage blob list --container-name test-container-02 --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY --query "[].name" --output tsv
test2.txt

 

파일 다운로드

생성된 컨테이너의 파일을 다운로드하기 위해 az storage blob download 명령어를 사용합니다.
D:\TEST\test2-upload.txt 이름으로 파일을 다운로드 받도록 설정하였습니다.

> az storage blob download --container-name test-container-02 --name test2.txt --file D:\TEST\test2-upload.txt --account-name $AZURE_STORAGE_ACCOUNT --account-key $AZURE_STORAGE_KEY
{
  "container": "test-container-02",
  "content": "",
  "contentMd5": null,
  "deleted": false,
  "encryptedMetadata": null,
  "encryptionKeySha256": null,
  "encryptionScope": null,
  "hasLegalHold": null,
  "hasVersionsOnly": null,
  "immutabilityPolicy": {
    "expiryTime": null,
    "policyMode": null
  },
  "isAppendBlobSealed": null,
  "isCurrentVersion": null,
  "lastAccessedOn": null,
  "metadata": {},
  "name": "test2.txt",
  "objectReplicationDestinationPolicy": null,
  "objectReplicationSourceProperties": [],
  "properties": {
    "##### 생략 #####"

 

D:\TEST\ 경로 확인 시 test2-upload.txt 파일을 확인할 수 있습니다.

 

 


 

Azure CLI를 통해 이미 생성된 스토리지 계정에 액세스 키를 사용하여 컨테이너를 생성하고 파일을 업로드 및 다운로드 해봤습니다. 컨테이너 생성은 az storage container create 명령어로, 파일 업로드는 az storage blob upload, 파일 다운로드는 az storage blob download 명령어를 사용합니다. 업로드된 파일 목록을 확인하려면 az storage blob list 명령어를 사용합니다.

 

Azure 콘솔을 통해서도 위 작업을 동일하게 할 수 있지만, CLI를 통해 작업이 필요한 경우에는 위 방법을 활용하여 사용하시기 바랍니다.

 

지금까지 CLI 명령어를 통해 Blob Storage 생성 및 사용하는 방법에 대해 알아보는 시간을 가졌습니다....! 끝...!

 

 

 

[Reference]
https://learn.microsoft.com/ko-kr/azure/storage/blobs/storage-quickstart-blobs-cli

 

 

 

[Azure] Blob Storage 생성 및 기초 사용법


Azure Blob Storage는 대규모 비정형 데이터(이미지, 동영상, 로그 등)를 저장하고 관리할 수 있는 Microsoft Azure의 객체 스토리지 서비스입니다. 세 가지 저장소 유형(블록 블롭, 애플리케이션 블롭, 페이지 블롭)을 제공하여 다양한 데이터 요구에 맞게 최적화할 수 있습니다. 뛰어난 확장성과 고가용성을 제공하여 백업, 아카이브, 빅데이터 분석 등에 적합합니다.

 

Azure 콘솔을 통해 Blob Storage를 생성하고 기본적인 사용법을 알아보겠습니다.

 


 

스토리지 계정

Azure 스토리지 계정은 Azure의 모든 스토리지 서비스(Blob, Queue, Table, File)를 관리하고 접근하는 기본 단위입니다. 다양한 스토리지 유형과 성능 계층을 선택할 수 있으며, 고가용성과 보안, 확장성을 제공하며, 이를 통해 데이터 저장, 백업, 복구, 빅데이터 분석 등 다양한 요구를 효율적으로 처리할 수 있습니다.

 

Blob Storage를 생성하기 위해서는 사전에 스토리지 계정을 생성해야 됩니다.

 


Azure 콘솔의 스토리지 계정 메뉴에서 만들기를 선택합니다.

 

스토리지 계정 이름은 소문자와 숫자만 사용할 수 있습니다.

구독, 리소스 그룹, 지역 등의 옵션을 추가적으로 선택하며, 추가적인 옵션이 필요한 경우 고급, 네트워킹, 데이터 보호 등의 옵션을 추가적으로 선택 후 스토리지 계정을 생성합니다.

 


생성된 스토리지 계정은 동일한 메뉴에서 확인 가능합니다.

 

 


스토리지 컨테이너 생성

Azure 스토리지 컨테이너는 Azure Blob Storage 내에서 블롭 데이터를 논리적으로 그룹화하고 관리하는 단위입니다. 각 컨테이너는 무제한의 블롭을 포함할 수 있으며, 개별 블롭에 대한 접근 권한 및 정책을 설정할 수 있으며, 이를 통해 데이터 조직, 접근 제어, 보안 관리를 효과적으로 수행할 수 있습니다.

 

데이터 스토리지의 컨테이너 메뉴를 통해 컨테이너를 생성할 수 있습니다.

 

 

컨테이너 이름 설정 후 만들기를 통해 컨테이너를 생성합니다.

 

 

생성 완료된 컨테이너를 클릭 후 들어가보면 아래와 같이 파일을 업로드하거나 관리할 수 있습니다.

 

 


콘솔을 통한 파일 업로드 및 다운로드

컨테이너에 파일을 업로드하고, 업로드 완료된 파일을 다운로드 해보도록 하겠습니다.

 

업로드 버튼을 클릭 후 파일을 드래그하거나 파일 찾아보기로 선택 후 업로드 합니다.

 

 

업로드 성공 팝업 알림과 함께 컨테이너에 test.txt 파일이 업로드되었음을 확인하였습니다.

 

 

test.txt 파일을 선택하면 해당 파일에 대한 정보를 확인할 수 있으며, 다운로드 버튼을 클릭하여 파일을 다운로드 받을 수 있습니다.

 

 


URL을 통한 파일 다운로드

파일 선택 시 스토리지 계정 및 컨테이너 이름 정보가 포함되어 있는 URL 정보를 통해 파일 다운로드가 가능합니다.

 

 

URL 정보를 웹 브라우저에서 입력하여 해당 파일을 다운로드 시 아래와 같이 권한 오류가 발생하는데요.

 

 

기본적으로 스토리지 계정에 Blob 익명 액세스 옵션이 사용 안 함으로 설정되어 있어 URL을 통해 외부에서 바로 다운로드가 불가합니다.

 

 

따라서 Blob 익명 액세스 옵션을 사용하거나 SAS(공유 액세스 서명) 토큰을 발급 후 URL 정보에 추가하여 다운로드 해야됩니다.

 

공유 액세스 토큰 메뉴에서 생성한 토큰 값을 복사 후 URL 정보 뒤에 추가하면 권한 오류 없이 파일을 다운로드 할 수 있습니다.

https://everyuptest.blob.core.windows.net/test-container-01/test.txt?sp=r&st=2024-06-07T04:16:39Z&se=2024-06-07T12:16:39Z&spr=https&sv=2022-11-02&sr=c&sig=################################

 

 


 

Azure Blob Storage를 생성하고 사용하는 방법으로, 먼저 스토리지 계정을 생성하고 그 안에 컨테이너를 만듭니다. 컨테이너에 파일을 업로드하고 다운로드하며, 외부 접근을 위해 SAS 토큰을 사용해 URL에 권한을 부여합니다. 이를 통해 대규모 비정형 데이터를 효율적으로 저장하고 관리할 수 있습니다.

 

Azure Blob Storage를 통해 장기 보관이 필요한 데이터를 저장하고나, 대규모 비정형 데이터를 분석하는 등 다양한 방법으로 활용하여 사용하시기 바랍니다.

 

지금까지 Blob Storage 생성 및 사용하는 방법에 대해 알아보는 시간을 가졌습니다....! 끝...!

 

 

 

[Reference]
https://learn.microsoft.com/ko-kr/azure/storage/blobs/storage-blobs-introduction

 

 

 

[Azure] CLI(az) 설치 및 로그인 방법

 

Azure CLI (Command-Line Interface)는 Microsoft Azure 리소스를 관리하는 데 사용되는 도구입니다.
명령어 기반으로 Azure 서비스의 배포, 관리 및 모니터링을 자동화할 수 있으며, Windows, macOS, Linux 등 다양한 운영 체제에서 실행 가능합니다. 직관적인 명령어와 스크립트를 통해 효율적으로 클라우드 작업을 처리할 수 있습니다.

 

Azure CLI를 설치하고 로그인 하는 방법을 확인해보도록 하겠습니다.

 

 


 

설치 파일 다운로드

Windows OS 환경에서 Azure CLI를 사용하기 위해 아래 링크를 통해 설치 파일을 다운로드 하였습니다.
https://learn.microsoft.com/ko-kr/cli/azure/install-azure-cli-windows?tabs=azure-cli

 

 


 

설치 파일 실행 및 설치

다운로드 받은 azure-cli 설치 msi 파일을 실행합니다.

 

설치 시 중요하게 선택해야되는 옵션 등은 없습니다.

 

 


 

설치 확인

설치가 완료되면 CMD나 Powershell 등에서 Azure CLI의 az 명령어를 통해 사용할 수 있습니다.
az version 명령어를 통해 설치된 Azure CLI 버전을 확인할 수 있습니다.

 

 


 

로그인 및 확인

Azure CLI의 az login 명령어를 통해 로그인하여 사용할 수 있습니다.

 


Microsoft 계정 로그인 팝업이 출력되며 해당 로그인을 통해 로그인을 진행합니다.

 



로그인 완료 후에는 az account show 명령어를 통해 로그인된 계정의 정보를 확인하실 수 있으며, 로그인한 계정의 권한을 통해 Azure 리소스들을 관리 및 사용하실 수 있습니다.

az account show
{
  "environmentName": "AzureCloud",
  "homeTenantId": "########-####-####-####-############",
  "id": "########-####-####-####-############",
  "isDefault": true,
  "managedByTenants": [],
  "name": "TEST-구독",
  "state": "Enabled",
  "tenantDefaultDomain": "#########.onmicrosoft.com",
  "tenantDisplayName": "################",
  "tenantId": "########-####-####-####-############",
  "user": {
    "name": "########@#########.onmicrosoft.com",
    "type": "user"
  }
}

 

 


 

Azure CLI는 Microsoft Azure 리소스를 관리하는 도구로, 다양한 운영 체제에서 사용 가능합니다.
설치 파일을 다운로드하여 실행하고, az version 명령어로 설치 확인 후, az login 명령어를 통해 Azure에 로그인합니다. 로그인 후 az account show 명령어로 계정 정보를 확인할 수 있으며 그 외의 다양한 Azure CLI 명령어를 통해 Azure를 관리할 수 있습니다.

 

다양한 Azure CLI를 통해 다양한 Azure의 리소스들을 관리 및 사용하시기 바랍니다.

지금까지 Azure CLI (Command-Line Interface)를 설치 및 로그인을 해보는 시간을 가졌습니다....! 끝...!

 

 

 

[Reference]
https://learn.microsoft.com/ko-kr/cli/azure/install-azure-cli

 

 

 

[Azure] 가상 머신(VM) 중첩 가상화 구축하기


중첩 가상화란 Azure와 AWS와 같은 클라우드 컴퓨팅 서버에 중첩으로 Hyper-V, VirtualBox, VMware Workstation과 같은 가상화 환경을 사용하는 것입니다. 가상화를 사용하기 위해서는 기본적으로 CPU에 Virtualization 옵션이 BIOS에서 활성화되어 있어야 하지만, 기본적으로 Azure와 AWS에서 제공하는 컴퓨팅 서버에는 해당 옵션이 활성화 되어 있지 않습니다.

 

Azure를 기준으로는 특정 가상머신(VM) 크기를 사용해야 하며, 가상 머신 생성 시에도 별도의 옵션이 필요합니다. 해당 설정을 통해 Azure에서 중첩 가상화를 사용할 수 있도록 구축해보겠습니다.

 

 


 

가상 머신 크기

Azure에서는 중첩 가상화를 위해 nested virtualization을 지원하는 가상머신을 사용해야 된다고 합니다. 중첩 가상화를 지원하지 않는 가상 머신의 크기를 사용한다면 가상화 환경 사용 시 관련 기능이 필요하다고 경고창이 팝업됩니다.

 

nested virtualization을 지원하는 가상머신은 아래와 같습니다.
https://learn.microsoft.com/en-us/azure/virtual-machines/acu

 

Overview of the Azure Compute Unit - Azure Virtual Machines

Overview of the concept of the Azure compute units. The ACU provides a way of comparing CPU performance across Azure SKUs.

learn.microsoft.com

 

기본적으로 많이 사용하는 스탠다드 크기인 Dsv3 크기를 주로 많이 사용할 것으로 예상되며,
CPU, Memory 특화 크기인 Fsv2, Esv3 크기도 있습니다.

 

 


 

가상 머신 생성 시 옵션

Azure에서 가상 머신 생성 시 옵션도 필수입니다.
보안 유형을 "신뢰할 수 있는 시작 가상 머신"이 아닌 "표준"을 반드시 선택해야 됩니다.

 

 

중첩 가상화는 "신뢰할 수 있는 시작 가상 머신" 에서는 지원되지 않으므로 "표준"을 선택해야 된다고 합니다.
자세한 내용은 아래 링크를 통해 추가적인 정보를 확인해주시기 바랍니다.
https://learn.microsoft.com/en-us/answers/questions/1328431/enable-virtualization-in-windows-10-azure-vm

 

Enable Virtualization in windows 10 azure vm - Microsoft Q&A

Hi, I am using an azure VM, Windows 10 Enterprise, version - 21H2, OS build - 19044.3086. I am installing WSL2 and installed Ubuntu from windows store on it, for this I enabled nested virtualization using -…

learn.microsoft.com

 

추가적으로 보안 유형을 "신뢰할 수 있는 시작 가상 머신"으로 선택한 가상머신은 "표준"으로 변경이 불가하므로 처음에 선택 시 잘 확인하여 보안 유형을 설정할 수 있도록 합니다.

 


 

가상화 서버 VirtualBox 설치

가상화 환경을 구축하기 위해 Azure 가상 머신으로 Windows 11 pro OS를 설치하였습니다.
OS 설치 이후에는 VM 서버로 VirtualBox를 설치하였습니다.

 

간단히 가상 머신을 생성하고 정상적으로 실행되는지 확인해봅시다.

 

 

가상 머신 크기와 보안 유형을 선택하지 않을 경우에는 가상 머신을 실행하면 오류가 발생합니다.
가상화를 지원하지 않는다는 오류가 발생하며 가상 머신의 크기 및 보안 유형을 다시 한번 확인해보시기 바랍니다.

 


 

 

중첩 가상화는 클라우드 환경에서 더 깊은 가상화 층을 추가함으로써 복잡한 IT 인프라 요구사항을 충족할 수 있는 기능입니다. Azure에서 중첩 가상화를 활용하기 위해서는 특정 크기의 가상 머신을 선택하고, 보안 유형을 '표준'으로 설정해야 합니다.

 

이러한 조치를 통해 VirtualBox와 같은 가상화 플랫폼을 설치하고 추가 가상 머신을 운영할 수 있습니다. 개발 및 테스트 환경의 구축을 손쉽게 구축하고, 유연하고 확장 가능한 작업 환경 사용하시기 바랍니다.

 

지금까지 Azure에서 중첩 가상화를 구축해보는 시간을 가졌습니다....! 끝...!

 

 

 

[Reference]
https://learn.microsoft.com/en-us/azure/virtual-machines/acu
https://learn.microsoft.com/en-us/answers/questions/1328431/enable-virtualization-in-windows-10-azure-vm

 

 

 

+ Recent posts