이번 포스팅에서는 EC2 인스턴스의 전반적인 스토리지 옵션들에 대해서 알아본다. 스토리지 옵션에는 EBS, EC2 Instance store가 있으며, 각 각의 세부적인 특징에 대해서 알아본다.

EBS(Elastic Block Storage)

EBS는 EC2 인스턴스가 실행중인 동안 연결이 가능한 네트워크 드라이브이다. EBS 볼륨을 사용하면, 인스턴스가 종료된 후에도 데이터를 지속적으로 유지할 수 있다. 인스턴스를 재생성하고, 이전에 사용한 EBS 볼륨을 마운트하면, 데이터를 다시 받을 수 있다.

이전에 CCP자격시험을 준비할때에는 하나의 EBS는 하나의 EC2 인스턴스에만 마운트 할 수 있다고 배웠다. 그리고 하나의 인스턴스에는 다중 EBS 볼륨의 연결이 가능하다.

EBS는 특정 가용 영역에 제한되서 사용할 수 있다. 따라서 EC2 인스턴스가 생성된 AZ과 EBS의 AZ를 매칭시켜줘야 한다. 단, EBS를 snapshot해주게 되면, 다른 AZ 영역의 EC2 인스턴스에 연결해줄 수 있다.
(Free tier에서는 매달 30GB의 EBS 스토리지 를 범용 SSD나 마그네틱 유형으로 제공)

이번 포스팅에서는 본격적으로 AWS SAA(Solutions Architect Associate) level에 맞는 파트에 대해서 학습을 시작할 것이다.

그 첫 시작으로 Private, Public, Elastic IP의 비교에 대한 내용을 학습할 것이다. 이전에 EC2 인스턴스를 생성한 뒤에 속성으로 간략하게 위의 3가지 종류의 IP에 대해서 살펴보았는데, EC2인스턴스를 중지 후 재 실행하게 되면, Public IP 주소가 새롭게 생성되기 때문에 고정 IP로 사용하려면 Elastic IP를 사용하면 되고, Elastic IP의 경우에는 실제 사용이 될 때가 아닌, 사용이 되지 않을때 요금이 부가된다는 내용이 기억에 남는다.

그럼 좀 더 세부적으로 이론을 배워보고 실습해봐야겠다.

Private & Public & Elastic IP

• Elastic IPs는 인스턴스의 고정된 Public IP를 위해 필요하다.
• Elastic IP Address는 가지고 있는데, 사용하지 않으면 과금이 된다.
• 빠르게 계정 내 다른 인스턴스로 주소를 매핑함으로써 인스턴스나 소프트웨어의 실패를 마스킹 할 수 있게 도와준다.
• 계정당 5개의 Elastic IP를 가질 수 있다. (필요에 따라 AWS 요청하여 갯수 확장 가능)
• 종합적으로 살펴보면, Elastic IP 주소를 사용하는 것은 권장되지 않는다.
  -> Elastic IP 주소를 사용하는 Architecture는 안좋은 구조적 결점으로써 언급되기도 한다.(안좋은 Architecture)
• 대신 random public IP를 사용하고, 해당 IP에 DNS 이름을 지정해서 사용하도록 한다. (DNS -> Route 53 - 훨씬 더 많은 제어가 가능하고, 확장 가능성도 크다)
• 또는 Load Balancer를 사용하고, public IP를 사용하지 않도록 하는 방법도 있다. (AWS에서 취할 수 있는 최상의 Pattern이다)

Private IP and Public IP in AWS EC2

EC2인스턴스에 SSH 연결을 하는 경우, 같은 네트워크에 있는 것이 아니기 때문에 Private IP를 사용할 수 없다. (단 VPN을 사용하는 경우 가능)
Private IP는 AWS의 내부 네트워크 통신을 위해 사용되며, 인터넷 연결을 위해서는 Public IP가 사용된다.
오직 Public IP를 사용해서 EC2 인스턴스에 SSH 연결을 할 수 있다.

이번 포스팅에서는 EC2 인스턴스의 활용에 대해서 실습한 내용에 대해서 정리해보려고 한다. 이번 포스팅까지만 기본적인 부분을 실습하고, 이제 다음 포스팅부터 본격적으로 AWS SAA(Solutions Architect Associate) level에 맞는 파트에 대해서 학습을 시작할 것이다.

AWS 예산 설정

예산 초과시에 경고를 받을 수 있도록 설정을 하는 것이 좋다. My Billing Dashboard에서 좌측의 메뉴에서 Cost Management - Budgets 메뉴를 통해서 설정한 예산에서 특정 임계값을 넘었을때 이메일이나 SNS메시지로 알람이 올 수 있도록 할 수 있다.

이번 포스팅에서는 IAM 서비스와 관련된 실습과 AWS 액세스 키, AWS CLI, SDK를 설정하고 활용하는 방법에 대해서 배운내용에 대해서 간략하게 정리를 하려고 한다.

IAM 정책 실습

IAM MFA 개요

IAM MFA 실습

AWS 액세스 키, CLI 및 SDK

AWS CLI 설정

(2022/05/11 업데이트)

AWS CLI 실습

이번 포스팅에서는 이번에 취득한 AWS Practitioner 자격시험에 이어서 SAA-C02 시험에 대비하기 위해 Udemy에서 강의를 수강하면서 직접 AWS에서의 각종 서비스들을 실습해보면서 본격적으로 시험에 대비해보려고 한다.
이번 AWS Practitioner 시험과 AWS 클라우드 환경에서 데이터 파이프라인 구축해보는 실습을 통해서 일부 AWS 서비스들은 다뤄보았지만, 아직 기존에 다뤘던 서비스들도 그렇고, 다른 서비스들에 대해서도 잘 알지 못하는 부분이 많다.

그래서 이번 기회에 자격증 시험준비를 하면서 나중에 실무에서도 프로페셔널하게 직접 클라우드환경을 구축하고 사용할 수 있도록 이론과 실습을 많이 해보기로 결심했다.
아무래도 스스로 환경을 만들어서 익혀야되는 환경이다보니 자격증과 같은 동기부여 요소가 있어야 좀 더 신경써서 현재 내 지식 수준을 체크하면서 진행할 수 있는 것 같다. :)

오늘은 SAA-C02 시험 대비 겸 AWS 실습 첫 날로, 아래의 내용들에 대해서 개괄적으로 살펴보았다.

이번 포스팅에서는 요즘 재미를 붙여가면서 공부하고 있는 AWS 공부와 관련된 이야기 좀 하려고 한다. AWS 공부를 하게 된 계기는 데이터 파이프라인 구축과 관련된 실습을 AWS 가상 클라우드 환경에서 하고 있기 때문이다.
이번 실습을 하면서 이전에는 단순히 S3 Bucket에 리소스를 올려서 사이드 프로젝트에서 사용하고, EC2 가상 서버 인스턴스를 올려서 단기적으로 사용하던 것을 넘어서서 이번에는 각 서비스에 대해서 제대로 이해하고 사용하기 시작했다.
그 이유는 지금 공부하면서 실습하고 있는 내용이 데이터 파이프라인 구축에 관한 내용인데, 데이터 수집, 전처리, 분석 및 시각화, 저장해주는 각 각의 일련의 과정에서 사용되는 AWS의 서비스들은 많으며, 다양한 구성도가 나올 수 있고, 상황에 맞게 잘 구성해서 사용해야되기 때문이다.
심지어 운영적 측면도 고려하여, cost도 생각해서 pipeline에서 사용할 AWS의 서비스를 구성 및 설계해야한다.

생각보다 한 서비스를 활용한다는 것은 정말 복잡하다. 데이터 파이프라인 실습 중간 중간에 공부를 하면서 AWS와 관련된 여러 서비스들이 등장을 하는데, 뭔가 학습에 있어 로드맵이 필요하다는 생각이 들어서 찾아보던 중, AWS 관련 자격증 중에서 AWS Practitioner라는 자격증이 있다는 것을 알게 되었다.

가장 기초가 되는 자격증이라는 점이 가장 마음에 들었고, 지금 시점에 배우는 서비스들 중에 아닌 서비스들도 있지만, 대부분의 서비스들이 AWS 서비스들 중에 가장 기본이 되는 서비스들이 많기 때문에 병행해서 학습을 한다면 좀 더 좋을 거라고 생각을 했는데, 2주간 같이 병행해서 학습을 해보니, 역시 내 예상대로 정말 많은 도움이 되었다.

오늘부로 AWS 공식 사이트에서 제공해주는 AWS Cloud Practitioner Essentials 코스 완료했다. 최종 테스트에서 87% 정답률을 달성했는데, 틀린문제는 다시 풀어서 다 맞췄다.

생각보다 수업내용과 AWS 공식 사이트에서 제공해주는 무료 강좌의 커리큘럼에서 순차적으로 등장하는 AWS의 서비스들이 겹치는 순간이 좀 많이 있어서 복습의 효과까지 얻게 되었던 것 같다.

이제 남은 시험날까지 13일정도 남았는데, 그 날까지 기출문제를 계속 풀어보면서 AWS에 있는 서비스 및 기술들에 대해서 다시 복습하고, AWS 공식 사이트에서 알려준 아래의 중요도 순으로 시간을 배분해서 공부를 해봐야겠다.

영역3(기술) > 영역1(클라우드 개념) > 영역2(보안 및 규정준수) > 영역4(결제 및 요금)

Amazon Redshift

Amazon Redshift는 빅 데이터 분석에 사용할 수 있는 데이터 웨어하우징 서비스이다. 이 서비스는 여러 원본에서 데이터를 수집하여, 데이터 간의 관계 및 추세를 파악하는데 도움이 되는 기능을 제공한다.

때로는 비즈니스 요구 사항은 현재 진행중인 일이 아닌, 과거에 일어난 일과 연결되기도 한다. 물론 모든 곳에 단일 데이터베이스를 사용하는 만능 모델을 사용할 수도 있지만, 빠른 속도와 실시간 수집 및 쿼리를 고려해 설계된 현대적인 데이터베이스가 적절하지 않은 경우도 있다.
기록/분석의 문제점은 쿼리를 요청한 시점에 데이터가 수집을 멈추지 않고 지속한다는 것이다. 그리고 최신 원격 분석과 IoT의 폭발적 증가 때문에 데이터는 결국 최고 용량의 기존 관계형 데이터베이스도 감당할 수 없는 양이 될 것이다.
더 나아가 데이터의 다양성도 문제가 될 수 있는데, 재고,금융 및 소매 영업 시스템과 같은 다양한 데이터 장소에서 오는 데이터를 상대로 BI(Business Intelligence) 프로젝트를 실행하는 경우, 여러 데이터 베이스에 단일 쿼리를 사용하는 것은 기존 데이터베이스에서는 쉽게 처리하지 못한다.

데이터가 너무 복잡해서 기존 관계형 데이터베이스로 처리하기 어려워지면, DW로 처리하게 되는데, DW는 이러한 유형의 빅데이터용으로 특별히 제작되었고, 사용자는 운영 분석이 아닌 기록 분석을 살펴보게 된다.

기록이란, “지난 1시간동안 모든 점포에서 기록한 매출정보를 출력”과 같이 지난 1시간은 이제 과거이므로 현재 판매하는 건은 포함되지 않는다는 것을 의미한다.
“지금 모든 점포에서의 매출은 어떻게 되지?”라는 질문과 비교해보면, 말하는 이 순간에도 결과는 바뀔 수 있으며, 비즈니스 질문이 과거를 향하다면 해당 BI에는 DW가 올바른 솔루션이 될 수 있다.

DW팀이 엔진관리 대신에 데이터에만 집중할 수 있도록 나온 서비스가 바로 Amazon Redshift이다.
서비스로서의 데이터 웨어하우징 제품이다. 확장성이 매우 뛰어나며, 수 Petabyte 크기의 Redshift 노드도 흔하다. 실제로 Redshift Spectrum을 통해 데이터 레이크에서 실행되는 수 Exabyte 바이트의 비정형 데이터를 대상으로 단일 SQL 쿼리를 실행할 수 있다.
여기서 핵심읁 빅데이터 BI 솔루션이 필요할 때 Redshift를 이용하면 단일 API 호출로 작업을 시작할 수 있다는 것이다.

이번 포스팅에서는 AWS의 가장 기초적인 자격증인 Practitioner 자격증 공부를 하면서, 기록할 필요가 있다고 생각되는 내용을 정리해보려고 한다. 현재 데이터 파이프라인 구축관련 공부를 하면서 AWS 서비스를 활용하여 실습을 하고 있는데, Storage와 Database 부분이 중요하다고 생각되기 때문에 우선적으로 이 부분에 대한 정리를 시작으로 다른 중요한 AWS 서비스들도 정리를 해나가보려고 한다.

Amazon EBS(Amazon Elastic Block Storage)

데이터 파이프라인을 실습하면서 복수 개의 EC2 인스턴스를 생성하고, 계속 구동시켜놓으면 비용이 발생하기 때문에 사용하지 않을때에는 잠시 중지상태로 전환시켜두었다. 그런데 다시 구동시켰더니 내부에 저장해두었던 리소스들이 사라져있었다.
그 이유는 바로 EC2 인스턴스 가상 서버로, 내부 리소스는 Instance store volume이라는 블록 저장 공간에 저장을 하게 되는데, 중지 후 다시 재구동을 하게 되면 가상 서버는 베이스가 되는 부분이 재 생성되면서 기존에 사용되었던 instance store가 삭제되게 된다. (EC2의 임시 블록 수준 스토리지)
이러한 이유로 EC2 인스턴스를 중지후 재구동을 하여도 지속적으로 남기게 하기 위해, Amaozn EBS라는 블록 스토리지 솔루션이 등장했다.
Amazon EBS는 EC2 인스턴스를 중지한 뒤에 다시 실행하여도 내부에서 저장하였던 리소스를 보존시켜준다.
EC2 인스턴스에 EBS를 연결하려면 동일한 가용 영역(AZ)상에 있어야 한다. 저장은 하지만, 2GB EBS 볼륨을 프로비저닝해서 가득 채우게 되면, 볼륨이 자동으로 확장되지 않는다.

Snapshot을 지원해는데, 나중에 Snapshot에서 data를 복구할 수도 있다.
(최대 16TiB, SSD, HDD 모두 제공)
cf.SI 접두어 방식으로 하면, TB(테라바이트)인데, 이를 이진 접두어 방식으로 하면, TiB(테비바이트)가 된다.