AWS

# of Posts

1 more property

Gallery

AWS RDS 사용이유

•

어플리케이션 코드를 작성하는것 만큼 데이터베이스를 다루는 일은 중요함

•

DBA라는 직군이 있지만 백엔드 개발자는 데이터베이스를 다루는 경우가 많음, 가장 가까움

•

데이터베이스를 구축하고 EC2 서버와 연동하고자함

◦

RDS는 AWS 인프라 안에서 지원하는 클라우드 기반 관계형 데이터베이스

◦

EC2와 마찬가지로 용량을 조정하는데 탄력적임

◦

추가적으로 AWS 인프라 안에서 백업, 설정, 패치 등 자동화로 개발에 집중 할 수 있도록 함

[Spring-LDW] AWS RDS 데이터베이스 환경 만들기

EC2 실행하기

EC2 생성이 완료되면 자동으로 해당 서버는 실행되게 된다. 인스턴스 상태가 중지인 경우 시작을 통해 컴퓨터를 부팅 시켜 사용 가능한 상태로 만든다.

EC2 서버에 접속하기

우선 SSH(시큐어쉘)로 접속하기 위해서는 EC2 생성에서 설정했던 키가 필요하다. .pem 확장자로 로컬에 다운로드 받았던 키인데 마스터키와 같은 역할을 하기 때문에 노출되거나 삭제하면 안된다.(재발급필요)

EC2는 IP주소 또는 접속 주소가 있는데 간단하게 아래와 같이 인스턴스 정보 세부 사항에서 ‘연결’ 이라는 부분에서 터미널 명령어를 찾을 수도 있다.

[Spring-LDW] AWS EC2 접속하기, 초기 설정하기 + SSH 접속 시 오류 해결(WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!)

EC2란?

Amazon Elastic Compute Cloud(Amazon EC2)는 Amazon Web Services(AWS) 클라우드에서 온디맨드 확장 가능 컴퓨팅 용량을 제공합니다. Amazon EC2를 사용하면 하드웨어 비용이 절감되므로 애플리케이션을 더욱 빠르게 개발하고 배포할 수 있습니다. Amazon EC2를 사용하여 원하는 수의 가상 서버를 구축하고 보안 및 네트워킹을 구성하며 스토리지를 관리할 수 있습니다. 용량을 추가(스케일 업)하여 월간 또는 연간 프로세스 또는 웹 사이트 트래픽 급증 등 컴퓨팅 사용량이 많은 작업을 처리할 수 있습니다. 사용량이 감소하면 용량을 다시 축소(스케일 다운)할 수 있습니다.

Amazon EC2란 무엇인가요? - Amazon Elastic Compute Cloud

Amazon EC2를 사용하여 AWS 클라우드에서 가상 서버를 구성, 시작 및 관리합니다.

https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/concepts.html

•

EC2는 유동적으로 사양을 늘릴 수 있는 클라우드 컴퓨팅 플랫폼

•

사용자가 가상 컴퓨터를 임대 받아 그 위에 자신만의 컴퓨터 애플리케이션들을 실행할 수 있게 한다.

•

"일래스틱"(elastic, 탄력적인)이라는 용어를 통해 용량, 시간에 대해 탄력적으로 사용 할 수 있음을 볼 수 있다.

[Spring-LDW] AWS EC2 인스턴스 생성하기

AWS 서비스 가입

이미 과거 AWS 서비스 가입을 진행했지만 가입 과정을 다시 한번 정리하고자 한다.

배포란? Publishing?

•

웹 서비스를 다른 사람이 사용할 수 있게 내놓은 것을 배포라고 함

•

웹을 개발한 환경에서 계속 웹 서비스를 실행시켜두려면 내 컴퓨터를 켜둬야 함

•

내 컴퓨터를 언제까지고 켜 둘수 없으니, 컴퓨터를 하나 빌려서 계속 켜두자! → 우리가 알고 있는 서버

[Spring-LDW] AWS 가입과 키페어 생성까지 초기 계정 세팅

AWS S3, EC2를 사용하는 이유와 사용 경험에 대해서 답변해주세요.

AWS S3는 객체 스토리지 서비스로, 파일이나 데이터를 안전하게 저장하고 검색할 수 있도록 해주는 서비스입니다. EC2는 클라우드 상에서 가상 서버 컴퓨터를 제공해주는 서비스입니다. 간단히 가상의 컴퓨터를 대여한다고 생각 할 수 있습니다.

S3를 사용하면 데이터를 안전하게 저장하고 필요한 만큼 확장할 수 있습니다. EC2를 사용하면 가상 서버를 간편하게 구축하고 관리할 수 있습니다. 이렇게 서비스를 사용하면 물리적 서버를 관리할 필요가 없어지고, 필요에 따라 확장이나 축소도 쉽게 할 수 있어 효율적인 인프라 관리가 가능해집니다.

특히 AWS 인프라 내에서는 서비스간의 간편한 연결, 호환 등을 관리해줍니다. 특히 각 서버간의 연결을 위해서는 설정 파일을 직접 이해하고 정확히 연결되어야 합니다. 이러한 파일들은 모두 다른 언어로 작성되어 있을 가능성이 있고 개발자 입장에서 이해도가 부족하여 실수 할 가능성이 있는데 AWS 인프라 내에서는 이러한 부분에서 자동화 또는 서포트 해주는 역할을 내부적으로 다양하게 지원하고 있습니다.

S3와 EC2는 프로젝트 배포에서 자동화 배포인 CI/CD파이프라인을 구축 할 때 경험해보았습니다. GitHub Actions를 사용하여 AWS S3에 빌드된 애플리케이션 코드를 업로드하고, AWS CodeDeploy를 통해 EC2 인스턴스에 배포하는 파이프라인입니다.

면접답변

S3와 EC2 모두 클라우드 컴퓨터를 대여하는 서비스라고 볼 수 있고 AWS S3와 EC2는 모두 아마존 웹 서비스 인프라 내의 서비스입니다. 여기서 AWS 인프라 내 서비스를 통해 간편한 연결, 호환 등을 AWS가 관리, 쉽게 설정 할 수 있도록 도와준다는 점에서 S3와 EC2를 사용하는 큰 이유라 생각합니다.

S3와 EC2는 프로젝트 배포에서 과정에서 경험해 보았습니다. GitHub Actions를 사용하여 S3에 빌드된 소스가 업로드되고, CodeDeploy 배포서비스를 통해 EC2 인스턴스 컴퓨터에서 서비스가 실행되는 파이프라인입니다.

S3의 장점

•

S3는 저장 용량이 무한대이고 파일 저장에 최적화되어 있다. 용량을 추가하거나 성능을 높이는 작업이 필요없다.

•

비용은 EC2와 EBS로 구축하는 것보다 훨씬 저렴

•

S3 자체가 수천 대 이상의 매우 성능이 좋은 웹 서버로 구성되어 있어서 EC2와 EBS로 구축했을 때 처럼 Auto Scaling이나 Load Balancing에 신경쓰지 않아도 된다.

[CS]47 AWS S3, EC2를 사용하는 이유와 사용 경험에 대해서 답변해주세요.

EC2 Kibana의 외부 접속 환경 설정

Kibana는 Elasticsearch의 데이터를 관제하고 각종 분석도구를 제공합니다. 시각화를 담당하는 HTML + Javascript 엔진이라 볼 수 있습니다.

하지만 EC2에서 구축한 경우 해당 서비스에 접속하기 위해서는 외부 사용자 또는 관리자가 EC2서버의 5601포트에 접근 할 수 있어야 하는데 대부분의 DB는 기본적으로 Localhost를 통한 접근만을 허용하고 있습니다. 따라서 외부 접속에 대한 커넥션을 열어주어야 합니다.

Kibana의 설정 파일은 EC2의 다음과 같은 경로에 위치합니다. vi에디터를 통해 CLI환경에서 파일을 수정합니다.

server.host 부분이 기본적으로 localhost로 되어있으며, 이것 조차 주석처리되어 default가 localhost임을 알려주고 있습니다. 해당 부분에 외부 접근을 허용 할 수 있도록 0.0.0.0을 입력해줍니다.

Kibana의 기본 포트는 5601포트입니다.

:wq 를 통해 저장하고 서버를 재시작해줍니다.

EC2의 인바운드 규칙 설정

외부 접근은 허용했지만 EC2 컴퓨터 자체의 포트 접근을 허용해야 합니다. 이는 AWS EC2의 인바운드 규칙 부분에서 대상 포트를 추가하여 접근 권한을 열 수 있습니다.

현재는 기본 설정인 22 SSH-SFPT 포트와 이전 Elasticsearch의 환경 구축을 통해 추가된 9200 Elasticsearch의 포트만 설정되어 있는것을 볼 수 있습니다.

[Spring][258] AWS EC2 Elastic Stack의 Kibana 외부 접속 환경 설정

AWS EC2의 Ubuntu환경에서 Elasticsearch를 설치를 완료한 상태에서는 EC2입장에서의 localhost:9200으로만 Elasticsearch에 접근 할 수 있습니다. 본래 EC2 자체를 생성하고 Elastic stack을 설치한 이유는 해당 인스턴스 자체를 Elasticsearch 전용 서버로 사용하기 위함이기 때문에 스프링부트 프로젝트가 실행되는 EC2와 RDS로 구축된 MySQL에서 해당 서버에 외부접속을 통해서 접근 할 수 있어야 합니다.

Elasticsearch 서비스 시작 및 포트확인

우선 Elasticsearch는 기본적으로 9200포트를 사용하며, 기본 설정에서 현재 로컬 서버(EC2)에서만 통신이 가능하도록 지정되어 있습니다.

elasticsearch의 대부분의 설정은 elasticsearch.yml라는 파일에서 관리하고 있습니다. 해당 파일을 열어 일부분 수정하여 외부 주소로 접근 할 수 있도록 하고자 합니다.

해당 파일을 열어보면 path를 제외한 모든 부분이 주석처리된 상태가 기본입니다.

[Spring][258] AWS EC2 Elasticsearch 외부 접속 환경 설정

로컬(나의 컴퓨터)의 외부접속 환경 만들어서 테스트하기

MySQL의 도서데이터는 book 테이블에 존재하고 709만 개의 대용량데이터로 이동 성공 및 실패를 떠나 AWS에 큰 비용을 초래할 수 있기 때문에 충분한 테스트를 진행하고 있는 과정입니다. 따라서 비교적 데이터양이 적은 book_category로 테스트를 우선 진행하고자 합니다.

Elasticsearch, Logstash, Kibana는 다른 컴퓨터(EC2 인스턴스)에 있으며 특히 Logstash는 내 컴퓨터의 MySQL에 접근해야 합니다. 따라서 내 컴퓨터의 MySQL의 외부 접속을 가능하도록 해야 합니다.

이는 AWS RDS에 MySQL을 구축해둔 프로젝트의 방향과 비슷하게 localhost가 아닌 특정 주소를 통해서 데이터를 받아 올 수 있는지에 대한 원격 접근을 테스트하기 위함입니다.

나의 로컬 컴퓨터의 콘솔에서 MySQL의 설정 파일을 찾아야 합니다. 우선 my.cnf 또는 my.ini라는 파일을 찾아야 합니다. 저의 경우 Homebrew를 통해 MySQL을 설치 했기 때문에 /usr/local/etc/ 라는 경로에서 찾을 수 있습니다.

해당 파일을 vi 에디터를 통해 열어보면 MySQL server 설정 정보가 나타나있습니다. 기본 설정은 localhost로 작동하도록 되어 있습니다.

[Spring][258] AWS EC2에 구현된 Elasticsearch 에 내 외부(RDS) MySQL 데이터 전달 테스트 및 EC2 스케일업

AWS EC2에 Elasticsearch 설치하기

Elasticsearch 전용 EC2 인스턴스 생성합니다. 구글링을 통해 기본적으로 프리티어에서 사용되는 t1.micro로는 문제가 발생하는 것을 확인했고, t2.medium(2core CPU / 4GB RAM)을 최초 구성하는 것이 안정적인 테스트가 될 것으로 판단되었습니다.

인스턴스에 접속

기본적으로 AWS 서비스의 키페어를 생성하고 로컬에 다운 받는 과정은 생략했습니다. 결과적으로 {keyname}.pem 이라는 확장자의 사용자 키를 로컬에 받을 수 있고 이것을 통해서 EC2를 접속할 수 있는 권한을 얻게 됩니다. FTP 접속에서도 필요한 인증 방법입니다.

AWS 콘솔에서 간단히 브라우저에서도 콘솔로 EC2 내부에 접근 할 수도 있습니다. SSH 클라이언트에서 제공해주는 CLI 명령어를 통해서 로컬 터미널을 통해 EC2로 접근했습니다.

Elasticsearch 설치를 위한 JDK 설치

[Spring][258] AWS EC2 ubuntu 환경의 Elasticsearch 구축

메인 서버 스캐일 업

•

기존 인스턴스 t1.micro에서 c5.large로 변경

•

IOPS 3000

이벤트 적용 서버 스캐일 업

[Spring][258] 서버 스케일 업: AWS EC2 인스턴스 업그레이드 및 성능 향상