AWS

AWS RDS 사용이유

어플리케이션 코드를 작성하는것 만큼 데이터베이스를 다루는 일은 중요함

•

DBA라는 직군이 있지만 백엔드 개발자는 데이터베이스를 다루는 경우가 많음, 가장 가까움

•

데이터베이스를 구축하고 EC2 서버와 연동하고자함

MySQL? MariaDB?

교재에서는 MariaDB로 진행하고있다. Oracle과 MySQL을 다뤄온 입장에서 조금 생소하지만 MariaDB 선택 이유에 대해 서술되어 있다.

•

MySQL은 단순 쿼리 처리 성능이 뛰어나고, 오래 사용되온 만큼 성능, 신뢰도가 높은 것이 장점이다.

•

MySQL의 창시자인 몬티 와이드니어가 만든 프로젝트가 MariaDB이다

•

MySQL을 기반으로 만들어 졌기 때문에 전반적인 사용법이 유사하다.

•

동일 하드웨어 사양으로 MySQL보다 향상된 성능이 있다.

•

커뮤니티가 활성화 되어 있다.

[Spring-LDW] AWS RDS 데이터베이스 환경 만들기

EC2 실행하기

EC2 생성이 완료되면 자동으로 해당 서버는 실행되게 된다. 인스턴스 상태가 중지인 경우 시작을 통해 컴퓨터를 부팅 시켜 사용 가능한 상태로 만든다.

EC2 서버에 접속하기

우선 SSH(시큐어쉘)로 접속하기 위해서는 EC2 생성에서 설정했던 키가 필요하다. .pem 확장자로 로컬에 다운로드 받았던 키인데 마스터키와 같은 역할을 하기 때문에 노출되거나 삭제하면 안된다.(재발급필요)

EC2는 IP주소 또는 접속 주소가 있는데 간단하게 아래와 같이 인스턴스 정보 세부 사항에서 ‘연결’ 이라는 부분에서 터미널 명령어를 찾을 수도 있다.

EC2 서버에 접속하는 과정의 오류

새로운 인스턴스를 생성하고 연결하거나 할 때 아래와 같이 인증에 대한 문제가 발생하곤 한다.

발생된 SSH 접속 오류는 IP는 동일한데, 목적지 서버 장비가 바뀌었다거나, Vmware 와 같은 가상 컴퓨터의 IP는 동일하지만, 실질적인(물리적) 서버가 바뀌었을 경우 나오는 일종의 경고성 알림이다.

서버는 새로 설치되었기 때문에 인증정보가 남아있지 않아 위와 같은 에러가 뜬다고 한다. 이런 경우 아래 명령어로 초기화 시켜주면 된다.

[Spring-LDW] AWS EC2 접속하기, 초기 설정하기 + SSH 접속 시 오류 해결(WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!)

EC2란?

Amazon Elastic Compute Cloud(Amazon EC2)는 Amazon Web Services(AWS) 클라우드에서 온디맨드 확장 가능 컴퓨팅 용량을 제공합니다. Amazon EC2를 사용하면 하드웨어 비용이 절감되므로 애플리케이션을 더욱 빠르게 개발하고 배포할 수 있습니다. Amazon EC2를 사용하여 원하는 수의 가상 서버를 구축하고 보안 및 네트워킹을 구성하며 스토리지를 관리할 수 있습니다. 용량을 추가(스케일 업)하여 월간 또는 연간 프로세스 또는 웹 사이트 트래픽 급증 등 컴퓨팅 사용량이 많은 작업을 처리할 수 있습니다. 사용량이 감소하면 용량을 다시 축소(스케일 다운)할 수 있습니다.

Amazon EC2란 무엇인가요? - Amazon Elastic Compute Cloud

Amazon EC2를 사용하여 AWS 클라우드에서 가상 서버를 구성, 시작 및 관리합니다.

https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/concepts.html

•

EC2는 유동적으로 사양을 늘릴 수 있는 클라우드 컴퓨팅 플랫폼

•

사용자가 가상 컴퓨터를 임대 받아 그 위에 자신만의 컴퓨터 애플리케이션들을 실행할 수 있게 한다.

•

"일래스틱"(elastic, 탄력적인)이라는 용어를 통해 용량, 시간에 대해 탄력적으로 사용 할 수 있음을 볼 수 있다.

인스턴스 생성하기

1. 기존 인스턴스 삭제

우선 기존 여러 프로젝트를 진행해오면서 생성되었던 인스턴스를 제거하여 처음부터 다시 따라하도록 준비하였다. 물론 앞서 설명한것 처럼 탄력적으로 이미 존재하는 인스턴스의 사양을 변경 할 수도 있으며, 현재 서버를 중지해둔 것 처럼 사용 시간에 대한 것도 개발자가 스스로 조절 할 수 있다.

이미 존재하는 인스턴스의 유형(사양) 변경 화면, 하지만 실습을 위해서 인스턴스를 삭제하고 생성하도록 진행하려 한다.

인스턴스 종료와 중지는 다르다. 중지는 말그대로 일시정지처럼 컴퓨터를 끄는 역할이라고 하면, 인스턴스 종료의 경우 해당 PC를 삭제하는 것과 같다.

[Spring-LDW] AWS EC2 인스턴스 생성하기

AWS 서비스 가입

이미 과거 AWS 서비스 가입을 진행했지만 가입 과정을 다시 한번 정리하고자 한다.

배포란? Publishing?

•

웹 서비스를 다른 사람이 사용할 수 있게 내놓은 것을 배포라고 함

•

웹을 개발한 환경에서 계속 웹 서비스를 실행시켜두려면 내 컴퓨터를 켜둬야 함

•

내 컴퓨터를 언제까지고 켜 둘수 없으니, 컴퓨터를 하나 빌려서 계속 켜두자! → 우리가 알고 있는 서버

AWS 서비스 시작하기

1. AWS 회원 가입

우선 가장 첫 단계인 AWS 가입이 진행되야 한다.

아래 링크를 통해 해외 결제가 가능한 카드를 입력하고 계정을 생성 할 수 있다.

AWS Console - Signup

https://portal.aws.amazon.com/billing/signup#/start

2. AWS 보안자격증명(IAM) 설정

[Spring-LDW] AWS 가입과 키페어 생성까지 초기 계정 세팅

AWS S3, EC2를 사용하는 이유와 사용 경험에 대해서 답변해주세요.

AWS S3는 객체 스토리지 서비스로, 파일이나 데이터를 안전하게 저장하고 검색할 수 있도록 해주는 서비스입니다. EC2는 클라우드 상에서 가상 서버 컴퓨터를 제공해주는 서비스입니다. 간단히 가상의 컴퓨터를 대여한다고 생각 할 수 있습니다.

S3를 사용하면 데이터를 안전하게 저장하고 필요한 만큼 확장할 수 있습니다. EC2를 사용하면 가상 서버를 간편하게 구축하고 관리할 수 있습니다. 이렇게 서비스를 사용하면 물리적 서버를 관리할 필요가 없어지고, 필요에 따라 확장이나 축소도 쉽게 할 수 있어 효율적인 인프라 관리가 가능해집니다.

특히 AWS 인프라 내에서는 서비스간의 간편한 연결, 호환 등을 관리해줍니다. 특히 각 서버간의 연결을 위해서는 설정 파일을 직접 이해하고 정확히 연결되어야 합니다. 이러한 파일들은 모두 다른 언어로 작성되어 있을 가능성이 있고 개발자 입장에서 이해도가 부족하여 실수 할 가능성이 있는데 AWS 인프라 내에서는 이러한 부분에서 자동화 또는 서포트 해주는 역할을 내부적으로 다양하게 지원하고 있습니다.

S3와 EC2는 프로젝트 배포에서 자동화 배포인 CI/CD파이프라인을 구축 할 때 경험해보았습니다. GitHub Actions를 사용하여 AWS S3에 빌드된 애플리케이션 코드를 업로드하고, AWS CodeDeploy를 통해 EC2 인스턴스에 배포하는 파이프라인입니다.

면접답변

S3와 EC2 모두 클라우드 컴퓨터를 대여하는 서비스라고 볼 수 있고 AWS S3와 EC2는 모두 아마존 웹 서비스 인프라 내의 서비스입니다. 여기서 AWS 인프라 내 서비스를 통해 간편한 연결, 호환 등을 AWS가 관리, 쉽게 설정 할 수 있도록 도와준다는 점에서 S3와 EC2를 사용하는 큰 이유라 생각합니다.

S3와 EC2는 프로젝트 배포에서 과정에서 경험해 보았습니다. GitHub Actions를 사용하여 S3에 빌드된 소스가 업로드되고, CodeDeploy 배포서비스를 통해 EC2 인스턴스 컴퓨터에서 서비스가 실행되는 파이프라인입니다.

S3의 장점

•

S3는 저장 용량이 무한대이고 파일 저장에 최적화되어 있다. 용량을 추가하거나 성능을 높이는 작업이 필요없다.

•

비용은 EC2와 EBS로 구축하는 것보다 훨씬 저렴

•

S3 자체가 수천 대 이상의 매우 성능이 좋은 웹 서버로 구성되어 있어서 EC2와 EBS로 구축했을 때 처럼 Auto Scaling이나 Load Balancing에 신경쓰지 않아도 된다.

[CS]47 AWS S3, EC2를 사용하는 이유와 사용 경험에 대해서 답변해주세요.

EC2 Kibana의 외부 접속 환경 설정

Kibana는 Elasticsearch의 데이터를 관제하고 각종 분석도구를 제공합니다. 시각화를 담당하는 HTML + Javascript 엔진이라 볼 수 있습니다.

하지만 EC2에서 구축한 경우 해당 서비스에 접속하기 위해서는 외부 사용자 또는 관리자가 EC2서버의 5601포트에 접근 할 수 있어야 하는데 대부분의 DB는 기본적으로 Localhost를 통한 접근만을 허용하고 있습니다. 따라서 외부 접속에 대한 커넥션을 열어주어야 합니다.

Kibana의 설정 파일은 EC2의 다음과 같은 경로에 위치합니다. vi에디터를 통해 CLI환경에서 파일을 수정합니다.

server.host 부분이 기본적으로 localhost로 되어있으며, 이것 조차 주석처리되어 default가 localhost임을 알려주고 있습니다. 해당 부분에 외부 접근을 허용 할 수 있도록 0.0.0.0을 입력해줍니다.

Kibana의 기본 포트는 5601포트입니다.

:wq 를 통해 저장하고 서버를 재시작해줍니다.

EC2의 인바운드 규칙 설정

외부 접근은 허용했지만 EC2 컴퓨터 자체의 포트 접근을 허용해야 합니다. 이는 AWS EC2의 인바운드 규칙 부분에서 대상 포트를 추가하여 접근 권한을 열 수 있습니다.

현재는 기본 설정인 22 SSH-SFPT 포트와 이전 Elasticsearch의 환경 구축을 통해 추가된 9200 Elasticsearch의 포트만 설정되어 있는것을 볼 수 있습니다.

[Spring][258] AWS EC2 Elastic Stack의 Kibana 외부 접속 환경 설정

AWS EC2의 Ubuntu환경에서 Elasticsearch를 설치를 완료한 상태에서는 EC2입장에서의 localhost:9200으로만 Elasticsearch에 접근 할 수 있습니다. 본래 EC2 자체를 생성하고 Elastic stack을 설치한 이유는 해당 인스턴스 자체를 Elasticsearch 전용 서버로 사용하기 위함이기 때문에 스프링부트 프로젝트가 실행되는 EC2와 RDS로 구축된 MySQL에서 해당 서버에 외부접속을 통해서 접근 할 수 있어야 합니다.

Elasticsearch 서비스 시작 및 포트확인

우선 Elasticsearch는 기본적으로 9200포트를 사용하며, 기본 설정에서 현재 로컬 서버(EC2)에서만 통신이 가능하도록 지정되어 있습니다.

elasticsearch의 대부분의 설정은 elasticsearch.yml라는 파일에서 관리하고 있습니다. 해당 파일을 열어 일부분 수정하여 외부 주소로 접근 할 수 있도록 하고자 합니다.

해당 파일을 열어보면 path를 제외한 모든 부분이 주석처리된 상태가 기본입니다.

•

기존 network.host 부분은 다음과 같이 # network.host: 192.168.0.1  주석처리되어있을 것이며, 이곳에 network.host: 0.0.0.0 을 작성합니다.

•

cluster.initial_master_nodes 부분도 주석처리 되어있을 것이며, 이곳에 주석을 해제하여 활성화 시켜줍니다.

vi 에디터를 :wq로 저장하고 나와서 Elasticsearch 서비스를 재시작해줍니다

재시작 후 netstat로 확인해 보도록 하겠습니다.

[Spring][258] AWS EC2 Elasticsearch 외부 접속 환경 설정

로컬(나의 컴퓨터)의 외부접속 환경 만들어서 테스트하기

MySQL의 도서데이터는 book 테이블에 존재하고 709만 개의 대용량데이터로 이동 성공 및 실패를 떠나 AWS에 큰 비용을 초래할 수 있기 때문에 충분한 테스트를 진행하고 있는 과정입니다. 따라서 비교적 데이터양이 적은 book_category로 테스트를 우선 진행하고자 합니다.

Elasticsearch, Logstash, Kibana는 다른 컴퓨터(EC2 인스턴스)에 있으며 특히 Logstash는 내 컴퓨터의 MySQL에 접근해야 합니다. 따라서 내 컴퓨터의 MySQL의 외부 접속을 가능하도록 해야 합니다.

이는 AWS RDS에 MySQL을 구축해둔 프로젝트의 방향과 비슷하게 localhost가 아닌 특정 주소를 통해서 데이터를 받아 올 수 있는지에 대한 원격 접근을 테스트하기 위함입니다.

나의 로컬 컴퓨터의 콘솔에서 MySQL의 설정 파일을 찾아야 합니다. 우선 my.cnf 또는 my.ini라는 파일을 찾아야 합니다. 저의 경우 Homebrew를 통해 MySQL을 설치 했기 때문에 /usr/local/etc/ 라는 경로에서 찾을 수 있습니다.

해당 파일을 vi 에디터를 통해 열어보면 MySQL server 설정 정보가 나타나있습니다. 기본 설정은 localhost로 작동하도록 되어 있습니다.

bind-address = 127.0.0.1 부분을 bind-address = 0.0.0.0으로 변경해줍니다.

이제 mysql 서버를 재시작해줍니다.

현재 계정들은 localhost에 대한 접근 권한을 가진 유저들밖에 없습니다.

root으로 MySQL에 접속해서 %로 표기된 모든 호스트로부터 접근 권한을 가진 유저를 만들어봅니다.

[Spring][258] AWS EC2에 구현된 Elasticsearch 에 내 외부(RDS) MySQL 데이터 전달 테스트 및 EC2 스케일업

AWS EC2에 Elasticsearch 설치하기

Elasticsearch 전용 EC2 인스턴스 생성합니다. 구글링을 통해 기본적으로 프리티어에서 사용되는 t1.micro로는 문제가 발생하는 것을 확인했고, t2.medium(2core CPU / 4GB RAM)을 최초 구성하는 것이 안정적인 테스트가 될 것으로 판단되었습니다.

인스턴스에 접속

기본적으로 AWS 서비스의 키페어를 생성하고 로컬에 다운 받는 과정은 생략했습니다. 결과적으로 {keyname}.pem 이라는 확장자의 사용자 키를 로컬에 받을 수 있고 이것을 통해서 EC2를 접속할 수 있는 권한을 얻게 됩니다. FTP 접속에서도 필요한 인증 방법입니다.

AWS 콘솔에서 간단히 브라우저에서도 콘솔로 EC2 내부에 접근 할 수도 있습니다. SSH 클라이언트에서 제공해주는 CLI 명령어를 통해서 로컬 터미널을 통해 EC2로 접근했습니다.

Elasticsearch 설치를 위한 JDK 설치

EC2 인스턴스를 초기 생성했으니 패키지매니저를 업데이트 합니다.

Elasticsearch에는 JDK가 필요합니다. 우선 Java부터 설치합니다. 프로젝트에서는 JDK17버전을 사용하고 있으므로 openjdk-17 버전을 설치해줍니다.

정상적으로 JDK가 설치 완료되면 버전을 확인해서 설치 상태를 확인합니다.

[Spring][258] AWS EC2 ubuntu 환경의 Elasticsearch 구축

메인 서버 스캐일 업

•

기존 인스턴스 t1.micro에서 c5.large로 변경

•

IOPS 3000

이벤트 적용 서버 스캐일 업

•

기존 인스턴스 t1.micro에서 c5.xlarge로 변경

•

IOPS 3000

Redis 서버 스캐일 업

[Spring][258] 서버 스케일 업: AWS EC2 인스턴스 업그레이드 및 성능 향상