NAS&Docker

# of Posts

1 more property

Gallery

샘플 모습

프론트엔드의 파일 업로드 요청 시작

백엔드 컨트롤러의 요청 흐름

(백엔드) 컨트롤러 요청 도착 → (백엔드) 파일 서비스 전달

(백엔드) 파일 서비스 → (NAS) 파일 저장 서버 컨트롤러로 요청

(NAS) 파일 저장 컨트롤러 → NAS 파일 서비스 → NAS 스토리지 내 저장 

(백엔드) 파일 정보 및 NAS 정적 서빙 경로 데이터베이스 저장

프론트엔드의 파일 데이터베이스 목록 조회 화면

강의실의 시청 화면 진입 모습

시청 화면 요청 시 NAS의 웹서버로부터 서빙되는 영상의 모습

백엔드서버→NAS API 파일 업로드→NAS 영상 서빙 뷰 페이지 반환까지의 구현 샘플

문제 인식

•

문제 상태 분석

◦

개발PC에서 SSH로 NAS에 접근(특정 계정의 세션 ex)citefred 유저로 SSH세션 생성됨)

◦

파일업로드 관련 애플리케이션 실행(npm run start) - 해당 유저의 세션에서 실행되고 있음

◦

개발PC의 SSH로 접속한 터미널을 종료 또는 만료로 종료 되면 NAS에서도 해당 세션을 종료 시키면서 파일업로드 애플리케이션도 함께 종료됨

해결 방안 탐색

•

특정 유저가 로그인하는 방식의 SSH 세션은 결국 해당 접속을 종료하면 세션이 종료되면서 관련 프로세스가 모두 종료됨

•

따라서, NAS가 계속하여 실행되는 root 유저로 접근하면 해결 할 수 있지만 root계정으로 터미널에 접근하는 것을 개방하는 것은 위험성이 있음

•

NAS 자체에서 제공하는 Docker를 통해 실행하면 root에서 실행하는것이므로 지속적인 프로세스를 유지 할 수 있음

NAS 내 파일업로드 애플리케이션의 특정 SSH에 종속된 세션 만료 문제 + Docker와 Host의 컨텍스트 인식 문제

NAS 파일 스토리지를 활용하기

•

NAS:

◦

역할: 대용량 스토리지로서 AWS S3의 스토리지 서비스 역할 대체

◦

Nginx:

▪

역할: NAS의 정적 파일을 서빙

▪

기능: AWS S3의 정적 파일 URL 제공 역할 대체

◦

NAS 내부 파일 서버 애플리케이션:

▪

역할: NestJS API로 파일 시스템 전용 서버
기능: 서비스 백엔드 서버의 파일 시스템(I/O) 기능이 독립화된 별도 서비스

▪

매개체 역할: NAS와 서비스 백엔드 서버 간의 파일 관련 매개체 역할 수행 (리버스 프록시)

•

서비스 백엔드 서버:

◦

역할: NestJS 기반의 서비스 관련 API 서버

◦

기능: 웹 애플리케이션의 기본적인 CRUD 기능 제공

◦

데이터 저장: 파일 경로를 데이터베이스에 URL Path 형태로 저장

•

서비스 프론트엔드 서버:

◦

역할: 웹 애플리케이션의 전체 뷰 페이지 렌더링 담당

◦

기능: 백엔드 API와 통신을 통한 동적 페이지 렌더링
파일 제공: 각종 파일은 백엔드로부터 전달받는 URL Path를 통해 제공

NAS 파일서버 구축과 웹서버(Nginx)를 통한 파일 서빙

1. 백엔드 NestJS+내장 Express 컨테이너화 및 실행

1.1 Dockerfile 및 .dockerignore 작성

•

MP_Project/Back-end/Dockerfile 생성

◦

확장자 없음, 아래 내용 그대로 작성

•

MP_Project/Back-end/.dockerignore 생성

◦

불필요 파일 제거 이미지 생성을 위한 제외

[Docker] Docker VM 활용 통합 배포와 CI/CD 파이프라인 구축

5000포트 접속에 DSM 접근 페이지가 나타난다.네트워크 서비스나 정보를 찾기 위해서 사용하는 네트워크 프로토콜저녁에 드디어 내가 가진 서버 NAS에서 Docker를 사용하여 내가 만든 웹 프로젝트를 성공적으로 192.168.0.1:81로 NAS에서 접속 할 수 있었다. 이제 외부 접속(DDNS)을 세팅하여 실제로 우리가 간단히 도메인 주소만 입력하여 어떤 홈페이지를 접속하는 것과 동일하게 세팅해주고자 한다. 이는 우선적으로 최소한 Port의 개념과 내 홈 네트워크가 어떻게 구성되어 있는지와 HTTP로 어떤 페이지들을 보여주어야 할 지 목적을 인지하고 있어야 한다.

브라우저를 통해 URL에 접근한다라는 것은 기본적으로 HTTP 포트로 접근 한다는 것이다.

포트에 대한 기본 이론은 위키백과를 참조해서 공부했다.

포트란, W3 상에서 정보를 주고받을 수 있는 프로토콜이다. 주로 HTML 문서를 주고받는 데(요청과 응답)에 쓰인다.

그럼 프로토콜은 무엇인가? 통신 프로토콜 또는 통신 규약은 컴퓨터나 원거리 통신 장비 사이에서 메시지를 주고 받는 양식과 규칙의 체계이다. 통신 프로토콜은 신호 체계, 인증, 그리고 오류 감지 및 수정 기능을 포함할 수 있다.

간단히 한문장으로 HTTP 이런 익숙한 단어들은 웹에서 사용되는 규칙이며, 그걸 관용적인 번호로 나타낸 것이 포트 번호이다. 왜냐하면 웹은 아주 많은 이용자, 개발자 등이 이용하므로 무언가 언어, 규칙 처럼 정해둔 것이다. 이미 역사적으로 오랜 기간 정해서 사용했기 때문에 브라우저에서 URL을 입력하면 자동적으로 80번을 찾아가게 브라우저는 프로그래밍 된 것이다. 사실 강제로 바꿀순 있지만 마치 언어와 같이 이미 모두가 사용하면서 널리 퍼졌기 때문에 본인만의 번호? 이런 홍대병은 의미가 없다. 언어 체계처럼 a는 에이라고 읽자.

포트 번호는 크게 세 종류로 구분된다.

•

0번 ~ 1023번: 잘 알려진 포트 (well-known port)

•

1024번 ~ 49151번: 등록된 포트 (registered port)

•

49152번 ~ 65535번: 동적 포트 (dynamic port)

잘 알려진 포트 번호의 대표적 예는 다음과 같다.

•

20 : FTP(data)

•

21 : FTP(제어)

•

22 : SSH

•

23 : 텔넷

[NAS]08 NAS-Docker의 Domain, Port Forwarding, DDNS 구성 08

Docker에서 ubuntu 레지스트리 이미지 검색 후 마운트, 컨테이너 생성(설치)

이후 터미널에서 생성 - Bash 자동생성

1. 패키지 업데이트

2. ipconfig 등 사용하기 위한 net-tools 설치

3. vi편집기 설치

[NAS]06 NAS 내부 Docker 설치 후 ubuntu 설치 후 초기 설정

무언가 방법을 시도하고 검색하고 난리를 쳤지만

생각보다 "NAS" 라는 키워드와 내가 원하는 키워드와의 조합의 사례 검색이 쉽지 않았다. 돌다 돌다 NAS 웹스테이션~~NAS DNS Server만들기~~ 이것저것 강좌를 찾아보고 따라했지만 생각해보니 이건 내가 하려던 것이 아니었다. 또 검색하고, 살짝만 다른 사례가 검색되면 이렇게 너무 깊게 들어가고 원래 목적을 상실하고 있었다. 하지만 지금 몇일째 끙끙대면서 이를 통해서도 이것 저것 찾아보고 시도하면서 다양한 웹과 웹 서버, Linux 기반 OS의 기본 지식의 감을 익히게 되었다. 작동 원리나 어떤것들이 계속해서 필요한지 찾아보고 도전 하게 되었다.

내가 있는 사무실 환경에서는 외부 IP를 사용해버리면 사무실 전체에 영향이 갈 수도 있어서 문제가 발생 할 수 있다. 특히 보안쪽은 이해도도 부족한데 거슬린다. 네임 서버를 NAS로 하고자 DNS Server를 설치하고 도메인의 네임 서버도 변경했지만 생각해보니 이 작업을 하는 이유?가 부족했다. 우선 NAS의 QuickConnect라는 DDNS기능을 통해서 충분히 외부 접속이 가능하다. 외국 서버를 통해서 진입하기 때문에 속도의 문제가 생길 것이라는데 현재 내가 하고싶은 실습 이후에 진행할 문제였다. DNS를 구성하면서 찾은것은 외부 IP도 (거의) 유동 할 가능성이 있어서 이용하기 조금 까다롭다는 사실도 알았다. 그래서 고정 IP에 대한 요금제가 따로 있는 것도 처음 알게 되었다. 또한 보안서버인증서 SSL또한 유료로 새로 가입하고 나만의 키를 가지고 있어야 한다. 웹 호스팅, 도메인 서비스들이 얼마나 이러한 과정들을 간편하게 서비스해주는지 왜 비용이 발생하는지 파악했다. 비용을 절감하려면 자체 서버를 구축해야 한다지만 이 모든 과정들을 개인용 서버가 해결하기 어려워 보였다. 따라서 나는 시간을 절약하기 위해 절충안이 필요하다. 도메인을 구매하는것 처럼 내가 구현해야 할 부분과 빌려야 하는 부분을 생각해야 한다.

이것저것 부딪히면서 다양한 지식들을 어깨넘어 배우고 관심을 갖게 되었다.

DNS, DDNS, 포트, 포트포워딩, 홈 네트워크 구성, Linux 환경 움직임, SSH 등 완벽하게 외울 정도로 개념을 정리하지는 못했지만 감을 익혔다. 어디서 찾아야되는지 어디에서 필요할지. 또한 역사적인 것들도 관심이 생겼다.

루트 네임 서버는 전세계적으로 13개가 있고 최상위 루트는 IANA라는것,

http80

HTTP가 문서화되기 이전부터 보통 사용하지 않는 빈 포트 번호였다.

1991년 HTTP 0.9 버전에서 처음으로 문서화되면서 기본 포트로 지정되었다.

https443

RFC 1700 이전까지는 빈 포트 번호였다.

Kipp E.B. Hickman의 요청으로 1994년 10월에 RFC 1700 문서에 443이 추가되었다.

443인 이유는 빈 칸에 순서대로 배정하다 됨.

이러한 기초적인 역사, 상식을 얻기도 했다.

내가 NAS를 사용하고자하는 목적을 다시 생각해보고 테스트 순서를 정리해 보았다.

[NAS]07_00 다시 원점으로, Docker Hub를 이용해보자

1. Docker Hub를 가입하고 Test 레포지토리를 생성

2. Docker를 통해서 이미지 Push를 진행했지만 denied: requested access to the resource is denied 에러가 발생했다.

구글링을 통해 알아본 결과

•

docker hub에 로그인이 되지 않을 경우

•

user name과 docker hub 에 로그인된 ID가 일치하지 않을 경우

해당 에러가 발생 할 수 있다.

로그인과 이메일 인증은 완료된 상황이라 user name이 어디있고 어떻게 해결 할 수 있을지 찾아봤다.

[NAS]07_01 다시 원점으로, Docker Hub를 이용해보자

나는 카페24의 웹 호스팅 서비스와 도메인 서비스를 이용하고 있었다.

이전 개인사업체 기업 홈페이지를 워드프레스 테마를 활용하여 제작?이라기보다는 편집하여 사용해왔다. 하지만 웹 호스팅, 도메인에 대한 이해도가 부족해서 가이드에 따라서 대충 사용하여 실질적으로 어떻게 움직이는지 확신이 없었다.

웹 호스팅

바로 AWS에서 카드를 등록(유료)하고 아마존의 컴퓨터를 렌털하던 과정이 웹 호스팅이라 보면 된다. 나는 이미 cafe24에서도 웹 호스팅을 유료로 결제하고 있음에도 불구하고 같은 것이라고 생각도 안하고 추가적으로 AWS를 가입, 렌털 한 것이다. 왜냐면 직접 EB를 사용하여 업로드하지 않고 cafe24에서는 간단하게 워드프레스 테마를 선택하니 "아하 그냥 홈페이지가 생성됬구나." 정도의 이해도였던 것이었다.

하지만 AWS의 Elastic Beanstalk를 사용해보면서, 또한 지금 NAS로 내가 컴퓨터를 렌털 시켜주는 주체가 되어보니 얼마나 이해도가 부족했었는지 창피할 정도로 스스로 무식한 것을 깨달았다. AWS EB배포 실습을 통해 이러한 궁금증을 가지게 해주었고, 또한 무료 범위 내에서 다른 클라우드 시스템을 사용해보았기 때문에 매우 만족스러운 경험이다. (지식이 늘었다+1) 나는 이렇게 무식했던 과거의 나를 발견하고 새로운 것을 배울 길을 발견하면 아드레날린이 샘솟는다.. 무식한 나를 떠나보내며 자축의 의미로 30분정도 휴식하면서 기쁨을 만끽했다.

아래 AWS가 설명하는 웹 호스팅에 대한 개념을 설명하는 부분에 "우리 아마존 컴퓨터를 렌탈하세요."라는 고도의 마케팅 전략적인 문장이 숨어 있는 것을 알게 되었다.

웹 호스팅이란 무엇인가요?

웹 호스팅은 웹 사이트 또는 웹 애플리케이션을 저장하고 데스크톱, 모바일 및 태블릿과 같은 다양한 디바이스에서 손쉽게 액세스하도록 하는 서비스입니다. 모든 웹 애플리케이션 또는 웹 사이트는 일반적으로 서버라는 특수한 컴퓨터에 저장해야 하는 이미지, 동영상, 텍스트, 코드와 같은 여러 파일로 구성됩니다. 웹 호스팅 서비스 공급자는 파일을 저장하기 위해 임대할 수 있는 물리적 서버를 유지 관리, 구성 및 실행합니다. 또한 웹 사이트 및 웹 애플리케이션 호스팅 서비스는 보안, 웹 사이트 백업, 웹 사이트 성능 등의 추가 지원을 제공하여 고객이 웹 사이트의 핵심 기능에 집중할 수 있도록 합니다.

웹 호스팅이란 무엇인가요? - 웹 호스팅 서비스 설명 - AWS

웹 호스팅의 정의, 기업이 웹 호스팅을 사용하는 방식과 이유, AWS에서 웹 호스팅을 사용하는 방법을 설명합니다.

https://aws.amazon.com/ko/what-is/web-hosting/

도메인

도메인도 웹 호스팅과 비슷한 원리로 봐도 된다. ip(외부 ip==통신사가 부여하는 실제 ip =/ 내부 ip는 외부 ip로부터 공유기 등을 통해 구성한 홈 네트워크 또는 그룹 네트워크 내부망)는 사람이 이해하고 기억하기 어렵기 때문에 이를 위해서 각 ip에 이름을 부여할 수 있게 했는데, 이것을 도메인이라고 한다.

http://www.yzpocket.com은 내가 매년 구매 연장되고 있는 나의 도메인이다. 이 말은 저 웹 페이지가 연결된 어느 서버 컴퓨터가 있는데 그 서버가 통신에 연결된 외부(실제)IP가 저 문자열 주소를 관리하는 업체(IANA가 관리하는 최상위 루트 네임 서버)와 연결되어 있다고 보면 된다. 이말은 곧 내 도메인은 IANA의 루트 네임 서버에 등록된 하위 네임 서버 중 하나이다.

[NAS]05 Synology NAS 자체 웹 호스팅을 위한 NAS DNS 서버 세팅 및 도메인 Name Server 설정

NAS에서는 Docker, Nginx 등을 사용할 수 있다.

우선적으로 내 로컬 PC의 Docker로부터 Nginx를 통한 웹 서버 연결을 진행하면 NAS에서도 그대로 진행할 수 있다고 생각했다. 아주 많은 오류를 부딪히면서 Docker-compose를 통한 웹 서버를 생성했다. 이전 AWS EB로 배포한 프로젝트가 얼마나 쉽게 세팅하고 이미지를 만들고 배포해 주는지 깨닫게 되기도 했지만 생각보다 겹치는 부분이 많고 한번 진행하니 감이 온다.

간단히 요약하면 우선 Docker에서

•

Flask+uwsgi를 묶어서 1개의 이미지 생성

•

Nginx를 1개의 이미지로 생성

•

그리고 root폴더인 1개의 컨테이너가 위 2개의 이미지를 동시에 실행한다고 생각하면 된다.

그리고 이미지를 만드는 조건은 각 폴더를 구성하고[root/flask/, root/nginx/] 설정 파일들을 넣어두면 root폴더에 위치한 docker-compose가 알아서 각 이미지로 빌드 및 컨테이너에 담아준다.

간단해 보이지만 진행하는데 튀어나오는 혼란스러운 용어들과 "적당한 예제는 어디있을지", "나와 같이 NAS를 활용한 사례", "NAS에서는 어떤 WAS가 적당한지", "uwsgi는 무엇인지" 등등 찾느라 하루 온종일 매달렸다. 다행히 AWS EB배포를 한번 진행했고, Docker를 이전에 Oracle을 사용하기 위해서 설치하고 이것저것 만져본 경험이 있어서 Docker 자체의 기본 설정이나 Docker 자체가 무엇인지 이해도를 조금 가지고 시작해서 그나마 하루 정도로 실행되는 모습을 본 것 같다.(지식이 늘었다+1)

https://wpgur.tistory.com/76

무한의 구글링이 진행되고 있을 무렵 내가 가장 궁금증들을 말끔히 사라지게 만든 바로 "폴더 구조"를 명확히 보여준 블로그를 찾아냈다. AWS EB 배포에서도 deploy/ 폴더가 실질적인 프로젝트 업로드&배포의 대상이었다. 나는 Nginx가 내 조그마한 프로젝트에 어떤 게 너의 메인 파일이고 Flask Framework인지 확인하고, 포트는 어떤 것을 사용할 것이며, index.html, style.css, script.js는 어딨 냐고 물어보길 원했다. 하지만 이것은 uwsgi라는 Middleware존재와 전체적인 폴더 구조, 설정 파일의 위치를 보고 모든 의문이 풀렸다.

1. 폴더 구조

2. root/Flask/ 내 코드 수정 및 코드 삽입, 생성 필요 파일(+uwsgi)

[NAS]04 Synology NAS 배포 사전 테스트 Docker-compose로 서버 구축하기(Nginx-uwsgi-flask) 배포 전 로컬 테스트