Kafka

# of Posts

1 more property

Gallery

처음 보는 용어이다. 뭐하는 것이지?? DB인가? Framework인가? Apache니까 웹서버인가?

여러가지 검색을 했다.

우선 공식 홈페이지부터

Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 수천 개의 회사에서 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다.

???? 뭐라구요

그들이 특징이라고 써 놓은 핵심 기능들을 살펴본다.

빨간 하이라이트는 내가 이해하지 못한 부분이다. 그냥 다 이해하지 못했다고 보는게 맞다.

하지만 이해한 부분이 하나있다. "풍부한 문서, 온라인 교육, 가이드 튜토리얼, 비디오, 샘플 프로젝트, Stack Overflow에서 배울 수 있다."이 말은 아주 유명한 것이고, 많은 기업들도 관심가지고 있으며 사용하고 있다는 증거이다.

전에 Redis의 개요를 살펴보면서, MongoDB와의 관계를 비교하면서 이해하니 어느정도 감이 잡혔다. 그 배경에는 Oracle을 처음에 배울때가 생각난다. DB라는 것 자체를 처음 접했을때 아무것도 이해 할 수가 없었지만, 이게 뭐다라고 정확하게 지금도 정의하기 어렵고, 부정확한 개념들이 있기 때문에 가르칠 실력은 되지 않는다. 하지만 프로젝트를 진행하면서 데이터를 테이블에 또는 MongoDB에서는 그것이 컬렉션이고, 어디선 도큐먼트고 어디선 레코드고 어디선 필드인지 구분을 하기 시작했고, 더해서 어떻게 추가하고 읽고 수정하고 삭제하는지 SQL문을 작성하고, 그것을 다시 요청하고 반환된 DB값을 변수에 저장하고 json으로 변환하고 JQuery 표현으로 HTML에 담아서 사용자 클라이언트에 보여주는지 이 과정을 진행하면서 어느정도 DB의 용도와 대략적인 과정, 사용 시 필요한 코드 등을 파악하게 되었었다.

이 공부는 위와 같은 경험이 필요하다 생각한다. 처음이라 그렇지 어떻게든 하나씩 내가 쉽게 이해해야 한다. 그럼 우선 내가 나를 이해시켜야 되고, 이후엔 내가 누군가에게 알려 줄 수 있을 정도로 쉽게 알려 줄 수도 있어야 한다. 공식문서는 불친절하다. 어쩔수 없다 정확하고 전문적인 정보니까. 겁내지말자 다 알게 되있다.

공식 홈페이지의 Kafka 핵심 포인트이다.

•

핵심 역량

◦

높은 처리량

▪

대기 시간이 2ms로 짧은 시스템 클러스터를 사용하여 네트워크 제한 처리량으로 메시지를 전달합니다.

◦

확장 가능

▪

프로덕션 클러스터를 최대 1,000개의 브로커, 하루에 수조 개의 메시지, 페타바이트의 데이터, 수십만 개의 파티션으로 확장합니다. 저장 및 처리를 탄력적으로 확장 및 축소합니다.

◦

영구 저장

▪

분산되고 내구성이 있으며 내결함성이 있는 클러스터에 데이터 스트림을 안전하게 저장합니다.

◦

고가용성

▪

가용 영역에서 클러스터를 효율적으로 늘리거나 지리적 지역에 걸쳐 별도의 클러스터를 연결합니다.

•

생태계

◦

내장 스트림 처리

▪

이벤트 시간 및 정확히 1회 처리를 사용하여 조인, 집계, 필터, 변환 등으로 이벤트 스트림을 처리합니다.

◦

거의 모든 것에 연결

▪

Kafka의 즉시 사용 가능한 Connect 인터페이스는 Postgres, JMS, Elasticsearch, AWS S3 등을 포함하여 수백 개의 이벤트 소스 및 이벤트 싱크와 통합됩니다.

◦

클라이언트 라이브러리

▪

다양한 프로그래밍 언어로 이벤트 스트림을 읽고 쓰고 처리합니다.

◦

대형 생태계 오픈 소스 도구

▪

오픈 소스 도구의 대규모 에코시스템: 다양한 커뮤니티 기반 도구를 활용합니다.

[Kafka] Apache Kafka가 뭐야?