Elasticsearch

# of Posts

1 more property

Gallery

Elasticsearch는 또한 내부적으로 왜 안정적이며, 어떤 알고리즘, 자료구조 등등이기 때문에 빠른것이 보장되는지에 대한 이해도 추가 필요
Elasticsearch가 내부적으로 안정적이며 빠른 이유는 여러 가지가 있습니다.
1.먼저, Elasticsearch는 Apache Lucene을 기반으로 만들어졌습니다. Lucene은 검색 엔진에 사용되는 강력한 오픈 소스 라이브러리로, 텍스트 인덱싱과 검색에 특화돼 있습니다.
2.Elasticsearch는 대량의 데이터를 효율적으로 처리하기 위해 여러 가지 알고리즘과 자료구조를 사용합니다. 그 중 하나는 역색인화라는 개념입니다. 역색인화는는 단어가 어느 문서에 나타나는지를 기록해 두어 검색 속도를 향상시키는 데 도움이 됩니다.
3.Elasticsearch는 분산 시스템으로 설계돼 있어서 여러 노드에 데이터를 분산 저장하고 병렬 처리를 가능하게 합니다. 이렇게 함으로써 데이터 검색 및 분석 작업을 효율적으로 처리할 수 있습니다.
4.Elasticsearch는 실시간 검색을 지원하고 있어서 데이터가 업데이트되더라도 거의 실시간으로 검색 결과를 반영할 수 있습니다. 이는 대규모의 데이터셋에서도 높은 성능을 제공하는 데 기여하고 있습니다.
엘라스틱 서치의 검색이 빠른 이유?

[Spring][258] Elasticsearch의 Lucene 인덱싱

JPQL 쿼리로 직접 검색 방식 정하기
@Repository
public interface ElasticBookSearchRepository extends ElasticsearchRepository<ElasticsearchBook, Long>, ElasticCustomBookSearchRepository {
    // 이건 개발자가 직접 연산부를 작성하는 방식임
    // 제어권이 개발자에 있음
    //List<ElasticsearchBook> findByBookNameContains(String keyword);

    // Elasticsearch API의 쿼리문을 작성해서 변경해보는 방법
    // 이건 제어권이 Spring Data Elasticsearch 에 있음
    // 쿼리를 SPE가 분석함

    //QueryStringQuery - 엘라스틱서치 내장 기본 쿼리
    @Query("{\"query_string\": {\"query\": \"?0\"}}")
    List<ElasticsearchBook> findByQueryStringQuery(String queryString, Pageable pageable);

    //조건검색(bool)
    //@Query("{\"bool\": {\"must\": {\"query_string\": {\"query\": \"?0\"}}}}")
    //List<ElasticsearchBook> findByQueryStringQuery(String queryString, Pageable pageable);
        /*
        must: [필드]	AND [컬럼] = [조건]
        must_not: [필드]	AND [컬럼] != [조건]
        should: [필드]	OR [컬럼] = [조건]
        filter: [필드]	[컬럼] IN ( [조건] )
        */
}
아래 쿼리를 @Query 어노테이션을 통해서 작성하여 검색의 방식을 변경 할 수 있다. 기존 직접 내부 로직을 구성하는 방식과 다르게, 마치 JPQL을 사용하는것 처럼 쿼리문을 작성 할 수 있다. 그럼 마찬가지로 쿼리문이 컴파일 단계에서 검사되지 않는 단점이 있을 것으로 보여진다.
QueryDSL로 구현해보기
build.gradle 의존성 추가
dependencies {
    implementation 'com.querydsl:querydsl-apt:4.x.x'
    implementation 'com.querydsl:querydsl-elasticsearch:4.x.x'
}
QueryDSL 플러그인 및 태스크 설정
plugins {
    id "com.ewerk.gradle.plugins.querydsl" version "1.0.10"
}

querydsl {
    jpa = false
    querydslSourcesDir = 'src/main/generated'
}

sourceSets {
    main {
        java {
            srcDir 'src/main/generated'
        }
    }
}

configurations {
    querydsl.extendsFrom compileClasspath
}

compileQuerydsl {
    options.annotationProcessorPath = configurations.querydsl
}

[Spring][258] Elasticsearch APIs

EC2 Kibana의 외부 접속 환경 설정
Kibana는 Elasticsearch의 데이터를 관제하고 각종 분석도구를 제공합니다. 시각화를 담당하는 HTML + Javascript 엔진이라 볼 수 있습니다.
하지만 EC2에서 구축한 경우 해당 서비스에 접속하기 위해서는 외부 사용자 또는 관리자가 EC2서버의 5601포트에 접근 할 수 있어야 하는데 대부분의 DB는 기본적으로 Localhost를 통한 접근만을 허용하고 있습니다. 따라서 외부 접속에 대한 커넥션을 열어주어야 합니다.
Kibana의 설정 파일은 EC2의 다음과 같은 경로에 위치합니다. vi에디터를 통해 CLI환경에서 파일을 수정합니다.
sudo vi /etc/kibana/kibana.yml
server.host 부분이 기본적으로 localhost로 되어있으며, 이것 조차 주석처리되어 default가 localhost임을 알려주고 있습니다. 해당 부분에 외부 접근을 허용 할 수 있도록 0.0.0.0을 입력해줍니다.
Kibana의 기본 포트는 5601포트입니다.
server.host: "0.0.0.0"

[Spring][258] AWS EC2 Elastic Stack의 Kibana 외부 접속 환경 설정

[Spring][258] AWS EC2 Elasticsearch 외부 접속 환경 설정

[Spring][258] AWS EC2에 구현된 Elasticsearch 에 내 외부(RDS) MySQL 데이터 전달 테스트 및 EC2 스케일업

[Spring][258] AWS EC2 ubuntu 환경의 Elasticsearch 구축

MySQL DB의 데이터와 Elasticsearch 데이터는 동기화로 일관성을 유지해야 한다.
기존 MVP 기능으로 도서의 정보를 변경하는 부분들이 있습니다. 특히 Elasticsearch와 연결된 도서 목록에서 사용자는 도서 대출, 도서 대출 예약을 진행 할 수 있습니다.
사용자가 도서 대출을 진행하면 도서의 대출 가능 여부를 알 수 있는 Status 컬럼은 POSSIBLE에서 IMPOSSIBLE로 변경됩니다. 해당 기능은 HTML의 Ajax HTTP 요청을 통해 MySQL DB에 있는 대상 book_id의 도서의 상태를 즉시 변경하지만, Elasticsearch는 MySQL의 DB를 Logstash로 가져와서 인덱싱하기 때문에 이 과정에서 새로 목록을 불러와야 할 필요성이 있습니다.
Logstash의 데이터 변경 추적 설정 필요성
기존 Logstash를 통해 MySQL의 DB를 전달하여 색인하는 부분입니다. 709만개의 도서 데이터를 한번에 읽어오는 과정에서 JVM의 메모리 부족 현상이 발생하여 200만개씩 메모리에 로드하고 Elasticsearch로 전달하도록 구성되어있습니다.
# sample.conf

input {
  jdbc {
    jdbc_connection_string => "jdbc:mysql://localhost:3306/team258"
    jdbc_user => "inyongkim"
    jdbc_password => "1234"
    jdbc_driver_library => "/Users/inyongkim/.gradle/caches/modules-2/files-2.1/mysql/mysql-connector-java/8.0.25/f8b9123acd13058c941aff25f308c9ed8000bb73/mysql-connector-java-8.0.25.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_paging_enabled => true
    jdbc_page_size => 2000000 # 페이징 크기를 조정하세요.
    statement => "SELECT * FROM book"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "book"
    document_id => "%{book_id}"
  }
}
하지만 이 부분에서 설정의 문제점이 있습니다.

[Spring][258] MySQL→Logstash→Elasticsearch 의 동기화 처리에서 발생하는 문제

[Spring][258] 서버 스케일 업: AWS EC2 인스턴스 업그레이드 및 성능 향상