1. ELK Stack 소개

ELK Stack?

Component별 역활

하드웨어 요구사항

Component
Hardware
설  명
비   고
Elasticsearch cpu 8 Core
Elasticsearch mem

최소 : 16GB

권장 : 64GB 이상 

8GB 이하에서 사용시 작동오류 발생할 수 있음
Elasticsearch disk

SSD 사용

* ssd에서는 io스케쥴러는 deadline대신 noop으로 변경

cfq : r/r, deadline : 10초, noop : 
* ATA디스크를 사용해야 할 경우 15K rpm 디스크 사용
* NAS에 데이터 저장은 비권장

Kibana cpu 8 Core
Kibana mem 최소 1GB
권장 : 4GB 이상

Kibana disk 제약없음
Logstash cpu 2Core
Logstash mem 2GB 
Logstash disk 제약없음

* Elasticsearch에서 사용할 디스크 용량 계산 방법
   (예상 로그양 * 보관일 ) * 데이터 노드수가 기본적인 용량 계산방법

ELK Data Flow

  1. Node에 설치되는 filebeat대신에 logstash를 설치해서 ElasticSearch로 바로 전송할수 있음.

  2. filebeat / logstash의 RSS메모리 사용량 비교

    • 로그 데이터는 초당 1Mbyte씩 전송할수 있게 로그파일 생성, 총 100초동안 초단위로 수집 진행

      image.png

Elasticsearch 구성

image.png


DBMS (like, mysql)
Elasticsearch
database index
table type
row document
column field
schema mapping
index index
sql Query DSL
select GET (Rest API사용)
update PUT (Rest API사용)
insert POST (Rest API사용)
delete DELETE (Rest API사용)


Index 수명주기에 따른 노드 관리 : 6.7이후부터 공식릴리즈에 포함된 기능

Index 관리 규칙

Index 상태 확인

데이터  관리방안 (인덱스 생성시 정해야 하고, 데이터가 저장되어 있는 경우 re-index 작업해야 반영됨)


Revision #6
Created 15 July 2022 16:28:00 by artop0420
Updated 30 March 2024 00:34:41 by artop0420