# 1. ELK Stack 소개

### ELK Stack?

- 각 서버에 저장된 로그성 데이터를 한곳에 모아서 시각화 하는 Opensource
- Elasticsearch / Logstash / Kibana를 줄여 ELK라고 명칭하고 있었고, fileBeat가 추가되면서 ELK Stack으로 명칭.

### Component별 역활

- **filebeat** : 시스템에 기록된 로그데이터를 logstash로 보내기 위한 역활  
    (logstash보다 경량화되었고, 로그데이터가 json으로 파싱되어 있는 경우 logstash를 거치지 않고 elasticsearch바로 전송할 수 있다 함)
- **Logstash** : filebeat에서 받은 로그, 시스템에 기록된 로그데이터를 Elasticsearch로 보내는 역활
- **Elasticsearch** : logstash에서 전달받은 데이터를 DB화 수행
- **Kibana** : Elasticsearch에서 정제된 데이터를 시각화 수행

### 하드웨어 요구사항

<table class="relative-table confluenceTable tablesorter tablesorter-default stickyTableHeaders" id="bkmrk-component-hardware-%EC%84%A4" role="grid"><colgroup><col></col><col></col><col></col><col></col></colgroup><thead class="tableFloatingHeaderOriginal"><tr class="tablesorter-headerRow" role="row"><th aria-disabled="false" aria-label="Component: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="0" role="columnheader" scope="col" tabindex="0"><div class="tablesorter-header-inner">**Component**</div></th><th aria-disabled="false" aria-label="Hardware: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="1" role="columnheader" scope="col" tabindex="0"><div class="tablesorter-header-inner">**Hardware**</div></th><th aria-disabled="false" aria-label="설  명: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="2" role="columnheader" scope="col" tabindex="0"><div class="tablesorter-header-inner">**설 명**</div></th><th aria-disabled="false" aria-label="비   고: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="3" role="columnheader" scope="col" tabindex="0"><div class="tablesorter-header-inner">**비 고**</div></th></tr></thead><tbody aria-live="polite" aria-relevant="all"><tr role="row"><td class="confluenceTd">Elasticsearch</td><td class="confluenceTd" colspan="1">cpu</td><td class="confluenceTd">8 Core</td><td class="confluenceTd" colspan="1">  
</td></tr><tr role="row"><td class="confluenceTd">Elasticsearch</td><td class="confluenceTd" colspan="1">mem</td><td class="confluenceTd">최소 : 16GB

권장 : 64GB 이상

</td><td class="confluenceTd" colspan="1">8GB 이하에서 사용시 작동오류 발생할 수 있음</td></tr><tr role="row"><td class="confluenceTd">Elasticsearch</td><td class="confluenceTd" colspan="1">disk</td><td class="confluenceTd">SSD 사용

</td><td class="confluenceTd" colspan="1">\* ssd에서는 io스케쥴러는 deadline대신 noop으로 변경

cfq : r/r, deadline : 10초, noop :   
\* ATA디스크를 사용해야 할 경우 15K rpm 디스크 사용  
\* NAS에 데이터 저장은 비권장

</td></tr><tr role="row"><td class="confluenceTd" colspan="1">Kibana</td><td class="confluenceTd" colspan="1">cpu</td><td class="confluenceTd" colspan="1">8 Core</td><td class="confluenceTd" colspan="1">  
</td></tr><tr role="row"><td class="confluenceTd" colspan="1">Kibana</td><td class="confluenceTd" colspan="1">mem</td><td class="confluenceTd" colspan="1">최소 1GB  
권장 : 4GB 이상</td><td class="confluenceTd" colspan="1">  
</td></tr><tr role="row"><td class="confluenceTd" colspan="1">Kibana</td><td class="confluenceTd" colspan="1">disk</td><td class="confluenceTd" colspan="1">제약없음</td><td class="confluenceTd" colspan="1">  
</td></tr><tr role="row"><td class="confluenceTd" colspan="1">Logstash</td><td class="confluenceTd" colspan="1">cpu</td><td class="confluenceTd" colspan="1">2Core</td><td class="confluenceTd" colspan="1">  
</td></tr><tr role="row"><td class="confluenceTd" colspan="1">Logstash</td><td class="confluenceTd" colspan="1">mem</td><td class="confluenceTd" colspan="1">2GB </td><td class="confluenceTd" colspan="1">  
</td></tr><tr role="row"><td class="confluenceTd" colspan="1">Logstash</td><td class="confluenceTd" colspan="1">disk</td><td class="confluenceTd" colspan="1">제약없음</td><td class="confluenceTd" colspan="1">  
</td></tr></tbody></table>

\* Elasticsearch에서 사용할 디스크 용량 계산 방법  
 (예상 로그양 \* 보관일 ) \* 데이터 노드수가 기본적인 용량 계산방법

### ELK Data Flow

1. Node에 설치되는 filebeat대신에 logstash를 설치해서 ElasticSearch로 바로 전송할수 있음.
2. filebeat / logstash의 RSS메모리 사용량 비교
    
    
    - 로그 데이터는 초당 1Mbyte씩 전송할수 있게 로그파일 생성, 총 100초동안 초단위로 수집 진행
        
        [![image.png](http://igoni.kr/uploads/images/gallery/2024-03/scaled-1680-/Akgimage.png)](http://igoni.kr/uploads/images/gallery/2024-03/Akgimage.png)

### Elasticsearch 구성

- Elasticsearch 노드 종류 
    - **master node** : Elasticsearch의 인덱스 메타데이터, 샤드, 클러스터 상태 정보를 관리하는 역활.. 서버 수량이 많을때 모든 노드가 master역활을 수행할 경우  
        성능상 부담이 되기 때문에 통상적으로 10대이상 구성될 경우 master/data 노드 분리해서 운영하는것이 best practice
    - **data node** : 실제 데이터를 저장하는 노드
- Cluster기반의 통신정책 
    - 클라이언트와 Elasticsearch와의 통신을 위한 포트 : tcp/9200
    - Elasticsearch노드간의 통신을 위한 포트 : tcp/9300
- 용어 확인 / 비교

[![image.png](http://igoni.kr/uploads/images/gallery/2024-03/scaled-1680-/m31image.png)](http://igoni.kr/uploads/images/gallery/2024-03/m31image.png)

<map id="bkmrk--1" name="gliffy-map-354846205-8201"></map>

<div class="diagram-content-container gliffy-image-border" id="bkmrk-dbms-%28like%2C-mysql%29-e"><div class="gliffy-html5-loading-spinner-container"><table border="1" class="confluenceTable tablesorter tablesorter-default stickyTableHeaders" role="grid" style="width: 100%; height: 289px; border-collapse: collapse;"><colgroup><col style="width: 46.2012%;"></col><col style="width: 53.6322%;"></col></colgroup><thead class="tableFloatingHeaderOriginal"><tr class="tablesorter-headerRow" role="row" style="height: 30.0391px;"><th aria-disabled="false" aria-label="DBMS (like, mysql): No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" data-column="0" role="columnheader" scope="col" style="height: 30.0391px;" tabindex="0"><div class="tablesorter-header-inner">DBMS (like, mysql)</div></th><th aria-disabled="false" aria-label="Elasticsearch: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" data-column="1" role="columnheader" scope="col" style="height: 30.0391px;" tabindex="0"><div class="tablesorter-header-inner">Elasticsearch</div></th></tr></thead><tbody aria-live="polite" aria-relevant="all"><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" style="height: 30.0391px;">database</td><td class="confluenceTd" style="height: 30.0391px;">index</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" style="height: 30.0391px;">table</td><td class="confluenceTd" style="height: 30.0391px;">type</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" style="height: 30.0391px;">row</td><td class="confluenceTd" style="height: 30.0391px;">document</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" style="height: 30.0391px;">column</td><td class="confluenceTd" style="height: 30.0391px;">field</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">schema</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">mapping</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">index</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">index</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">sql</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">Query DSL</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">select</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">GET (Rest API사용)</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">update</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">PUT (Rest API사용)</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">insert</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">POST (Rest API사용)</td></tr><tr role="row" style="height: 30.0391px;"><td class="confluenceTd" colspan="1" style="height: 30.0391px;">delete</td><td class="confluenceTd" colspan="1" style="height: 30.0391px;">DELETE (Rest API사용)</td></tr></tbody></table>

</div></div>#### Index 수명주기에 따른 노드 관리 : 6.7이후부터 공식릴리즈에 포함된 기능

- hot : 가장많이 검색되는 인덱스
- warm : 검색되긴하지만, 자주 검색되지 않은 인덱스
- cold : 자주 검색되지 않으나, 만약을 위해 유지하는 인덱스

#### Index 관리 규칙

- Create : 인덱스 생성
- close : 인덱스는 유지하되, write는 불가
- delete : 인덱스 삭제

#### Index 상태 확인

- green : 샤드, 리플리케이션 모두 정상인 상태
- yellow : 일부 인덱스가 비정상적으로 구동되고 있는 상태
- red : 모든 인덱스의 샤드가 비정상적으로 구동되고 있는 상태, 인덱스 데이터의 read/write가 불가능

#### 데이터 관리방안 (인덱스 생성시 정해야 하고, 데이터가 저장되어 있는 경우 re-index 작업해야 반영됨)

- shard : 
    - Document를 노드단위로 분산저장하는 방식 (7.x부터는 Default가 1로 설정, 6.x 이하는 Default가 5)
    - 데이터를 분산 저장하는 것뿐만 아니라 분산 검색도 수행함. shard의 갯수가 증가할수록 쿼리 속도도 증가(분산 쿼리)
- replica : 
    - Primary shard(원본데이터)갯수만큼 복제  
        shard(2개), replica(1개)로 구성한 경우 2x1 = 2개의 replica가 생성, replica의 데이터는 primary shard가 없는 노드에 각각 저장
    - node = 3, shard = 2, replica = 1로 구성된 경우 노드별 데이터 저장 방식  
        <span class="confluence-embedded-file-wrapper confluence-embedded-manual-size">![](https://blog.kakaocdn.net/dn/dprtO8/btqBaBxCzdY/sAOw8wDOlHq4fhqJLks9b1/img.png)</span>