스플렁크(Splunk)
->NoSQL 기반의 DB
- 인덱서 : 데이터 수집 및 가공, 저장 (포워더/검색 헤드/ 마스터 기능 포함)
인덱서 : 데이터 저장 및 가공 / Index : MySQL의 테이블과 똑같음
포워더 : 데이터 수집, 전송 및 가공
검색 헤드 : 검색 관리
마스터 : 클러스터 관리
- 포워더 : 데이터 수집 및 가공, 전송
Index : MySQL의 테이블과 똑같음
- Hot : 데이터 읽기, 쓰기 가능
- Warm : 읽기만 가능
- Cold : 읽기만 가능
Splunk란?
Splunk란 먼저 실시간 데이터 처리 및 분석 솔루션이다. 실시간으로 데이터를 수집, 분석, 모니터링, 검색, 시각화의 기능을 제공한다. Splunk는 머신 데이터를 수집하여 사용자가 쉽게 검색하고 분석할 수 있도록 제공하는 역할을 한다. 머신 데이터란 컴퓨터 시스템, 서버, 애플리케이션, 네트워크 등에서 생성되는 모든 데이터를 말한다.
즉, 요약하자면 머신데이터를 아무런 제약 없이 수집 -> 저장 -> 분석 -> 시각화 할 수 있는 실시간 분산 플랫폼이다.
Splunk Processing Language(SPL)이란 Splunk에서 제공하는 검색 언어로 데이터를 검색하고 분석하기 위한 도구이다. SPL을 통해 머신 데이터를 필터링, 검색, 분석 및 시각화 할 수 있다.
SPL은 SQL과 문법이 유사하므로 SQL에 능한 사용자라면 SPL이 쉽게 느껴질 것이다. SPL은 데이터를 필터링하는데 효과적이며 데이터 분포를 파악하고 대시보드 구축을 통해 실시간 데이터 파악에도 용이하다.
Splunk SPL에 대해 배우면서 검색 명령 유형을 설명하는 데 사용되는 스트리밍, 생성, 변환, 조정 및 데이터 처리라는 용어를 들을 수 있다. 이 항목에서는 이러한 용어의 의미를 설명하고 각 범주에 속하는 명령을 나열한다. 거의 모든 검색 명령에는 6가지 광범위한 분류가 있다.
· 배포 가능한 스트리밍
· 중앙 집중식 스트리밍
· 변형
· 생성
· 조율
· 데이터 세트 처리
Splunk를 설치하게 되면, 다음과 같이 8000번 포트로 접속이 가능하며 앞서 설치할 때 설정과 ID와 패스워드로 로그인이 가능하다. Splunk의 기능은 다음과 같다.
- SQL 기능과 Unix파이프라인 구문이 결합된 최적의 검색 언어인 SPL 지원
- 검색,상호 연관,분석 및 시각화 관련된 140개 이상 의 명령어 제공
- 통계,그래프, 각종 연산 함수를 활용한 분석
- 별도의 correlationkey설정 없이 상관관계 분석 가능
- 신속하게 필요한 데이터를 찾아 분석하여 사고의 근본 원인을 파악
Splunk의 핵심 기능인 Search & Reporting을 누르면 다음과 같은 창을 볼 수 있다.
데이터 분석을 위해 데이터를 추가하는 방법은 다음과 같다. 먼저 나는, 실습을 위해 apache.log를 활용했다.
파일 업로드, 실시간 모니터, 포워더의 세 가지 기능이며, 파일 업로드는 일회성으로 데이터를 연동하는 것이고, 실시간 데이터는 지속적으로 연동할 때 사용하는 것이고, 포워더는 따로 설치해서 사용해야 하는 기능이다. 다음 파일업로드를 선택하게 되면,
다음과 같이 파일을 선택하고 확인할 수 있다. 다음으로, 원본 데이터가 다음과 같은 형태로 보여지는 것을 확인할 수 있다.
다음으로 넘어와서 확인하게 되면 인덱스가 다음과 같이 있는데 Splunk는 기본적으로 main으로 돼있기 때문에 따로 지정해주지 않으면 main으로 데이터가 넘어간다.
편리하게 분석을 위해 나는 apachelog라는 인덱스를 따로 만들어 주었다.
그 후, 저장하고 검토한 뒤 제출하면, 다음과 같이 원본 데이터를 확인할 수 있다. 처음 데이터를 검색하게 되면, default로 다음과 같이 검색어가 입력된다.
다음과 같이 데이터를 업로드하여 검색어에 원하는 검색 명령어를 입력하게 되면, 원하는 형태와, 범위로 필터링이 가능하다.