ELK [ELK 란 ? CentOS 환경에서 ELK 설치하기]
ELK [CentOS ELK 설치하기]
ELK 란? ElasticSearch , Logstash , Kibana 의 약어이다. Elastic 사에서 제공한다 또한 , 빅데이터 기반의 다양한 데이터를 수집하고 이를 정형화된 데이터로 저장, 사용자에게 통계,시각화 등 다양한 결과로 보여주는 SW이다.
4차산업 혁명에서 빅데이터는 아주 중요한 요소이다. 이러한 방대한 데이터를 어떻게 수집할껀지에 대한 고민을 해봐야 한다.
ELK를 이용하면 이러한 데이터 수집 , 저장 , View 등 다양한 절차를 쉽고 간편하게 사용할수 있다.
1. ELK
ElasticSearch : Lucene 기반으로 개발한 분산 검색엔진으로 , Logstash 를 통해 수신된 데이터를 저장소에 저장하는
역할을 담당한다. 정형,비정형,위치정보,메트릭 등 다양한 유형의 검색을 수행하고 결합할 수 있다.
Logstash : 오픈소스 서버측 데이터 처리 파이프라인으로 , 다양한 소스에서 동시에 데이터를 수집하고 변환하여
stash 보관소로 전송한다. 수집할 로그를 선정해서 , 지정된 서버(ElasticSearch) 에 전송하는 열학을 담당한다.
Kibana : 데이터를 시각적으로 탐색하고 실시간으로 분석 할 수 있다. 시각화를 담당하는 HTML+Javascript 엔진이다.
2. Cent OS 7 환경에 설치하기.
1. 자바 설치하기 -> 명령어 : yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel
자바를 설치해주자.
2. 자바 환경변수 설정 -> 명령어 : vi /etc/profile
vi 편집기를 이용해서 자바 환경변수를 등록해주자.
3. 자바 환경변수 설정 -> 명령어 : source /etc/profile
/etc/profile 에 등록해주기
4. elasticsearch repo 추가하기 -> 명령어 : vi /etc/yum.repos.d/elasticsearch.repo
먼저 elasticsearch 를 설치하기 전에 repository 에 elasticsearch 가 등록되어 있지 않기 때문에 위와 같이 직접 repository 에
내용을 추가해줘야 설치가 된다.
5. elasticsearch repo 추가하기 -> /etc/yum.repos.d/elasticsearch.repo 파일에 아래 내용 추가하기.
위의 내용을 작성해주자.
6. elasticsearch 설치하기 -> 명령어 : yum install -y elasticsearch
7. logstash repo 추가하기 -> 명령어 : vi /etc/yum.repos.d/logstash.repo
logstash.repo 파일에 위의 내용을 추가 해주자.
8. logstash 설치하기 -> 명령어 : yum install -y logstash
9. kibana repo 추가하기 -> 명령어 : vi /etc/yum.repos.d/kibana.repo
kibana.repo 에 위의 내용을 추가해주자.
10. kibaa 설치하기 -> 명령어 : yum install -y kibana
11. ELK 서비스 시작하기 -> 명령어 : service *** start
ELK 서비스를 시작해주자.
12. Kibana port 방화벽 설정하기 -> 아래 명령어
13. kibana 접속하기 -> 127.0.0.1:5601
설치가 완료되었다. 자세한 세부 환경세팅은 따로 설명하지 않고 설치하는 방법만 올려두었다.