전체 글 152

Elasticsearch 세 번째 물음표

전혀 예상치 못하게 문제가 생겼다. logstash를 conf파일을 통해 데이터를 elasticsearch로 주입하는 과정에서 데이터가 주입이 되지 않고 아래와 같은 문구만 반복적으로 나타났기 때문이다. 하지만 처음 문구를 보면 또 보안관련 문제임에 틀림없음을 알게 되었다. Failed to perform request {:message=>"PKIX path building failed: sun.security.provider .certpath.SunCertPathBuilderException: unable to find valid certification path to requested target" , :exception=>Manticore::ClientProtocolException, :cause=..

Elasticsearch 2022.05.03

logstash conf설정

logstash는 파이프라인을 통해 실시간 데이터를 수집하는 엔진이다. elasticsearch와 관련하여 데이터를 필터링을 해서 주입하기 위한 것이라 생각하면 될 듯 하다. logstash를 통한 데이터의 이동은 input->filter->output을 통해 이루어 지며 input은 이동할 데이터에 대한 설정, filter는 데이터를 여과하고, output은 최종적으로 여과된 데이터가 위치할 곳을 설정한다. logstash를 실행시킬 때 -f 혹은 -e 옵션이 붙는데 -e는 직접 config를 설정하는 옵션이고 -f는 conf파일을 저장하여 불러오는 옵션이다. 주로 -f /path/conf/내 conf파일.conf 를 사용한다. conf파일은 이미 logstash/conf파일에 하나 존재한다. 이와 가..

Elasticsearch 2022.05.03

logstash 설치

가이드 북에 나와있는 CRUD를 마치고 나서 팀원에게 140MB정도 되는 큰 json파일을 받게 되었다. 키바나에서 윈도우 처럼 파일을 드래그를 통해 넣을 수 있으나 100MB이하의 데이터만 가능하여서 logstash를 통해 데이터를 주입하기 하기로 하였다. logstash의 설치는 elasticsearch와 kibana설치와 마찬가지로 공식 홈페이지에 자세하게 설치 방법과 실행 방법에 대해서 설명해 놓았으니 그것을 참고하면 되겠다.

Elasticsearch 2022.05.02

Kibana 설치

elasticsearch는 kibana, logstash함께 묶이는 데 Kibana의 대한 설명은 역시나 elasticsearch공식 홈페이지에 자세히 나와있으니 공홈을 참고 하면 된다. 여기선 window10에 kibana를 설치하고 접속하는 글을 정리해 본다. 먼저 공식 홈페이지에서 elasticsearch와 마찬가지로 kibana를 다운받아 압축 해제 해준다. 그리고 커맨드 창을 열어 bin파일의 kibana.bat을 실행해 준다. Kibana is available과 같은 텍스트가 보인다면 localhost:5601를 입력하여 접속한다. 처음 접속하면 enrollment token을 입력하라고 하는데 이는 처음 elasticsearch를 실행하면 상단에 보이는 보안관련 텍스트에 적혀있다. 참고로 ..

Elasticsearch 2022.04.29

Elasticsearch 두번째 물음표

https://localhost:9200을 접속하였다면 아무런 문제가 없었으면 다행이겠지만 한 가지 거슬리는게 눈에 띈다. 바로 주소창 옆에 주의요함 https 와 같은 빨간 글씨가 주소창 옆에 있기 때문이다. 인증서에 무언가 문제가 있기 때문에 이런 현상이 나타나는데 이는 elasticsearch의 config/certs에서 http_ca.crt 인증서를 신뢰할 수 있는 루트 인증 기관에 설치해주면 사라진다. 먼저 인증서를 열면 이러한 모습인데 인증서 설치를 눌러 인증서 저장소를 신뢰할 수 있는 루트 인증 기간을 선택하여 마무리 해주고 다시 https://localhost:9200에 접속하면 더 이상 빨간 글씨는 안 보일 것이다. 참고. https://cert.crosscert.com/%EC%9C%88..

Elasticsearch 2022.04.29

Elasticsearch 첫번째 물음표

window10에 elasticsearch를 설치하여 bin파일 안에 elasticsearch를 실행하고 주소창에 localhost:9200입력을 입력하였으나 과 같은 화면을 마주하게 되었다. 처음 elasticsearch를 설치하기 위해서 다른 블로그나 글들을 찾아보면 다들 http://localhost:9200을 입력하면 잘 되는데 나는 왜 이럴까?하는 의문이 들었지만 금방 해결할 수 있었다. 추측하건데 아마 가장 최신 버전은 보안을 신경 써주는 듯 보인다. 특히나 처음 elasticsearch를 시작하면 딱 한번만 보여주는 텍스트가 있는데 아마 -> Elasticsearch security features have been automatically configured! -> Authenticatio..

Elasticsearch 2022.04.29