Tastynut

전혀 예상치 못하게 문제가 생겼다. logstash를 conf파일을 통해 데이터를 elasticsearch로 주입하는 과정에서 데이터가 주입이 되지 않고 아래와 같은 문구만 반복적으로 나타났기 때문이다. 하지만 처음 문구를 보면 또 보안관련 문제임에 틀림없음을 알게 되었다. Failed to perform request {:message=>"PKIX path building failed: sun.security.provider .certpath.SunCertPathBuilderException: unable to find valid certification path to requested target" , :exception=>Manticore::ClientProtocolException, :cause=..

logstash는 파이프라인을 통해 실시간 데이터를 수집하는 엔진이다. elasticsearch와 관련하여 데이터를 필터링을 해서 주입하기 위한 것이라 생각하면 될 듯 하다. logstash를 통한 데이터의 이동은 input->filter->output을 통해 이루어 지며 input은 이동할 데이터에 대한 설정, filter는 데이터를 여과하고, output은 최종적으로 여과된 데이터가 위치할 곳을 설정한다. logstash를 실행시킬 때 -f 혹은 -e 옵션이 붙는데 -e는 직접 config를 설정하는 옵션이고 -f는 conf파일을 저장하여 불러오는 옵션이다. 주로 -f /path/conf/내 conf파일.conf 를 사용한다. conf파일은 이미 logstash/conf파일에 하나 존재한다. 이와 가..

가이드 북에 나와있는 CRUD를 마치고 나서 팀원에게 140MB정도 되는 큰 json파일을 받게 되었다. 키바나에서 윈도우 처럼 파일을 드래그를 통해 넣을 수 있으나 100MB이하의 데이터만 가능하여서 logstash를 통해 데이터를 주입하기 하기로 하였다. logstash의 설치는 elasticsearch와 kibana설치와 마찬가지로 공식 홈페이지에 자세하게 설치 방법과 실행 방법에 대해서 설명해 놓았으니 그것을 참고하면 되겠다.

elasticsearch는 kibana, logstash함께 묶이는 데 Kibana의 대한 설명은 역시나 elasticsearch공식 홈페이지에 자세히 나와있으니 공홈을 참고 하면 된다. 여기선 window10에 kibana를 설치하고 접속하는 글을 정리해 본다. 먼저 공식 홈페이지에서 elasticsearch와 마찬가지로 kibana를 다운받아 압축 해제 해준다. 그리고 커맨드 창을 열어 bin파일의 kibana.bat을 실행해 준다. Kibana is available과 같은 텍스트가 보인다면 localhost:5601를 입력하여 접속한다. 처음 접속하면 enrollment token을 입력하라고 하는데 이는 처음 elasticsearch를 실행하면 상단에 보이는 보안관련 텍스트에 적혀있다. 참고로 ..

https://localhost:9200을 접속하였다면 아무런 문제가 없었으면 다행이겠지만 한 가지 거슬리는게 눈에 띈다. 바로 주소창 옆에 주의요함 https 와 같은 빨간 글씨가 주소창 옆에 있기 때문이다. 인증서에 무언가 문제가 있기 때문에 이런 현상이 나타나는데 이는 elasticsearch의 config/certs에서 http_ca.crt 인증서를 신뢰할 수 있는 루트 인증 기관에 설치해주면 사라진다. 먼저 인증서를 열면 이러한 모습인데 인증서 설치를 눌러 인증서 저장소를 신뢰할 수 있는 루트 인증 기간을 선택하여 마무리 해주고 다시 https://localhost:9200에 접속하면 더 이상 빨간 글씨는 안 보일 것이다. 참고. https://cert.crosscert.com/%EC%9C%88..

window10에 elasticsearch를 설치하여 bin파일 안에 elasticsearch를 실행하고 주소창에 localhost:9200입력을 입력하였으나 과 같은 화면을 마주하게 되었다. 처음 elasticsearch를 설치하기 위해서 다른 블로그나 글들을 찾아보면 다들 http://localhost:9200을 입력하면 잘 되는데 나는 왜 이럴까?하는 의문이 들었지만 금방 해결할 수 있었다. 추측하건데 아마 가장 최신 버전은 보안을 신경 써주는 듯 보인다. 특히나 처음 elasticsearch를 시작하면 딱 한번만 보여주는 텍스트가 있는데 아마 -> Elasticsearch security features have been automatically configured! -> Authenticatio..

다른 Elasticsearch관련글들을 찾아보다 보면 여러가지 환경에서 Es를 설치하고 있지만 이 게시글에서는 window10+개인 노트북에서 진행하고 있다는 점을 참고하면 된다. 여기서는 기본적으로 알아야 해서 공부한 부분과 필요한 부분만 게시될 예정이다. 따라서 만약에 본인이 원하는 환경에서의 설치 및 실습이나 자세한 공부를 원한다면 https://www.elastic.co/guide/en/elasticsearch/reference/current/elasticsearch-intro.html 를 참고하여 공부하거나 다른 글들을 참고하는 것이 좋다. 먼저 구글에 elasticsearch를 입력하면 공식홈페이지(https://www.elastic.co/kr/elasticsearch/)가 상단에 위치해 있으..

팀 프로젝트에 들어가서 처음으로 받은 과제는 Elasticsearch에 대해서 공부하고 받은 데이터를 Elasticsearch에 주입하는 것이었다. Elasticksearch가 무엇인지 알고 싶다면 https://www.elastic.co/kr/what-is/elasticsearch를 참고하는 것이 가장 좋다고 생각한다. Es의 경우 공식홈페이지에서 매우 자세하게 사용방법에 대해서 잘 알려주고 있으며 토론방을 통해 발생한 에러에 대해서 Es의 팀원 혹은 사용자들에게 피드백을 받을 수 있으며 해당 제품의 문서 항목에 Troubleshooting항목도 있으니 참고하면 좋을 거 같다. 이 카테고리는 직접 Es를 설치하고 실행하고 하면서 마주한 문제들이라던지 어려웠던 점들에 대해서 작성할 것이다. 직접 부딪혀 ..