공부/EFK 5

Fluentd Index Template 생성 및 ILM 자동 적용

ILM 자체는 인덱스 생명 주기를 자동으로 관리해주지만, ILM 적용을 매번 수동으로 한다면 아이러니한 일 아닌가? 그래서 인덱스가 생성될 때, 자동으로 ILM policy를 적용시키는 방법이 필요했다. 그러기 위해 있는 것이 index template 이란 것이다. index template은 새로운 index가 생성될 때, 그 index에 대한 설정 값들을 미리 만들어두는 것이다. 자세한 설명과 예시는 아래 링크에서 다른 분이 정리한 것을 참고바란다. https://oboki.net/workspace/data-engineering/elasticsearch/elasticsearch-index-template/ [ElasticSearch] Index Template – oboki oboki.net 내 목..

공부/EFK 2021.06.25

Opendistro와 OIDC(Keycloak) 연동 on Kubernetes

EFK에 OIDC(Keycloak)를 연동하는 일을 맡았다. 구글에 분명히 정보는 많은데, 전부 제각각에다가 안 되는 경우가 대부분이었다. 그래도 어찌저찌 약 2주간의 삽질 끝에 성공시켜서 그 정보를 공유하고자 한다. 0. 주의사항 들어가기에 앞서, 기본 ElasticSearch와 Kibana는 OIDC를 사용할 수 없다. 정확히 말하면 사용할 수는 있지만 무료 라이센스는 사용할 수 없고, 최소 플래티넘 라이센스는 가지고 있어야 사용 가능하다. dockerhub에서 제공하는 공식 image는 trial과 basic 라이센스만 지원하기 때문에 안된다. 아래 링크에 들어가서 OpenID Connect를 검색해보면 알 수 있다. www.elastic.co/kr/subscriptions 그러므로 opendist..

공부/EFK 2021.04.16

Kibana [index_not_found_exception] no such index [.kibana] 에러 해결

Kibana를 다루던 도중, 아래와 같은 에러가 났다. {"type":"error","@timestamp":"2021-03-11T01:24:23Z","tags":["warning","stats-collection"], "pid":1,"level":"error","error":{"message":"[index_not_found_exception] no such index [.kibana], with { resource.type=\"index_or_alias\" & resource.id=\".kibana\" & index_uuid=\"_na_\" & index=\".kibana\" }","name":"Error","stack":"[index_not_found_exception] no such index [...

공부/EFK 2021.03.11

curl을 이용한 Kibana index 패턴 생성

Kibana UI에 접속하지 않고 인덱스를 만들 수 있다. curl로 API 콜을 날리는 것이다. 기본 형식은 아래와 같다. curl -f -XPOST -H 'Content-Type: application/json' -H 'kbn-xsrf: anything' 'http://localhost:5601/api/saved_objects/index-pattern/{인덱스패턴} '-d{"attributes":{"title":"인덱스패턴","timeFieldName":"타임필드네임"}}' 예시로, 가장 흔하게 사용하는 logstash 인덱스 패턴을 만들어보자. kibana 컨테이너에 직접 들어가서 아래의 해당 curl 커맨드를 입력한다. $ curl -f -XPOST -H 'Content-Type: applicat..

공부/EFK 2021.03.11

Kibana basePath 설정 (Configuration 설정)

kibana는 최초 실행 시 /usr/share/kibana/config 경로에 있는 kibana.yml 파일을 읽어서 초기 설정을 수행한다. kibana.yml에 들어갈 수 있는 설정 값들은 아래 링크의 공식문서에서 확인할 수 있다. www.elastic.co/guide/en/kibana/current/settings.html Configure Kibana | Kibana Guide [7.11] | Elastic To reload the logging settings, send a SIGHUP signal to Kibana. www.elastic.co 사용자가 따로 만들지 않아도 kibana가 자동적으로 아래와 같이 kibana.yml 파일을 만든다. (7.2.0 버전 기준) server.name: k..

공부/EFK 2021.03.11