ELK의 Kibana 소개

소개

Kibana 4는 Elasticsearch를 기반으로 구축된 분석 및 시각화 플랫폼으로 데이터를 더 잘 이해할 수 있습니다. 이 자습서에서는 Elasticsearch ELK 스택에서 수집한 로그 메시지를 필터링하고 시각화하기 위해 인터페이스를 사용하는 방법을 보여줌으로써 Kibana를 시작할 수 있습니다. 주요 인터페이스 구성 요소를 다루고 검색, 시각화 및 대시보드를 만드는 방법을 보여줍니다.

전제 조건

이 튜토리얼은 Logstash 및 Kibana를 사용한 중앙 집중식 로깅 시리즈의 세 번째 부분입니다.

작동하는 ELK 설정이 있다고 가정합니다. 이 예에서는 syslog 및 Nginx 액세스 로그를 수집한다고 가정합니다. 이러한 유형의 로그를 수집하지 않는 경우 고유한 로그 메시지와 함께 작동하도록 데모를 수정할 수 있어야 합니다.

Kibana 인터페이스 개요

Kibana 인터페이스는 4개의 주요 섹션으로 나뉩니다.

• 발견하다
• 시각화
• 계기반
• 설정

나열된 순서대로 각 섹션의 기본 사항을 살펴보고 인터페이스의 각 부분을 사용하는 방법을 보여줍니다.

키바나 디스커버

Kibana 4에 처음 연결하면 Discover 페이지로 이동합니다. 기본적으로 이 페이지에는 ELK 스택의 가장 최근에 받은 모든 로그가 표시됩니다. 여기에서 검색 쿼리 를 기반으로 특정 로그 메시지를 필터링하고 찾은 다음 시간 필터 를 사용하여 검색 결과를 특정 시간 범위로 좁힐 수 있습니다.

다음은 Kibana Discover 인터페이스 요소에 대한 분석입니다.

• 검색 표시줄: 기본 탐색 메뉴 바로 아래에 있습니다. 특정 필드 및/또는 전체 메시지를 검색하는 데 사용합니다.
• 시간 필터: 오른쪽 상단(시계 아이콘). 다양한 상대 및 절대 시간 범위를 기반으로 로그를 필터링하는 데 사용합니다.
• 필드 선택기: 왼쪽, 검색 창 아래. 로그 보기 에 표시되는 필드를 수정하려면 필드를 선택하십시오.
• 날짜 히스토그램: 검색 창 아래의 막대 그래프. 기본적으로 이것은 검색 및 시간 필터와 일치하는 시간(x축)에 대한 모든 로그 수를 표시합니다. 막대를 클릭하거나 클릭하고 끌어 시간 필터를 좁힐 수 있습니다.
• 로그 보기: 오른쪽 하단. 이를 사용하여 개별 로그 메시지를 보고 필드 별로 필터링된 로그 데이터를 표시합니다 . 필드를 선택하지 않으면 전체 로그 메시지가 표시됩니다.

다음은 수행 중인 작업에 대한 단계별 설명입니다.

1. 각 로그 레코드에 대해 표시되는 항목을 제한하는 "유형" 필드 선택(오른쪽 하단) - 기본적으로 전체 로그 메시지가 표시됩니다.
2. type: "nginx-access"Nginx 액세스 로그와만 일치하는 을(를) 검색했습니다 .
3. 최신 Nginx 액세스 로그를 확장하여 더 자세히 살펴봅니다.

결과는 "지난 15분"으로 제한됩니다. 결과를 얻지 못한 경우 지정된 기간에 생성된 검색어와 일치하는 로그가 있는지 확인하십시오.

수집 및 필터링되는 로그 메시지는 Logstash 및 Logstash Forwarder 구성에 따라 다릅니다. 이 예에서는 syslog 및 Nginx 액세스 로그를 수집하고 "유형"으로 필터링합니다. 로그 메시지를 수집하지만 데이터를 고유한 필드로 필터링하지 않는 경우 특정 필드를 쿼리할 수 없으므로 이에 대한 쿼리가 더 어려워집니다.

검색 구문

검색은 로그 메시지의 특정 하위 집합을 선택하는 쉽고 강력한 방법을 제공합니다. 검색 구문은 매우 자명하며 부울 연산자, 와일드카드 및 필드 필터링을 허용합니다. 예를 들어 Google Chrome 사용자가 생성한 Nginx 액세스 로그를 찾으려면 type: "nginx-access" AND agent: "chrome". 특정 호스트나 클라이언트 IP 주소 범위 또는 로그에 포함된 기타 데이터로 검색할 수도 있습니다.

유지하려는 검색 쿼리를 만든 경우 다음 애니메이션과 같이 검색 저장 아이콘을 클릭한 다음 저장 버튼을 클릭하여 수행할 수 있습니다.

 

저장된 검색은 저장된 검색 로드 아이콘 을 클릭하여 언제든지 열 수 있으며 시각화를 생성할 때도 사용할 수 있습니다.

검색을 "nginx access 입력"으로 저장하고 type: "nginx-access"시각화를 만드는 데 사용합니다.

Kibana 시각화

Kibana Visualize 페이지에서는 사용자 지정 시각화를 생성, 수정 및 볼 수 있습니다. 수직 막대 및 원형 차트에서 타일 맵 (지도에 데이터 표시용) 및 데이터 테이블 에 이르기까지 다양한 유형의 시각화가 있습니다 . 시각화는 Kibana 인스턴스에 대한 액세스 권한이 있는 다른 사용자와 공유할 수도 있습니다.

Kibana 시각화를 처음 사용하는 경우 계속하기 전에 필드 목록을 다시 로드해야 합니다. 이를 위한 지침 은 Kibana 설정 섹션의 필드 데이터 다시 로드 하위 섹션에서 다룹니다.

세로 막대 차트 만들기

시각화를 생성하려면 먼저 시각화 메뉴 항목을 클릭합니다.

원하는 시각화 유형을 결정하고 선택합니다. 우리는 좋은 출발점인 세로 막대형 차트 를 만들 것입니다.

이제 검색 소스를 선택해야 합니다. 새 검색을 생성하거나 저장된 검색을 사용할 수 있습니다. 후자의 방법을 사용하고 이전에 만든 유형 nginx 액세스 검색을 선택합니다.

처음에는 오른쪽에 있는 미리보기 그래프가 "개수"의 Y축으로만 구성되어 있기 때문에 실선 막대(검색에서 로그 메시지를 발견했다고 가정)가 됩니다. 즉, 단순히 지정된 검색어로 찾은 로그의 수를 표시하는 것입니다.

시각화를 더 유용하게 만들기 위해 몇 가지 새 버킷 을 추가해 보겠습니다.

먼저 X축 버킷을 추가한 다음 집계 드롭다운 메뉴를 클릭하고 "날짜 히스토그램"을 선택합니다. 적용 버튼 을 클릭하면 단일 막대가 X축을 따라 여러 막대로 분할됩니다. 이제 Count는 Discover 페이지에서 볼 수 있는 것과 유사한 시간 간격(드롭다운에서 간격을 선택하여 수정할 수 있음)으로 분할된 여러 막대로 표시됩니다.

그래프를 좀 더 흥미롭게 만들고 싶다면 Add Sub Aggregation 버튼을 클릭하면 됩니다. 분할 막대 버킷 유형 을 선택합니다 . 하위 집계 드롭다운 메뉴를 클릭하고 "중요한 용어"를 선택한 다음 필드 드롭 다운 메뉴를 클릭하고 "clientip.raw"를 선택한 다음 크기 필드를 클릭하고 "10"을 입력합니다. 적용 버튼을 클릭 하여 새 그래프를 생성합니다.

 

시각화 중인 로그가 여러 IP 주소에 의해 생성된 경우(즉, 두 명 이상의 사용자가 사이트에 액세스하는 경우) 각 막대가 색상이 지정된 세그먼트로 분할되는 것을 볼 수 있습니다. 각 색상 세그먼트는 특정 IP 주소(즉, 사이트의 특정 방문자)에 의해 생성된 로그 수를 나타내며 그래프는 최대 10개의 세그먼트를 표시합니다(크기 설정으로 인해). 특정 로그 메시지로 드릴다운하려면 그래프의 항목을 마우스로 가리키고 클릭할 수 있습니다.

시각화를 저장할 준비가 되면 상단 근처에 있는 시각화 저장 아이콘을 클릭한 다음 이름을 지정하고 저장 버튼을 클릭합니다.

다른 시각화 만들기

대시보드를 만드는 방법을 보여 주는 다음 섹션으로 계속 진행하기 전에 시각화를 하나 이상 만들어야 합니다. 다양한 시각화 유형을 시도하고 탐색합니다.

예를 들어 상위 5개(가장 많은 수) 로그 "유형"의 파이 차트를 만들 수 있습니다. 이렇게 하려면 시각화 를 클릭한 다음 원형 차트 를 선택 합니다. 그런 다음 새 검색 을 사용하고 검색을 "*"(즉, 모든 로그)로 둡니다. 그런 다음 Split Slices 버킷을 선택합니다. 집계 드롭다운을 클릭하고 "중요한 용어"를 선택하고 필드 드롭다운을 클릭하고 "type.raw"를 선택한 다음 크기 필드를 클릭하고 "5"를 입력합니다. 이제 적용 버튼을 클릭하고 시각화를 "상위 5"로 저장합니다.

 

이 예에서는 syslog와 Nginx 액세스 로그만 수집하기 때문에 원형 차트에는 두 개의 조각만 있을 것입니다.

시각화 생성이 완료되면 Kibana 대시보드 생성으로 이동하겠습니다.

Kibana 대시보드

Kibana 대시보드 페이지는 사용자 정의 대시보드를 생성, 수정 및 볼 수 있는 곳입니다. 대시보드를 사용하면 여러 시각화를 단일 페이지로 결합한 다음 검색 쿼리를 제공하거나 시각화에서 요소를 클릭하여 필터를 선택하여 필터링할 수 있습니다. 대시보드는 로그 개요를 확인하고 다양한 시각화 및 로그 간의 상관 관계를 확인하려는 경우에 유용합니다.

대시보드 생성

Kibana 대시보드를 생성하려면 먼저 대시보드 메뉴 항목을 클릭하십시오.

이전에 대시보드를 만든 적이 없다면 "시작할 준비가 되었습니까?"라는 빈 페이지가 대부분 표시됩니다. 이 화면이 표시되지 않으면(즉, 대시보드에 이미 시각화가 있음) 새 대시보드 아이콘 (검색 표시줄 오른쪽에 있음)을 눌러 이동하십시오.

 

수행 중인 단계에 대한 분석은 다음과 같습니다.

1. 시각화 추가 아이콘 을 클릭했습니다.
2. "로그 수" 파이 차트 및 "Nginx: 상위 10개 클라이언트 IP" 히스토그램 추가
3. 시각화 추가 메뉴 축소
4. 대시보드에서 시각화 재정렬 및 ​​크기 조정
5. 대시 보드 저장 아이콘 을 클릭했습니다.

저장하기 전에 대시보드의 이름을 선택하십시오.

이렇게 하면 대시보드를 만드는 방법에 대한 좋은 아이디어를 얻을 수 있습니다.