[Elasticsearch] Logs

Log 란?

• 로그(log)는 시스템, 애플리케이션, 장치, 또는 심지어 사람의 활동을 기록한 것
• 근본적으로는 사실 timestamp + data

로그의 생애 주기 (ELK Stack)

Log의 lifecycle (출처: elasticsearch)

• Elastic Agent가 로그를 수집하고 Elasticsearch 클러스터로 전송
• Hot-Warm 아키텍처로 로그 수명 주기 관리
  • 처음엔 Hot 노드에 저장
  • 시간이 지나면 Warm 노드로 이동
  • 이후에는 삭제되거나 Cold/Frozen 티어로 이동 가능
• 로그가 클러스터 내에 있는 동안에는 어느 티어에 있든지 검색 및 분석이 가능

Timestamp에 대해

• 타임스탬프 처리의 어려움 존재
  • 다양한 포맷 존재
  • 시간대 처리 복잡
• Elasticsearch 권장 포맷
  • 기본적으로 ISO 8601 형식
  • 여러 시간 포맷도 설정을 통해 수집 가능
• ISO 8601의 장점
  • 명확하고 모호하지 않음
  • 표준적인 시간 표현 방식으로 권장
• UI의 시간 처리 방식
  • 저장된 시간 + 사용자 로컬 시간대를 조합해 화면에 표시

Legacay Logging 시스템의 공통적인 문제

• 일관성 부족
  • 시스템마다 각각 포맷이 상이함
• 시간 포맷 문제
  • 시스템별 서로 다른 시간 포맷
• 분산된 시스템
  • 로그가 여러 서버에 퍼져 있어 수집 및 검색이 어려움
  • SSH + grep 방식은 대규모 환경에 부적합
• 전문가 의존성
  • 로그 파일 접근 제한
  • 포맷 해석에 기술 지식 필요

Elasticsearch Logs integrations

• 일반적인 로그 형식의 수집, 파싱(구문 분석), 시각화를 간소화
• Integrations는 기본적으로 로그와 메트릭을 함께 수집