너와 나의 스토리

Naver D2 "NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기" 요약 및 배경 지식들을 정리해 두었습니다.자세한 내용을 링크 글을 참고해 주세요.  Kafka와 Elasticsearch로그 모니터링 시스템 구축에는 인덱스 기반의 빠른 검색을 제공하는 검색 엔진인 Elasticsearch가 널리 사용된다.[ 클라이언트 ] │ ▼[ Kafka (로그 데이터 수집) ] → 로그 데이터를 빠르게 수집하고 Elasticsearch로 전송 │ ▼[ Elasticsearch ] │ ├── [ Hot 계층 (SSD) ] → 최신 데이터 3일간 저장 │ ▼[ Warm 계층 (HDD) ] → 최대 90일까지 저장클라이언트로부터 수신된..