너와 나의 스토리

Naver D2 "NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기" 요약 및 배경 지식들을 정리해 두었습니다.자세한 내용을 링크 글을 참고해 주세요.  Kafka와 Elasticsearch로그 모니터링 시스템 구축에는 인덱스 기반의 빠른 검색을 제공하는 검색 엔진인 Elasticsearch가 널리 사용된다.[ 클라이언트 ] │ ▼[ Kafka (로그 데이터 수집) ] → 로그 데이터를 빠르게 수집하고 Elasticsearch로 전송 │ ▼[ Elasticsearch ] │ ├── [ Hot 계층 (SSD) ] → 최신 데이터 3일간 저장 │ ▼[ Warm 계층 (HDD) ] → 최대 90일까지 저장클라이언트로부터 수신된..

Dapr: 분산 애플리케이션을 위한 강력한 런타임1. Dapr란 무엇인가?Dapr(Distributed Application Runtime)은 클라우드 및 온프레미스 환경에서 분산 애플리케이션을 쉽게 개발할 수 있도록 지원하는 오픈소스 런타임입니다. 다양한 프로그래밍 언어와 프레임워크에서 사용할 수 있으며, 애플리케이션이 인프라에 의존하지 않고 상태 관리, 서비스 간 통신, 이벤트 처리 등을 수행할 수 있도록 도와줍니다.Dapr은 기본적으로 Kubernetes 환경에서 실행되지만, 로컬 개발 환경에서도 쉽게 실행할 수 있도록 설계되었습니다. 이를 통해 컨테이너 기반 애플리케이션뿐만 아니라 기존의 전통적인 애플리케이션에도 적용할 수 있습니다.주요 기능서비스 간 통신 (Service Invocation): ..