[Kafka] 카프카(Apache Kafka)란?

아파치 카프카(Apache Kafka)는 간단하게 카프카라고도 불리며, 실시간으로 처리할 데이터가 많은 현대의 서비스에서 자주 사용되는 기술인 것 같습니다. 아마 한번쯤 이름은 들어보셨을 것 같아요. 자 그럼 바로 한번 알아볼까요?! 카프카(Kafka)란? 카프카는 링크드인(LinkedIn)에서 처음 개발된 분산 메시징 시스템입니다! 네 우리가 아는 그 인맥 소셜 네트워크 서비스입니다! 왜 개발이 되었나요? 링크드인은 소셜 네트워크 서비스이다보니 서비스 특성상 많은 데이터의 생성/적재가 필요했습니다. 따라서 데이터를 생성하는 소스 애플리케이션과 데이터가 최종 적재되는 타겟 애플리케이션이 연결되는 파이프라인이 필요했습니다. 초기운영시에는 단방향 통신을 통해 파이프라인을 연동했고 그렇게 복잡하지 않았지만....