NCE 자격증 이론정리 74편- Analytics 분야 -Cloud Data Streaming Service 핵심요약

Cloud Data Streaming Service  핵심요약

-Apache kafka Cluster를 쉽고 간편하게 구축

.링크드인에서 개발된 분산 메시지시스템으로 다양한 데이터 혹은 API 호출을 처리하는 메시지시스템

.Manager 노드(CMAK)  1대, Broker 노드 최소 3대~최대10대로 시작

.클러스터 관리는 CMAK를 통해 관리

.CLA와 연동하여 로그수집(*필수)

*Apache Kafka는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산형 데이터 스트리밍 플랫폼입니다.

여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계되었습니다.

간단히 말해 A지점에서 B지점까지 이동하는 것뿐만 아니라 A지점에서 Z지점을 비롯해 필요한 모든 곳에서 대규모 데이터를 동시에 이동할 수 있습니다.

Apache Kafka는 전통적인 엔터프라이즈 메시징 시스템의 대안입니다.

하루에 1조 4천억 건의 메시지를 처리하기 위해 LinkedIn이 개발한 내부 시스템으로 시작했으나, 현재 이는 다양한 기업의 요구 사항을 지원하는 애플리케이션을 갖춘 오픈소스 데이터 스트리밍 솔루션이 되었습니다.

Apache Kafka Cluster를 쉽고 간편하게 구축

 • 링크드인에서 개발된 분산 메시지 시스템으로 다양한 데이터 혹은 API호출을 처리하는 메시지 시스템

• 기존 메시징 시스템 대비 단순하면서 뛰어난 TPS를 나타냄

• Manager 노드(CMAK) 1대, Broker노드 최소 3대~최대 10대로 시작

• Manager 노드는 PublicSubnet에,Broker노드는 PrivateSubnet에 배치가 가능

• 클러스터 관리는 CMAK를 통해 관리

• CLA와 연동하여 로그 수집 (*필수)