NCE 자격증 이론정리 60편- Analytics 분야 - 하둡(Hadoop) 요약

Cloud Hadoop 이란?

-대규모 데이터를 효율적으로 분석하기 위해서는 데이터 분산관리저장소, 파일시스템, 데이터베이스, 네트워크, 데이터분석 및 시각과도구등 다양한 기술들이 필요

-아파치(Apache) 재단에서 관리하는 빅데이터 분산처리를 위한 대표 오픈소스 프레임워크

-여러대의 컴퓨터를 하나로 묶어 대용량 데이터를 처리하는 기술

-분산저장(HDFS) : 빅데이터 파일을 여러대의 서버에 분산 저장히기 위한 파일시스템

-분산처리(MapReduce) : 각서버에서 데이터를 분산 처리하는 분산 병렬처리를 위한 분석시스템

-오픈소스를 그대로 사용하거나, 하둡 전문 상용화 업체나 클라우드업체를 통해서 사용가능

-Hadoop의 특징

.오픈소스

  .분산저장
 

.유연한 확장성 : 수평하게  노드확장이 가능
 

.내결함성 : 데이터를 블록단위로 저장, 3개의 다른 노드에 복제하여 저장 특정 노드에 장애가 발생하더라도 데이터를 쉽게 복구할 수 있음.

Hadoop 기본구성 및 명령어

Hadoop Core 구성요소

-Hadoop Common

-HDFS

-Yarn

-MapReduce