NCE 자격증 이론정리 64편- Analytics 분야 -Hive 핵심요약

Hive 핵심요약

-Facebook에서 개발한 쿼리엔진

-기존 맵리듀스를 이용하기 위해선 Java 프로그래밍이 필요하여, 많은 데이터 분석가들이 어려움을 겪음

-이에 쿼리 만으로도 하둡에 올라간 대용량 데이터를 분석할 수 있게끔 도와주도록 탄생

-Hive 테이블의 저장된 데이터에 대한 질의는 HiveQL이라는 SQL 호환 언어를 통하여 수행함

-Hive의 단점

.JOIN을 지원하지 않음.

.Big table에는 문제 없지만 여러 개의 테이블을 조인하여 MapReduce 시 셔플링 작업에 성능제약

.Data에 대한 delete, update가 불가 (HDFS의 특징이기도 함)

.Pig는 부분적으로 data Control이 가능하며 성능적으로도 최적화 하면서 사용하기 위해서는 옵티마이저 실행이 가능한 Pig를 사용하는 것이 효율적임

.OLAP(온라인 분석처리)는 지원하지만 OLTP(온라인 트랜잭션 처리)는 지원하지 않음.