NCE 자격증 이론정리 67편- Analytics 분야 -Pig 핵심요약

Pig 핵심요약

-피그는 Map-Reduce에서 처리할 수 없는 조인과 같은 연산을 지원하는 스크립트 언어

-대용량 데이터셋을 좀 더 쉽게 분석하려고 야후의 연구원과 엔지니어들이 만듬

-대규모 병렬 처리에 대응할 수 있는 구조를 가지고 있으며 이 특징 때문에 대규모 데이터 셋을 처리 할 수 있음.

-피그는 2개로 이루어져있음

  1) 피그 라틴 : 데이터의 흐름을 표현하기 위해 사용하는 텍스트 기반 언어(http://wiki.apache.org/pig/PigLatin)

  2) 피그 라틴을 수행하는 실행 환경. 현재 단일 JVM에서의 로컬 실행 환경과 하둡 클러스터 상의 분산 실행 환경을 제공함.

-하나의 피그라틴 프로그램은 입력 데이터에 적용되어서 출력을 생성하는 일련의 연산 또는 변환으로 구성되어 있음.

-연산은 데이터의 흐름을 설명함.

-피그 실행환경은 이를 실행가능한 표현으로 번역하여 수행함.