컴바이너

컴바이너(Combiner) 란?

미니 리듀서(Mini Reducer) 혹은 로컬 리듀서(Local Reducer)라 부르기도 하는데 맵 태스크의 출력에 리듀스 코드를 먼저 적용해서 리듀스로 넘어가야 하는 데이터의 크기를 줄여 주므로써 맵 태스크와 리듀스 태스크 간의 네트워크 통신량을 최소화시켜 줍니다.

모든 잡에 컴바이너를 적용은 불가능합니다. 작업의 순서를 달리해도 최종 결과물이 같은 잡이거나 교환 법칙과 결합 법칙이 만족되는 잡이라면 컴바이너를 적용이 가능합니다.

 

컴바이너가 적용된 WordCount 그림입니다.

「 자료 출처 : 광운대학교 컴퓨터소프트웨어학과 빅데이터처리및응용 김우생교수님 강의자료 ppt 」

 

 

main 함수에 리듀스 클래스를 그대로 컴바이너로 지정해준다.

job.setCombinerClass(Reducer.class);