개발바닥

단어들을 카운트하는 프로그램을 구현해보았습니다. 맵리듀스 구조는 다음 그림과 같습니다. 소스 코드 https://github.com/jokerKwu/Hadoop/blob/master/WordCount.java 데이터 파일 결과 화면

MapReduce 프로그램은 기본적으로 맵과 리듀스의 두 단계로 구성이 되고 맵과 리듀스 모두 입력으로 주어지는 데이터나 출력으로 내보내는 데이터가 모두 (key,value) 형태로 구성됩니다. 맵(Map) 의 기본 동작에 대해서 알아 보겠습니다. 일반적으로 데이터가 주어졌을 때 데이터를 라인별로 나누게 됩니다. 입력 레코드에 k1은 라인 번호이고 v1은 문장입니다. 맵에서 데이터를 가공해서 같은 키값을 갖는 레코드들을 모아서 리듀스로 하나의 입력으로 들어가게 됩니다. 리듀스 입력 레코드의 키는 맵의 출력 레코드의 키가 됩니다. 같은 키를 갖는 맵의 출력 레코드들의 밸류를 리스트로 만든 것이 리듀스 입력 레코드의 밸류가 됩니다. 리듀스는 맵의 처리결과를 보고 같은 키값을 갖는 것들에 대해 또 다른 작업을..