개발바닥

Mapper 클래스에는 setup , cleanup , run 이라는 세 개의 메소드들이 존재하며 Mapper 클래스를 상속받은 클래스들은 3개에 메소드들을 오버라이딩해서 사용이 가능하다. 메소드들에 대해서 알아보겠습니다. public void setup(Mapper.Context context) setup 메소드- map 메소드가 호출되기 전에 먼저 딱 한번 호출되는 메소드로 map에서 필요한 리소스를 여기에서 할당하거나 map에서 필요한 선행 작업을 여기서 수행한다. public void clenaup(Mapper.Context context) cleanup 메소드 - setup 메소드의 반대 역할을 한다고 생각하면 된다. map 함수의 호출이 완료되면, 즉 모든 입력 레코드가 처리되면 마지막으로 한..

단어들을 카운트하는 프로그램을 구현해보았습니다. 맵리듀스 구조는 다음 그림과 같습니다. 소스 코드 https://github.com/jokerKwu/Hadoop/blob/master/WordCount.java 데이터 파일 결과 화면

WritableComparable 인터페이스를 구현한 Wrapper 클래스 목록 클래스명 데이터 타입 BooleanWritable Boolean ByteWritable 단일 Byte DoubleWritable Double FloatWritable Float IntWritable Int LongWritable Long TextWritable UTF-8 형식의 문자열 NullWritable 데이터 값이 필요없을 경우 사용 InputForamt (입력 포맷) 클래스란? 입력 파일을 어떻게 해석하는가를 결정한다. 입력 파일을 몇 개의 논리적인 InputSplit로 나눌지 결정하고 하나의 InputSplit에서 RecordReader 객체에 레코드 별로 키와 값으로 읽어드린다. 잡 클래스의 setInputForm..

하둡(Hadoop)이란? 하둡은 오픈소스로 제공되는 플랫폼으로 대규모 데이터 세트를 효율적으로 처리한다. 분산 시스템의 대표인 하둡은 하나의 서버에서 저장할 수 없는 엄청난 양의 데이터를 저장하기 위하여 수천 대의 서버를 네트워크로 묶어 마치 하나의 서버가 보유하고 있는 파일 시스템처럼 사용할 수 있는 분산 파일 시스템(Distributed File System)과 각 서버가 저장하고 있는 데이터를 동시에 병렬로 처리할 수 있는 분산 처리 시스템(Distributed Processing System)으로 구성되어 있다. 하둡에는 크게 3가지 프로젝트로 구성되어 있다. 하둡 공통 (Hadoop Common) : 하둡 프로젝트들의 기반이 되는 통신 방법 및 쉘 프로그램 등을 다루고 있다. 하둡 분산 파일 시..