개발바닥

단어들을 카운트하는 프로그램을 구현해보았습니다. 맵리듀스 구조는 다음 그림과 같습니다. 소스 코드 https://github.com/jokerKwu/Hadoop/blob/master/WordCount.java 데이터 파일 결과 화면

MapReduce 프로그램은 기본적으로 맵과 리듀스의 두 단계로 구성이 되고 맵과 리듀스 모두 입력으로 주어지는 데이터나 출력으로 내보내는 데이터가 모두 (key,value) 형태로 구성됩니다. 맵(Map) 의 기본 동작에 대해서 알아 보겠습니다. 일반적으로 데이터가 주어졌을 때 데이터를 라인별로 나누게 됩니다. 입력 레코드에 k1은 라인 번호이고 v1은 문장입니다. 맵에서 데이터를 가공해서 같은 키값을 갖는 레코드들을 모아서 리듀스로 하나의 입력으로 들어가게 됩니다. 리듀스 입력 레코드의 키는 맵의 출력 레코드의 키가 됩니다. 같은 키를 갖는 맵의 출력 레코드들의 밸류를 리스트로 만든 것이 리듀스 입력 레코드의 밸류가 됩니다. 리듀스는 맵의 처리결과를 보고 같은 키값을 갖는 것들에 대해 또 다른 작업을..

비지도 학습(Unsupervised learning) 이란? 학습 벡터에 목표값이 없을 때, 학습 데이터의 관계를 추론하여 학습을 진행하는 방식이다. 크게 두가지로 결과 값을 얻을 수 있다. 1. 연관 (Associations) 2. 군집화 (Clustering) 연관 규칙 (Association rule) 이란? 데이터베이스에 있는 어트리뷰트들간의 흥미 있는 연관성을 발견하는 데 사용된다. 연관 규칙은 support와 confidence를 통해서 값을 예측할 수 있다. support (지지도) - 전체 트랜잭션들에서 연관 규칙의 왼편 전제 조건과 오르편 결론이 모두 참이 되는 백분율 confidence (신뢰도) - 전체 트랜잭션들에서 연관 규칙의 왼편 전제 조건이 참일 때 오른편 결론이 참이 되는 백..

데이터 마이닝(Data Mining)이란? 컴퓨터 학습 기법들을 사용하여 데이터들로부터 지식(Knowledge)을 자동으로 분석하거나 추출하는 과정이라고 정의할 수 있다. 대용량의 데이터 내에 존재하는 관계,패턴,규칙 등을 찾아내 모형화 함으로써 유용한 지식을 추출하는 일련의 과정이다. 여러 가지 데이터 마이닝 기법들이 있지만 대부분 방법들은 귀납적 학습(induction-based learning)을 사용한다. (귀납적 학습이란? 학습되어질 개념의 세부 사례들을 관찰하여 그 것으로 일반화된 개념 정의를 만들어 가는 과정을 말한다.) 즉 데이터 마이닝을 간단하게 정의하자면 이미 알려지지 않은 것을 발굴한다고 생각하면 된다. 데이터 마이닝은 네 가지 프로세스로 정의할 수 있다. 1. 분석할 데이터를 수집하..

문제 https://www.acmicpc.net/problem/1940 실패한 이유 예외처리를 제대로 안해주어서 실패했습니다. 문제 해결 방법 set 라이브러리를 사용해서 문제를 해결하였습니다. 만들고자하는 갑옷에 필요한 숫자가 M 이라면 M - 재료 숫자 = 결과 값이 set에 없다면 재료 숫자를 set에 넣었습니다. 만약에 set에 결과 값이 존재하면 카운트를 했습니다. 소스 코드 https://github.com/jokerKwu/BOJ_Algorithm/blob/master/Math/BOJ_1940.cpp

WritableComparable 인터페이스를 구현한 Wrapper 클래스 목록 클래스명 데이터 타입 BooleanWritable Boolean ByteWritable 단일 Byte DoubleWritable Double FloatWritable Float IntWritable Int LongWritable Long TextWritable UTF-8 형식의 문자열 NullWritable 데이터 값이 필요없을 경우 사용 InputForamt (입력 포맷) 클래스란? 입력 파일을 어떻게 해석하는가를 결정한다. 입력 파일을 몇 개의 논리적인 InputSplit로 나눌지 결정하고 하나의 InputSplit에서 RecordReader 객체에 레코드 별로 키와 값으로 읽어드린다. 잡 클래스의 setInputForm..

https://www.acmicpc.net/problem/1357 문제 해결 방법 뒤집는 함수를 따로 구현을 해서 문제를 해결하였습니다. 소스 코드 https://github.com/jokerKwu/BOJ_Algorithm/blob/master/Math/BOJ_1357.cpp

머신러닝에는 여러 가지 종류가 있지만, 크게 세가지로 나눌 수 있다. 종류 설명 교사 학습 데이터와 함게 답을 입력 다른 데이터의 답을 예측 비교사 학습 데이터는 입력하지만 답은 입력하지 않는다. 다른 데이터의 규칙성을 찾는다. 강화 학습 부분적으로 답을 입력 데이터를 기반으로 최적의 답을 찾는다. 교사 학습(Supervised learning)이란? 훈련 데이터로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법이다. 데이터와 답을 함께 줘서 학습시켜 머신러닝 모델을 구축하면 새로운 데이터를 줬을때 답을 예측할 수 있다. 비교사 학습(Unsupervised learning)이란? 최종적으로 내야하는 답이 정해져 있지 않다는 것이 교사 학습과 다른 부분이다. 사람 없이 컴퓨터가 스스로 답이 정해져 ..