개발바닥

요즘 기업에서 빅데이터를 활용하여 제품 개선, 소비자 분석, 동향 예측을 통해서 수익을 올리고 있고,빅데이터 처리와 하둡의 이용이 꾸준히 증가하고 있으며, 데이터 분석 및 IoT 관련 예산도 점차 증가하고 있는 추세이다.빅데이터 개념에 대해서 알아보겠습니다. 빅데이터란 무엇인가?기존 데이터베이스 관리 도구의 데이터 수집, 저장, 관리, 분석의 역량을 넘어서는 대량의 정형 또는 비정형 데이터 세트 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술로 정의하고 있다. 처음에는 데이터 규모와 기술 측면에서 출발했으나 빅데이터의 가치와 활용 효과 측면으로 의미가 확대되는 추세이다. 대표적인 사례로 빅데이터를 활용한 심야버스 노선이 구축된 사례가 있다.휴대폰 통화량을 기반으로 한 KT의 유동인구 데이터와..

MapReduce 프로그램은 기본적으로 맵과 리듀스의 두 단계로 구성이 되고 맵과 리듀스 모두 입력으로 주어지는 데이터나 출력으로 내보내는 데이터가 모두 (key,value) 형태로 구성됩니다. 맵(Map) 의 기본 동작에 대해서 알아 보겠습니다. 일반적으로 데이터가 주어졌을 때 데이터를 라인별로 나누게 됩니다. 입력 레코드에 k1은 라인 번호이고 v1은 문장입니다. 맵에서 데이터를 가공해서 같은 키값을 갖는 레코드들을 모아서 리듀스로 하나의 입력으로 들어가게 됩니다. 리듀스 입력 레코드의 키는 맵의 출력 레코드의 키가 됩니다. 같은 키를 갖는 맵의 출력 레코드들의 밸류를 리스트로 만든 것이 리듀스 입력 레코드의 밸류가 됩니다. 리듀스는 맵의 처리결과를 보고 같은 키값을 갖는 것들에 대해 또 다른 작업을..