MapReduce(맵리듀스) - Combiner
MapReduce에서 Map단계의 중간결과물인 쌍들은해당 키값에 대한 Reduce처리를 하는 노드로 전송되고(shuffle단계) 합병된다.(Sort단계)이 과정에서 해당 결과물을 처리하는 Reducer가 다른 노드에 있다면 네트워크전송이 불가피하게 일어나게 된다.Combiner를 정의함으로써 다른 노드로 전송되는 중간결과값들을 먼저 처리하고 줄일 수 있다. 예시 1987,10,14,3,741,730,912,849,PS,1451,NA,91,79,NA,23,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA 1987,10,15,4,729,730,903,849,PS,1451,NA,94,79,NA,14,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA...생략..
더보기