MapReduce涉及类介绍及常用类型

1、常用类：

[v_act]InputFormat类：[/v_act]
该类的作用是将输入的文件和数据分割成许多小的split文件，并将split的每个行通过LineRecorderReader解析成,通过job.setInputFromatClass()函数来设置，默认的情况为类TextInputFormat，其中Key默认为字符偏移量，value是该行的值。

[v_act]Mapper类：[/v_act]
根据输入的对生成中间结果，默认的情况下使用Mapper类，该类将输入的对原封不动的作为中间按结果输出，通过job.setMapperClass()实现。实现Map函数。

[v_act]Combine类：[/v_act]
实现combine函数，该类的主要功能是合并相同的key键，通过job.setCombinerClass()方法设置，默认为null，不合并中间结果。实现map函数

程序员导航

优网导航旗下整合全网优质开发资源，一站式IT编程学习与工具大全网站

立即访问

[v_act]Partitioner类： [/v_act]
该该主要在Shuffle过程中按照Key值将中间结果分成R份，其中每份都有一个Reduce去负责，可以通过job.setPartitionerClass()方法进行设置，默认的使用hashPartitioner类。实现getPartition函数

[v_act]Reducer类：[/v_act]
将中间结果合并，得到中间结果。通过job.setReduceCalss()方法进行设置，默认使用Reducer类，实现reduce方法。

[v_act]OutPutFormat类：[/v_act]
该类负责输出结果的格式。可以通过job.setOutputFormatClass()方法进行设置。默认使用TextOUtputFormat类，得到对。

2、数据类型：