hadoop中map如何输出-创新互联

这篇文章主要为大家展示了“hadoop中map如何输出”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hadoop中map如何输出”这篇文章吧。

Mapper 的输入官方文档如下

The Mapper outputs are sorted and then partitioned per Reducer. The total number of partitions is the same as the number of reduce tasks for the job. Users can control which keys (and hence records) go to which Reducer by implementing a custom Partitioner.

mapper的输出是已经排序并且针对每个reducer划分开的，那么hadoop代码是如何划分的，这里将跟从代码分析。

还是根据官方示例WordCount的示例

第一次分析为了简化map的输出复杂情况，

只分析一个文档，并且其中只有10个'单词'，分别为“J", .."c", "b", "a" ( 这里10个字母最好是乱序的，后面会看到其排序)，

注释掉设置combine class的代码。

1. 单步跟踪map中的context.write（生产kvbuffer 和kvmeta）

可以追踪到最终实际是由org.apache.hadoop.mapred.MapTask.MapOutputBuffer.collect(K, V, int）

这里因为我们的output 只有10个Record 且每个大小都比较小，所以跳过了spill了处理以及combine处理，主要代码如下，

public synchronized void collect(K key, V value, final int partition ) throws IOException {

{

    ...

    keySerializer.serialize(key);

    ...

    valSerializer.serialize(value);

    ....       kvmeta.put(kvindex + PARTITION, partition);       kvmeta.put(kvindex + KEYSTART, keystart);

       kvmeta.put(kvindex + VALSTART, valstart);

       kvmeta.put(kvindex + VALLEN, distanceTo(valstart, valend));    ...

}

这里实际是将（K,V） 序列化到了byte数组org.apache.hadoop.mapred.MapTask.MapOutputBuffer.kvbuffer 中，

并将（K,V）在内存中的位置信息 以及 其partition(相同partition的record由同一个reducer处理) 消息 存在 kvmeta 中.

到此map的输出都存在了内存中

2. 通过查找kvmeta的代码索引， 找到消费kvbuffer和kvmeta代码，生产spillRecv到indexCacheList

可以找到在 org.apache.hadoop.mapred.MapTask.MapOutputBuffer.sortAndSpill() 中找到有使用，设置断点，看到如下，

private void sortAndSpill() throws IOException, ClassNotFoundException,   InterruptedException {    ...

sorter.sort(MapOutputBuffer.this, mstart, mend, reporter);

    ...

    for (int i = 0; i < partitions; ++i) {

    ...

         if (combinerRunner == null) {

             // spill directly             DataInputBuffer key = new DataInputBuffer();

             while (spindex < mend &&

                 kvmeta.get(offsetFor(spindex % maxRec) + PARTITION) == i) {

               ....

                writer.append(key, value);

               ++spindex;

             }

          }     ...

         spillRec.putIndex(rec, i);

    }

    ...

indexCacheList.add(spillRec);

    ...}

这里有三个操作，

1. Sorter.sort ：是以partition 和key 来排序的,目的是聚合相同partition的record, 并以key的顺序排列。

2. writer.append : 将序列化的record 写入输出流，这里写入到文件spill0.out

3. indexCacheList.add : 每个spillRec记录某个spill out文件中包含的partition信息。

3. 查找消费indexCacheList的代码，org.apache.hadoop.mapred.MapTask.MapOutputBuffer.mergeParts()

在此设置断点，可以看到这里我们只有一个spill文件，不需要merge，

这里只是唯一的spillRec 写入到到文件中, file.out.index

将spill0.out 重命名为file.out， 可以vim打开这个文件看到里面存在顺序号的字符。

   private void mergeParts() throws IOException, InterruptedException,    ClassNotFoundException {

...

sameVolRename(filename[0],

           mapOutputFile.getOutputFileForWriteInVolume(filename[0]));...

    indexCacheList.get(0).writeToFile(

           mapOutputFile.getOutputIndexFileForWriteInVolume(filename[0]), job);

...}

总结如下：

1. map的输出首先序列化到内存中kvbuffer，kvmeta

2. sortAndSpill 会将内存中的record写入到文件中

3. merge将spill出的文件merge问一个文件file.out，并将每个文件中partition的信息写入file.out.index

还没分析的情况：

map 输出大量数据，出现多个spill 文件的复杂情况的细节（1. 异步spill， 2. merge 多个文件）

以上是“hadoop中map如何输出”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。