谷歌三大核心技术（二）Google MapReduce中文版

bsr666

本帖最后由甲骨论于 2018-1-24 15:03 编辑

MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。

MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理集群中计算机之间必要的通信。采用MapReduce架构可以使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源。

我们的MapReduce实现运行在规模可以灵活调整的由普通机器组成的集群上：一个典型的MapReduce计算往往由几千台机器组成、处理以TB计算的数据。程序员发现这个系统非常好用：已经实现了数以百计的MapReduce程序，在Google的集群上，每天都有1000多个 MapReduce程序在执行。

游客，如果您要查看本帖隐藏内容请回复

P4 · 发表于 2018-7-26 09:42:24

谢谢分享，顶一个

P4 · 发表于 2017-5-8 09:11:40

感谢楼主分享

P4 · 发表于 2017-5-3 12:34:56

谢谢分享，顶一个

P4 · 发表于 2017-4-15 08:28:42

谢谢分享，收藏了

P4 · 发表于 2017-2-10 22:29:05

谢谢分享

P4 · 发表于 2017-2-10 16:09:31

哈哈哈哈哈

P3 · 发表于 2017-2-10 10:11:12

学习学习

P4 · 发表于 2016-12-28 10:25:17

好东西啊，谢谢啊

P4 · 发表于 2016-12-24 10:27:05

很不错，谢谢分享

图文精华

谷歌三大核心技术（二）Google MapReduce中文版