[翻译][Spark In Action][Spark 实战 ]1.1.2 MapReduce 缺点

1.1.2 MapReduce 缺点

虽然Hadoop是当今大数据革命的基础,并且被积极使用和维护,但它仍然有它的缺点,他们主要关于它的Map-Reduce组件。 MapReduce作业结果需要存储在HDFS中,才能被其他作业使用。 由于这个原因,MapReduce本身就不适合迭代算法。

此外,许多种类的问题不容易适合MapReduce的两步模式,并将每个问题分解为一系列这两个操作可能很困难。 有时,API可能很麻烦。


本文http://www.paymoon.com:8001/index.php/2016/12/27/mapreduces-shortcomings/

如果转载请联系 龙遥Yol  i@paymoon.com


Hadoop是一个相当低级的框架,所以无数的工具已经出现了:用于导入和导出数据的工具,用于操作数据的高级语言和框架,用于实时处理的工具等。 它们都带来额外的复杂性和要求,这使任何环境复杂化。 Spark解决了许多这些问题。

发表评论

电子邮件地址不会被公开。