[翻译][Spark In Action 中文版][Spark 实战 ]1.4 Spark 生态

1.4 Spark 生态


我们已经提到了Hadoop生态系统,包括接口,分析,集群管理和基础设施工具。 一些最重要的如图1.6所示。
图1.6不是完整的7你可能会说我们没有添加一个工具,但是一个完整的工具列表将很难适应这一节。 但我们认为,这个列表代表了Hadoop生态系统中最突出的工具的一个很好的子集。

1-6-paymoon-com

1.6 Hadoop生态系统中的基本基础架构,接口,分析和管理工具,以及Spark整合或过时的一些功能

如果您将Spark组件的功能与Hadoop生态系统中的工具进行比较,您可以看到一些工具突然变得多余。例如,Apache Giraph可以替换为Spark GraphX,而Spark MLlib可以替代Apache Mahout。 Apache Storm的功能与Spark Streaming的功能大不相同,因此在许多情况下可以使用Spark Streaming。
不再需要Apache Pig和Apache Sqoop,因为Spark Core和Spark SQL涵盖了相同的功能。但是即使你有传统的Pig工作流,并且需要运行Pig,Spork项目也允许你运行Pig on Spark。


本文http://www.paymoon.com:8001/index.php/2016/12/27/spark-ecosystem/

如果转载请联系 龙遥Yol  i@paymoon.com


Spark没有办法替换Hadoop生态系统工具(Oozie,HBase和ZooKeeper)的基础架构和管理。 Oozie用于调度不同类型的Hadoop作业,现在甚至有一个扩展来调度Spark作业。 HBase是一个分布式和可扩展的数据库,这是Spark不提供的东西。 ZooKeeper提供了许多分布式应用程序需要的常用功能的快速和强大的实现,例如协调,分布式同步,命名和提供组服务。它也用于许多其他分布式系统中的这些目的。
Impala和Drill可以与Spark共存,特别是Drill支持Spark作为执行引擎。但它们更像是竞争框架,主要跨越Spark Core和Spark SQL的功能,这使得Spark特性更加丰富(双关)。
我们之前说过Spark不需要使用HDFS存储。除了HDFS,Spark可以对存储在Amazon S3存储桶和纯文件中的数据进行操作。更令人兴奋的是,它也可以使用Alluxio(以前的Tachyon),这是一个以内存为中心的分布式文件系统或其他分布式文件系统,如GlusterFS。

 

另一个有趣的事实是,Spark不必在YARN上运行。 Apache Mesos和Spark独立集群是Spark的替代集群管理器。 Apache Mesos是一个带有分布式资源抽象的高级分布式系统内核。它可以扩展到具有完全容错的成千上万个节点(我们将在第12章中访问它)。 Spark Standalone是Spark特有的集群管理器,今天在多个站点上使用。
因此,如果我们从MapReduce切换到Spark,并摆脱YARN和所有的工具,Spark使过时,Hadoop生态系统剩下什么?换句话说:我们是否正在慢慢迈向新的大数据标准:Spark生态系统?


本文http://www.paymoon.com:8001/index.php/2016/12/27/spark-ecosystem/

如果转载请联系 龙遥Yol  i@paymoon.com


Spark 实战更多文章:[翻译]Spark In Action – PayMoon贝明实验室

[翻译]Spark In Action

发表评论

电子邮件地址不会被公开。