[翻译][Spark In Action][Spark 实战 ]1.1.1 Spark 发展史

1.1.1 Spark 发展史

虽然过去十年看到Hadoop的广泛采用,Hadoop不是没有它的缺点。 它是强大的,但它处理速度很慢。 这为新技术(如Spark)开辟了道路,以解决Hadoop面临的相同问题,但Spark 更高效。 在接下来的几页中,我们将讨论Hadoop的缺点,以及Spark[……]

[yol出品] 全文阅读 >>

[翻译][Spark In Action][Spark 实战 ]1.1 Spark是什么

1.1  Spark 是什么

Apache Spark 是一种令人兴奋的新技术,它迅速取代Hadoop 的MapReduce 作为首选大数据处理平台。

Hadoop 是一个开源的,分布式的Java 计算框架,由Hadoop 分布式文件系统(HDFS)和MapReduce 的执行引擎组成。[……]

[yol出品] 全文阅读 >>

[翻译][Spark In Action][Spark 实战 ]Apache Spark 介绍

本章涵盖

Spark带来了什么

Spark组件

Spark程序流

Spark生态系统

下载并启动spark-in-action虚拟机

Apache Spark是一个快速,通用的分布式计算平台。听起来像市场宣传,然而这确实是最适合他的标签。

Apache Spark真的给大数[……]

[yol出品] 全文阅读 >>

[翻译][Spark In Action]Spark 实战 开篇首要

我们从这本书开始介绍Apache Spark及其丰富的API。了解第1部分中的信息对于编写高质量的Spark程序非常重要,并且是本书其余部分的良好基础。
第1章大致描述了Spark的主要特性,并将它们与Hadoop的MapReduce和Hadoop生态系统中的其他工具进行了比较。它还包括我们为您准备的spark-in-action虚拟机的说明,您可以使用它来运行书中的示例。


本文http://www.paymoon.com:8001/index.php/2016/12/27/spark-in-action-first-step/

如果转载请联系 龙遥Yol  i@paymoon.com


第2章进一步探讨VM,教你如何使用Spark的命令行界面(spark-shell),并使用几个例子来解释弹性分布式数据集(RDDs) – Spark中的中心抽象。
在第3章中,您将学习如何将Eclipse设置为编写独立的Spark应用程序。然后你将编写一个这样的应用程序来分析GitHub日志并通过将它提交到Spark集群来执行应用程序。
第4章更详细地探讨了Spark核心API。具体来说,它展示了如何使用键值对,并解释了Spark中数据分区和混排的工作原理。它还教你如何分组,排序和连接数据,以及如何使用累加器和广播变量。

[……]

[yol出品] 全文阅读 >>

[分布式计算]开发与实现(二)

实时计算

接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足[……]

[yol出品] 全文阅读 >>

[分布式计算]开发与实现(一)

介绍

分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。

海量计算最开始的方案是提高单机计算性能,如大型机,后来由于数[……]

[yol出品] 全文阅读 >>

13 个问题带你深入了解 Mesos

Apache Mesos 是一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行 Hadoop、MPI、Hypertable、Spark。

13 个问题带你深入了解 Mesos

(问答来自 OSChina 开源中国社区第 100 期高手问答 —— Apache Mesos)[……]

[yol出品] 全文阅读 >>

Kubernetes和Mesos集成实战部署

Kubernetes是一个跨多个计算节点的管理容器化应用的系统,它提供了一系列基本的功能,如应用的自动化部署,维护和扩展等。Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。把Kubernetes运行在Mesos集群之上,可以和其他的框架共享集群资源,提高集群资源的利用[……]

[yol出品] 全文阅读 >>