[翻译][Spark In Action][Spark 实战 ]1.1 Spark是什么

1.1  Spark 是什么

Apache Spark 是一种令人兴奋的新技术,它迅速取代Hadoop 的MapReduce 作为首选大数据处理平台。

Hadoop 是一个开源的,分布式的Java 计算框架,由Hadoop 分布式文件系统(HDFS)和MapReduce 的执行引擎组成。[……]

[yol出品] 全文阅读 >>

[分布式计算]开发与实现(二)

实时计算

接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足[……]

[yol出品] 全文阅读 >>

Spark体系架构/内存分配/集群模式JVM分配/Partition

最近看到一篇关于Spark架构的博文,作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道,他对Spark理解地非常深入,读完他的 “spark-architecture” 这篇博文,有种醍醐灌顶的感觉,从JVM内存分配到Spark集群的资源管理,步步深入,感触颇多。因[……]

[yol出品] 全文阅读 >>

Failed to connect to 127.0.0.1:27017 reason: errno:111 connection attempt failed at src/mongo/shell/mongo.js:146

背景

今天打开mongo, 结果在命令行输入mongo后,报错如下

解决方法

四步

1) Remove .lock file

2) repair the[……]

[yol出品] 全文阅读 >>

【大数据百篇论文翻译07_02/07】【中英双语】非结构化(NOSQL)数据存储SCALABLE SQL AND NOSQL DATA STORES

论文翻译第七篇第二部分

来源:http://www.paymoon.com/index.php/2015/09/07/scalable-sql-and-nosql-data-stores2/

全部论文翻译请在Git上查阅,欢迎加入我们

Git地址:https://github.co[……]

[yol出品] 全文阅读 >>

[翻译+整理]在CentOS 6上安装MongoDB|Installing MongoDB on CentOS 6

安装之前说明

1 本篇博文是在Centos6单点上安装MongoDB

2 root用户

开始安装

1 增加MongoD存储仓库

 

A: 如果机器是64位,写入

[crayon-5a6605d1a7a3a[……]

[yol出品] 全文阅读 >>