[翻译][Spark In Action][Spark 实战 ]1.1 Spark是什么
1.1 Spark 是什么
Apache Spark 是一种令人兴奋的新技术,它迅速取代Hadoop 的MapReduce 作为首选大数据处理平台。
Hadoop 是一个开源的,分布式的Java 计算框架,由Hadoop 分布式文件系统(HDFS)和MapReduce 的执行引擎组成。[……]
1.1 Spark 是什么
Apache Spark 是一种令人兴奋的新技术,它迅速取代Hadoop 的MapReduce 作为首选大数据处理平台。
Hadoop 是一个开源的,分布式的Java 计算框架,由Hadoop 分布式文件系统(HDFS)和MapReduce 的执行引擎组成。[……]
接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足[……]
最近看到一篇关于Spark架构的博文,作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道,他对Spark理解地非常深入,读完他的 “spark-architecture” 这篇博文,有种醍醐灌顶的感觉,从JVM内存分配到Spark集群的资源管理,步步深入,感触颇多。因[……]
Supervised learning problems are categorized into “regression” and “classification” problems. In a regression problem, we are trying to predict re[……]
原文: Overview of Recommender Algorithms
本文:http://www.paymoon.com:8001/index.php/2016/07/28/the-components-of-a-recommender-system
作者: MAYA.HRISTAK[……]
This post goes over doing a few aggregations on streaming data using Spark Streaming and Kafka. We will be setting up a local environment for the purp[……]
今天打开mongo, 结果在命令行输入mongo后,报错如下
1 2 3 4 5 6 |
[root@www ~]# mongo MongoDB shell version: 2.6.11 connecting to: test 2015-10-11T00:08:04.694+0800 warning: Failed to connect to 127.0.0.1:27017, reason: errno:111 Connection refused 2015-10-11T00:08:04.694+0800 Error: couldn't connect to server 127.0.0.1:27017 (127.0.0.1), connection attempt failed at src/mongo/shell/mongo.js:146 exception: connect failed |
四步
1 2 |
sudo rm /var/lib/mongo/mongod.lock |
论文翻译第七篇第二部分
来源:http://www.paymoon.com/index.php/2015/09/07/scalable-sql-and-nosql-data-stores2/
全部论文翻译请在Git上查阅,欢迎加入我们
Git地址:https://github.co[……]
1 本篇博文是在Centos6单点上安装MongoDB
2 root用户
1 |
vim /etc/yum.repos.d/mongodb.repo |
[crayon-5c6e7a3d9b65a[……]