厦大数据库实验室博客 | 总结、分享、收获

大数据原理与应用第七章 MapReduce 学习指南

本指南介绍MapReduce基本编程方法。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第7章节(MapReduce)，再结合本指南进行学习。

数据可视化中级教程

数据可视化作为大数据分析的最后一环，直接影响着我们对大数据的分析和使用。相比于枯燥无味的文字描述，数据可视化将大数据集中的数据以图形图像的形式表示，并利用数据分析和开发工具发现数据之间的关系，挖掘数据中潜在的价值。而数据中蕴含的价值，对于企业领导决策具有重要的参考价值。

继续阅读

大数据原理与应用第四章分布式数据库HBase 学习指南

【版权声明：本指南为厦门大学林子雨编著的《大数据技术原理与应用（第2版）》教材配套学习资料，版权所有，转载请注明出处，请勿用于商业用途】
继续阅读

点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了 Spark 的安装，Spark shell 、RDD、Spark SQL、Spark Streaming 等的基本使用。

继续阅读

Hama图计算模型

Hame是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。简单说，Hama是在HDFS上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。本教程主要介绍hama的单机模式安装配置以及用hama解决一些算法问题。

继续阅读

大数据技术原理与应用第十四章基于Hadoop的数据仓库Hive 学习指南（旧版已经废弃）

这是废弃的旧版，请点击这里访问新版学习指南。

本指南介绍了Hive，并详细指引读者安装Hive。前面第几章学习指南已经指导大家安装Linux操作系统，并安装配置了Hadoop，但是这只表明我们已经安装好了Hadoop分布式文件系统，而Hive需要另外下载安装，本指南就是详细指导大家安装并配置Hive，完成后大家可以结合厦门大学林子雨开设的《大数据技术原理与应用》课程第14章节进行深入学习。

继续阅读

解决Maven、sbt无法下载依赖包的问题

在编写使用 Maven 编译运行 Storm 代码教程时遇到了一个比较棘手的问题，首次编译代码需要下载相应的依赖包，有时会下载失败，一直以为多试几次就可以，但后来发现，并非是简单的网络问题，依赖包链接（clojars.org）在浏览器中可以打开，却始终无法通过 Maven 进行下载。困扰了好几天终于解决了，在此记录一下遇到的问题以及解决方法。

继续阅读

使用Maven编译运行Storm入门代码(Storm starter)

Storm 官方提供了入门代码（Storm starter），即 Storm安装教程中所运行的实例（storm-starter-topologies-0.9.6.jar），该入门代码位于 /usr/local/storm/examples/storm-starter/ 中，包含多个例子，对于学习 Storm 很有帮助。同时官方也有给出了详细的使用说明（上述目录下的 README.markdown 文件），本教程基本是按照官方使用说明来介绍如何使用 Maven 来编译代码，以运行于 Storm 中。

继续阅读