大数据

大数据技术原理与应用 第十章 数据可视化 学习指南

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍了数据可视化的相关教程以及现下一些比较流行的解决方案。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第10章节,再结合本指南进行学习。

数据可视化是现今比较成熟的大数据领域,有很多公司都推出了成熟易用的数据可视化平台,用户可以通过简单的操作完成繁杂的数据可视化过程达到很好的效果。

继续阅读

大数据原理与应用 第五章 NoSQL数据库 学习指南

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍NoSQL数据库使用方法。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第5章 NoSQL数据库,再结合本指南进行学习。

继续阅读

大数据原理与应用 第七章 MapReduce 学习指南

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍MapReduce基本编程方法。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第7章节(MapReduce),再结合本指南进行学习。

继续阅读

数据可视化中级教程

数据可视化作为大数据分析的最后一环,直接影响着我们对大数据的分析和使用。相比于枯燥无味的文字描述,数据可视化将大数据集中的数据以图形图像的形式表示,并利用数据分析和开发工具发现数据之间的关系,挖掘数据中潜在的价值。而数据中蕴含的价值,对于企业领导决策具有重要的参考价值。

继续阅读

Spark快速入门指南 – Spark安装与基础使用


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce 的处理速度快 100 倍。此外,Spark 提供了简单易用的 API,几行代码就能实现 WordCount。本教程主要参考官网快速入门教程,介绍了 Spark 的安装,Spark shell 、RDD、Spark SQL、Spark Streaming 等的基本使用。

继续阅读

Hama图计算模型

Hame是Google Pregel的开源实现,与Hadoop适合于分布式大数据处理不同,Hama主要用于分布式的矩阵、graph、网络算法的计算。简单说,Hama是在HDFS上实现的BSP(Bulk Synchronous Parallel)计算框架,弥补Hadoop在计算能力上的不足。本教程主要介绍hama的单机模式安装配置以及用hama解决一些算法问题。

继续阅读

大数据技术原理与应用 第十四章 基于Hadoop的数据仓库Hive 学习指南(旧版已经废弃)

这是废弃的旧版,请点击这里访问新版学习指南

【版权声明:本指南为厦门大学林子雨开设的《大数据技术原理与应用》课程新增配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍了Hive,并详细指引读者安装Hive。 前面第几章学习指南已经指导大家安装Linux操作系统,并安装配置了Hadoop,但是这只表明我们已经安装好了Hadoop分布式文件系统,而Hive需要另外下载安装,本指南就是详细指导大家安装并配置Hive,完成后大家可以结合厦门大学林子雨开设的《大数据技术原理与应用》课程第14章节进行深入学习。

继续阅读

使用Maven编译运行Storm入门代码(Storm starter)

Storm 官方提供了入门代码(Storm starter),即 Storm安装教程 中所运行的实例(storm-starter-topologies-0.9.6.jar),该入门代码位于 /usr/local/storm/examples/storm-starter/ 中,包含多个例子,对于学习 Storm 很有帮助。同时官方也有给出了详细的使用说明(上述目录下的 README.markdown 文件),本教程基本是按照官方使用说明来介绍如何使用 Maven 来编译代码,以运行于 Storm 中。

继续阅读

Storm安装教程_CentOS6.4/Storm0.9.6

分布式实时流计算框架 Storm 广泛应用于实时日志分析、个性化推荐、实时监控等应用场景中。本教程介绍了如何在单机上安装、运行 Storm。本教程在 CentOS 6.4 系统、Storm 0.9.6 版本的环境中验证通过,理论上同样适用于 Ubuntu 等 Linux 系统。

本教程的具体运行环境如下:

  • CentOS 6.4
  • Storm 0.9.6
  • Java JDK 1.7
  • ZooKeeper 3.4.6
  • Python 2.6

继续阅读