大数据

大数据技术原理与应用 第二章 大数据处理架构Hadoop 学习指南


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍Linux的选择方案,并详细指引读者根据自己选择的Linux系统安装Hadoop。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第2章节,再结合本指南进行学习。

继续阅读

可视化工具Tableau简易教程

在目前的互联网界,大数据是非常火的一块领域,并且已经渗入到生活的方方面面。然而面对庞大的数据,如果只是用表格或者文本来显示数据,那么数据将不易阅读,而且很难看出数据间的关系。Tableau是一款数据可视化工具,托放式的操作,精美的图表,让这款软件在大数据可视化方面大放光彩。本教程是Tableau简易教程,向大家介绍Tableau以及指导大家简易操作Tableau。

继续阅读

D3可视化库的使用指南

D3 的全称是(Data-Driven Documents),顾名思义可以知道是一个被数据驱动的文档。听名字有点抽象,说简单一点,其实就是一个 JavaScript 的函数库,使用它主要是用来做数据可视化的。本教程主要介绍D3一些最基本的使用方法,以及生成一些比较简单的图表。学习 D3 最好的地方是:http://d3js.org/

继续阅读

使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用 Eclipse,我们可以直接对 HDFS 中的文件进行操作,可以直接运行代码,省去许多繁琐的命令。

继续阅读

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过... 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java,但较新的 2.X 版本中,已经没有 hadoop-core*.jar 这个文件,因此编辑和打包自己的MapReduce程序与旧版本有所不同。

本文以 Hadoop 2.6.0 单机模式环境下的 WordCount 实例来介绍 2.x 版本中如何编辑自己的 MapReduce 程序。

继续阅读

Hadoop 2.4.1单机版 自定义实现类以及编译运行

概述

博主最近在学hadoop,而且在本实验室一位大神的指导下,我已配置好hadoop2.4.1开发环境,还没有配置或者不会配置的,请看链接hadoop单机版配置。由于之前运行的都是hadoop自带的实例,但是对于个人学习而言,肯定是要自己编写实现类以及编译运行实现类,因此博主就撰写了这篇文章,希望对学习hadoop的同道中人有所帮助。

继续阅读