MapReduce

使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用 Eclipse,我们可以直接对 HDFS 中的文件进行操作,可以直接运行代码,省去许多繁琐的命令。

继续阅读

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过... 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java,但较新的 2.X 版本中,已经没有 hadoop-core*.jar 这个文件,因此编辑和打包自己的MapReduce程序与旧版本有所不同。

本文以 Hadoop 2.6.0 单机模式环境下的 WordCount 实例来介绍 2.x 版本中如何编辑自己的 MapReduce 程序。

继续阅读

Hadoop 2.4.1单机版 自定义实现类以及编译运行

概述

博主最近在学hadoop,而且在本实验室一位大神的指导下,我已配置好hadoop2.4.1开发环境,还没有配置或者不会配置的,请看链接hadoop单机版配置。由于之前运行的都是hadoop自带的实例,但是对于个人学习而言,肯定是要自己编写实现类以及编译运行实现类,因此博主就撰写了这篇文章,希望对学习hadoop的同道中人有所帮助。

继续阅读