Author: 林子雨老师

MapReduce编程实践(Hadoop3.3.5)

【版权声明】版权所有,请勿转载!
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
本博客内容与林子雨编著《大数据技术原理与应用(第4版)》(访问教材官网)教材配套。
MapReduce是谷歌公司的核心计算模型,Hadoop开源实现了MapReduce。MapReduce将复杂的、运行于大规模集群上的并行计算过程高度抽象到了两个函数:Map和Reduce,并极大地方便了分布式编程工作,编程人员在不会分布式并行编程的情况下,也可以很容易将自己的程序运行在分布式系统上,完成海量数据的计算。
本教程以一个词频统计任务为主线,详细介绍MapReduce基础编程方法。环境是Ubuntu16.04(或Ubuntu18.04或Ubuntu20.04或Ubuntu22.04)、Hadoop3.3.5,开发工具是Eclipse。

继续阅读

HDFS编程实践(Hadoop3.3.5)

【版权声明】版权所有,请勿转载!
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
本指南介绍Hadoop分布式文件系统HDFS,并详细指引读者对HDFS文件系统的操作实践。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用(第4版)》第3章节,再结合本指南进行学习。

继续阅读

Hadoop3.3.5安装教程_单机/伪分布式配置_Hadoop3.3.5/Ubuntu22.04(20.04/18.04/16.04)

【版权声明】版权所有,请勿转载!
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
本博客内容与林子雨编著《大数据技术原理与应用(第4版)》(访问教材官网)教材配套。
Hadoop安装文件,可以到Hadoop官网下载hadoop-3.3.5.tar.gz。
也可以点击这里从百度网盘下载安装文件(提取码是ziyu,进入百度网盘后,在“软件”目录下找到hadoop-3.3.5.tar.gz)

继续阅读

大数据软件安装和基础编程实践指南(2023年7月版)

版权声明:版权所有,请勿转载。
博客:在VMWare中安装Linux虚拟机
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要:本博客介绍如何在Linux系统中安装各种大数据软件,包括Hadoop、HBase、Spark、Hive、Flink等,以及如何进行编程。本博客内容与林子雨编著《大数据技术原理与应用(第4版)》(访问教材官网)教材配套。

继续阅读

在VMWare中安装Linux虚拟机(2023年7月版本)

版权声明:版权所有,请勿转载。
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
博客:在VMWare中安装Linux虚拟机
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要:本博客介绍如何在Windows系统中安装虚拟机软件VMWare,以及如何在VMWare中安装Linux虚拟机。

继续阅读