Author: 郑, 楷阳

MapReduce基础编程实践(Hadoop 3.5.0和TRAE)

【版权声明】版权所有,请勿转载!

【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程

作者:厦门大学计算机系2025级硕士研究生郑楷阳
指导老师:厦门大学计算机系林子雨副教授

本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
MapReduce是一种分布式计算编程模型,Hadoop提供了它的开源实现。它把数据处理过程抽象为Map和Reduce两个主要阶段,使编程人员能够通过编写映射和归并逻辑完成并行计算。
本教程以词频统计任务为主线,介绍创建Java项目、添加依赖、编写程序、导出JAR以及读取HDFS上的输入数据进行计算的方法。
Hadoop需要提前完成安装和HDFS配置。Hadoop 3.5.0服务端要求Java 17,本教程的项目与Hadoop运行环境都使用JDK 17。
本次实际作业日志显示LocalJobRunner,即MapReduce任务在本机执行,输入和输出使用HDFS。

继续阅读

在VMWare中安装Linux虚拟机(2026年10月版本)

版权声明:版权所有,请勿转载。

【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程

博客:在VMWare中安装Linux虚拟机

作者:厦门大学计算机系2025级硕士研究生郑楷阳
指导老师:厦门大学计算机系林子雨副教授

摘要:本博客介绍如何在Windows系统中安装虚拟机软件VMware,在VMware中安装Linux虚拟机,以及安装VMware Tools以便使用主机与虚拟机之间的桌面交互功能。

继续阅读