厦大数据库实验室博客

总结、分享、收获

实验室主页

数据挖掘 大数据，Spark 数据仓库 数据可视化 Scala Maven Shell Redis MySQL MapReduce Storm 大数据 NoSQL HDFS kettle sqoop d3.js VirturalBox Spark MongoDB 图计算 hama 大数据技术原理与应用 Kafka Hadoop Unix环境高级编程 Java Hive Ubuntu LaTex Pregel 林子雨 R CentOS 信息图 Zeppelin 机器学习 Linux Unix Python HBase flink

MapReduce编程实践(Hadoop3.3.5)

【版权声明】版权所有，请勿转载！
【相关文章推荐】《大数据软件安装和基础编程实践指南》，详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者：厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
本博客内容与林子雨编著《大数据技术原理与应用（第4版）》（访问教材官网）教材配套。
MapReduce是谷歌公司的核心计算模型，Hadoop开源实现了MapReduce。MapReduce将复杂的、运行于大规模集群上的并行计算过程高度抽象到了两个函数：Map和Reduce，并极大地方便了分布式编程工作，编程人员在不会分布式并行编程的情况下，也可以很容易将自己的程序运行在分布式系统上，完成海量数据的计算。
本教程以一个词频统计任务为主线，详细介绍MapReduce基础编程方法。环境是Ubuntu16.04（或Ubuntu18.04或Ubuntu20.04或Ubuntu22.04）、Hadoop3.3.5，开发工具是Eclipse。

继续阅读

HDFS编程实践（Hadoop3.3.5）

【版权声明】版权所有，请勿转载！
【相关文章推荐】《大数据软件安装和基础编程实践指南》，详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者：厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
本指南介绍Hadoop分布式文件系统HDFS，并详细指引读者对HDFS文件系统的操作实践。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用（第4版）》第3章节，再结合本指南进行学习。

继续阅读

Hadoop3.3.5安装教程_单机/伪分布式配置_Hadoop3.3.5/Ubuntu22.04(20.04/18.04/16.04)

【版权声明】版权所有，请勿转载！
【相关文章推荐】《大数据软件安装和基础编程实践指南》，详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者：厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
本博客内容与林子雨编著《大数据技术原理与应用（第4版）》（访问教材官网）教材配套。
Hadoop安装文件，可以到Hadoop官网下载hadoop-3.3.5.tar.gz。
也可以点击这里从百度网盘下载安装文件（提取码是ziyu，进入百度网盘后，在“软件”目录下找到hadoop-3.3.5.tar.gz）

继续阅读

大数据软件安装和基础编程实践指南（2023年7月版）

版权声明：版权所有，请勿转载。
博客：在VMWare中安装Linux虚拟机
作者：厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要：本博客介绍如何在Linux系统中安装各种大数据软件，包括Hadoop、HBase、Spark、Hive、Flink等，以及如何进行编程。本博客内容与林子雨编著《大数据技术原理与应用（第4版）》（访问教材官网）教材配套。

继续阅读

在VMWare中安装Linux虚拟机（2023年7月版本）

版权声明：版权所有，请勿转载。
【相关文章推荐】《大数据软件安装和基础编程实践指南》，详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
博客：在VMWare中安装Linux虚拟机
作者：厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要：本博客介绍如何在Windows系统中安装虚拟机软件VMWare，以及如何在VMWare中安装Linux虚拟机。

继续阅读

© 2014 厦大数据库实验室