版权声明:版权所有,请勿转载。
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要:本博客介绍如何在Linux系统中安装各种大数据软件,包括Hadoop、HBase、Spark、Hive、Flink、Milvus、Ollama等,以及如何进行编程。本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
软件下载地址:所有用到的软件,可以在第5版教材官网的“下载专区”的“软件”目录下进行下载。或者,也可以直接点击这个百度网盘链接下载所有软件。
厦门大学第28期全国高校“AI编程与智能体开发”教师研修班开始报名(2027年1月16日-22日,厦门大学)
林子雨编著《数字素养通识教程——大数据与人工智能时代的计算机通识教育》
大数据软件安装和基础编程实践指南(2023年7月版)
版权声明:版权所有,请勿转载。
博客:在VMWare中安装Linux虚拟机
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要:本博客介绍如何在Linux系统中安装各种大数据软件,包括Hadoop、HBase、Spark、Hive、Flink等,以及如何进行编程。本博客内容与林子雨编著《大数据技术原理与应用(第4版)》(访问教材官网)教材配套。
备注:改版后的《大数据技术原理与应用(第5版)》教材预计在2027年6月上市销售,与第5版教材配套的大数据软件安装和基础编程指南(2026年10月版)已经发布。
本站所有重要博客索引(可以快速找到你想要阅读的文章)
本站提供了大量大数据学习博客,为了方便读者找到自己感兴趣的文章,特地制作了本索引。
基于Scala语言的Spark数据处理分析案例集锦
【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
基于Scala语言的Spark数据处理分析案例集锦
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨、赖永炫、陶继平编著《Spark编程基础(Scala版,第2版)》(访问教材官网)
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)
(1)基于泰坦尼克号生还数据的Spark数据处理分析
(2)基于美剧《权力的游戏》剧集数据的Spark数据处理分析
(3)基于Covid-19传播数据的Spark数据处理分析
(4)基于DOTA2 Matches数据集的Spark数据处理分析
(5)基于音乐数据的Spark数据处理与分析
(6)基于咖啡连锁店的Spark数据处理分析
(7)基于Spark的气象监测数据分析
(8)基于Spark的厦门市市民球场处理与分析
(9)基于Spark的Google Play应用商店数据分析
(10)基于Spark的淘宝数据分析
(11)基于Spark的电信客户流失分析
(12)基于Spark的NBA球员数据分析
基于Python语言的Spark数据处理分析案例集锦(PySpark)
【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
基于Python语言的Spark数据处理分析案例集锦(PySpark)
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版,第2版)》(访问教材官网)
相关案例:基于Scala语言的Spark数据处理分析案例集锦
(1)基于YELP数据集的商业数据分析
(2)2020年美国新冠肺炎疫情数据分析
(3)基于零售交易数据的Spark数据处理与分析
(4)基于地震数据的Spark数据处理与分析
(5)基于Spark的地震数据处理与分析
(6)基于信用卡逾期数据的Spark数据处理与分析
(7)基于 TMDB 数据集的电影数据分析
(8)厦门租房信息分析展示
(9)基于Spark的气象数据处理与分析
(10)基于Spark的音乐专辑数据分析展示
(11)基于CO2排放量数据集的数据分析及可视化
(12)Bilibili网站“每周必看”栏目数据分析
(13)基于电影数据的PySpark数据处理与分析
(14)基于Spark的NBA球员数据分析
(15)基于英国航空公司客户反馈数据的PySpark数据处理与分析
(16)基于Spark的中风数据处理与分析
(17)基于Spark的1996-2022多赛季NBA球员数据分析
(18)基于Spark与大型语言模型的融合应用
(19)基于Python和Spark的淘宝展示广告点击率预估
(20)基于Spark的书籍推荐数据处理与分析
(21)基于Spark的PUBG游戏统计数据分析
(22)基于大模型和Spark的B站数据分析
子雨大数据之Spark入门教程(Scala版)


【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!版权所有,侵权必究!
Spark最初诞生于美国加州大学伯克利分校(UC Berkeley)的AMP实验室,是一个可应用于大规模数据处理的快速、通用引擎。2013年,Spark加入Apache孵化器项目后,开始获得迅猛的发展,如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一(即Hadoop、Spark、Storm)。Spark最初的设计目标是使数据分析更快——不仅运行速度快,也要能快速、容易地编写程序。为了使程序运行更快,Spark提供了内存计算,减少了迭代计算时的IO开销;而为了使编写程序更为容易,Spark使用简练、优雅的Scala语言编写,基于Scala提供了交互式的编程体验。虽然,Hadoop已成为大数据的事实标准,但其MapReduce分布式计算模型仍存在诸多缺陷,而Spark不仅具备Hadoop MapReduce所具有的优点,且解决了Hadoop MapReduce的缺陷。Spark正以其结构一体化、功能多元化的优势逐渐成为当今大数据领域最热门的大数据计算平台。
在Ubuntu中安装Anaconda3
版权声明:版权所有,请勿转载。
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
博客:在Ubuntu中安装Anaconda3
作者:厦门大学计算机系林子雨副教授
Ubuntu24.04中自带的Python版本是3.7,太旧,大数据实验需要3.11及以上版本的Python,这里采用安装Anaconda3来管理Python。
Hadoop集群安装配置教程(Hadoop 3.5.0 Ubuntu版)
【版权声明】版权所有,请勿转载!
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者:厦门大学计算机系2025级硕士研究生郑楷阳
指导老师:厦门大学计算机系林子雨副教授
数据智能体实践(采用Ollama本地大模型)
【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
相关链接:大数据软件安装和基础编程实践指南(2026年10月版)
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了数据智能体的构建方法,采用Ubuntu24.04系统、Ollama本地大模型、MySQL数据库、TraeCode和Python编程语言。
MapReduce基础编程实践(Hadoop 3.5.0和TRAE)
【版权声明】版权所有,请勿转载!
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
作者:厦门大学计算机系2025级硕士研究生郑楷阳
指导老师:厦门大学计算机系林子雨副教授
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
MapReduce是一种分布式计算编程模型,Hadoop提供了它的开源实现。它把数据处理过程抽象为Map和Reduce两个主要阶段,使编程人员能够通过编写映射和归并逻辑完成并行计算。
本教程以词频统计任务为主线,介绍创建Java项目、添加依赖、编写程序、导出JAR以及读取HDFS上的输入数据进行计算的方法。
Hadoop需要提前完成安装和HDFS配置。Hadoop 3.5.0服务端要求Java 17,本教程的项目与Hadoop运行环境都使用JDK 17。
本次实际作业日志显示LocalJobRunner,即MapReduce任务在本机执行,输入和输出使用HDFS。
HDFS编程实践(Hadoop3.5.0)
【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了HDFS的编程和使用方法。对应于第5版教材的第4章分布式文件系统HDFS。
在Ubuntu系统中安装Anaconda3
作者:厦门大学计算机系林子雨副教授
在VMWare中安装Linux虚拟机(2026年10月版本)
版权声明:版权所有,请勿转载。
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
博客:在VMWare中安装Linux虚拟机
作者:厦门大学计算机系2025级硕士研究生郑楷阳
指导老师:厦门大学计算机系林子雨副教授
摘要:本博客介绍如何在Windows系统中安装虚拟机软件VMware,在VMware中安装Linux虚拟机,以及安装VMware Tools以便使用主机与虚拟机之间的桌面交互功能。
在Windows系统中通过FTP把文件上传到Ubuntu虚拟机里面
作者:厦门大学计算机系林子雨副教授
由于大多数大数据初学者对Windows系统比较熟悉,因此,本教程采用虚拟机方式安装Linux系统(这里采用Ubuntu系统)。如果读者还没有安装Linux虚拟机,请按照前面的Linux虚拟机安装方法完成Ubuntu系统安装。在后续的学习过程中,经常需要把一些资料从Windows系统中传输到Ubuntu系统中,因此,这里介绍具体的实现方法。
备注:安装前面的教材“在VMWare中安装Linux虚拟机”,安装好Linux虚拟机以后,是可以直接在Windows和Linux系统之间复制粘贴文件的,不需要使用FTP来传输文件,但是,有些机器会碰到无法使用复制粘贴的问题,这时,就需要使用FTP来传输文件。
在Ubuntu中安装TRAE
作者:厦门大学计算机系林子雨副教授
在Ubuntu中安装Ollama大模型
作者:厦门大学计算机系 林子雨 副教授
Ollama是一个开源的本地大语言模型(LLM)运行工具,支持 Windows、macOS、Linux等平台。它让你无需联网和复杂配置,一键下载、运行并管理各类开源模型,如Llama、Qwen、Gemma等。通过简单的命令行即可拉取模型、启动服务,还提供Python等API接口,方便开发者集成到应用中,是本地部署AI应用的热门选择。
