大数据

数据智能体实践(采用Ollama本地大模型)

【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
相关链接:大数据软件安装和基础编程实践指南(2026年10月版)
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了数据智能体的构建方法,采用Ubuntu24.04系统、Ollama本地大模型、MySQL数据库、TraeCode和Python编程语言。

继续阅读

MapReduce基础编程实践(Hadoop 3.5.0和TRAE)

【版权声明】版权所有,请勿转载!

【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VMWare、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程

作者:厦门大学计算机系2025级硕士研究生郑楷阳
指导老师:厦门大学计算机系林子雨副教授

本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
MapReduce是一种分布式计算编程模型,Hadoop提供了它的开源实现。它把数据处理过程抽象为Map和Reduce两个主要阶段,使编程人员能够通过编写映射和归并逻辑完成并行计算。
本教程以词频统计任务为主线,介绍创建Java项目、添加依赖、编写程序、导出JAR以及读取HDFS上的输入数据进行计算的方法。
Hadoop需要提前完成安装和HDFS配置。Hadoop 3.5.0服务端要求Java 17,本教程的项目与Hadoop运行环境都使用JDK 17。
本次实际作业日志显示LocalJobRunner,即MapReduce任务在本机执行,输入和输出使用HDFS。

继续阅读

在Windows系统中通过FTP把文件上传到Ubuntu虚拟机里面

作者:厦门大学计算机系林子雨副教授
由于大多数大数据初学者对Windows系统比较熟悉,因此,本教程采用虚拟机方式安装Linux系统(这里采用Ubuntu系统)。如果读者还没有安装Linux虚拟机,请按照前面的Linux虚拟机安装方法完成Ubuntu系统安装。在后续的学习过程中,经常需要把一些资料从Windows系统中传输到Ubuntu系统中,因此,这里介绍具体的实现方法。

继续阅读

HBase2.6.7安装和编程实践指南

【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了HBase2.6.7的安装和使用方法。

继续阅读

Hadoop3.5.0安装教程_单机/伪分布式配置_Hadoop3.5.0/Ubuntu24.04

【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了Hadoop3.5.0的安装和使用方法。

继续阅读

大数据软件安装和基础编程实践指南(2026年10月版)

版权声明:版权所有,请勿转载。
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
摘要:本博客介绍如何在Linux系统中安装各种大数据软件,包括Hadoop、HBase、Spark、Hive、Flink、Milvus、Ollama等,以及如何进行编程。本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
软件下载地址:所有用到的软件,可以在第5版教材官网的“下载专区”的“软件”目录下进行下载。或者,也可以直接点击这个百度网盘链接下载所有软件。

继续阅读

Flink2.3.0安装和使用指南(2026年10月版本)

【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了Flink2.3.0的安装和使用方法,采用Java编程语言。

继续阅读

Spark4.2.0的安装和使用指南(2026年10月版本)

【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
相关链接:大数据软件安装和基础编程实践指南(2026年10月版)
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了Spark4.2.0的安装和使用方法,采用PySpark和Python编程语言。

继续阅读

向量数据库Milvus的安装和使用指南(2026年10月版本)

【版权声明】版权所有,请勿转载!
作者:厦门大学计算机系林子雨副教授
E-mail: ziyulin@xmu.edu.cn
【相关文章推荐】《大数据软件安装和基础编程实践指南》,详细指导VirtualBox、Ubuntu、Hadoop、HDFS、HBase、Hive、MapReduce、Spark、Flink的安装和基础编程
本博客内容与林子雨编著《大数据技术原理与应用(第5版)》(访问教材官网)教材配套。
本指南介绍了向量数据库Milvus的安装和使用方法。

继续阅读