本教程将教导大家如何用Node.js语言搭建一个Web端文件词频统计动态网页。
教程需求
在网页中指定词频文件路径，利用网页点击提交，提交后程序自动运行WordCount的MapReduce程序的JAR包，对HDFS中的文件进行词频统计，并把统计结果显示在网页上。
继续阅读
Spark2.1.0入门：模型选择和超参数调整(Python版)
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
Spark 2.1.0 入门：协同过滤算法(Python版)
Spark 2.1.0 入门：高斯混合模型(GMM)聚类算法(Python版)
Spark 2.1.0 入门：KMeans聚类算法(Python版)
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
KMeans 是一个迭代求解的聚类算法，其属于 划分（Partitioning） 型的聚类方法，即首先创建K个划分，然后迭代地将样本从一个划分转移到另一个划分来改善最终聚类的质量。
继续阅读
Spark 2.1.0入门：决策树分类器(Python版)
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
[返回Spark教程首页]
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
一、方法简介
决策树（decision tree）是一种基本的分类与回归方法，这里主要介绍用于分类的决策树。决策树模式呈树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。学习时利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。
继续阅读
Spark2.1.0入门：逻辑斯蒂回归分类器(Python版)
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
[返回Spark教程首页]
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
逻辑斯蒂回归
方法简介
逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的，也可以是多分类的。
Spark 2.1.0 入门：分类与回归
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
Spark 2.1.0 入门：特征选取–卡方选择器(Python版)
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
特征选择（Feature Selection）指的是在特征向量中选择出那些“优秀”的特征，组成新的、更“精简”的特征向量的过程。它在高维数据分析中十分常用，可以剔除掉“冗余”和“无关”的特征，提升学习器的性能。
继续阅读
Spark2.1.0 入门：特征变换–标签和索引的转化(Python版)
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》
在机器学习处理过程中，为了方便相关算法的实现，经常需要把标签数据（一般是字符串）转化成整数索引，或是在计算结束后将整数索引还原为相应的标签。
继续阅读