【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!
在机器学习处理过程中,为了方便相关算法的实现,经常需要把标签数据(一般是字符串)转化成整数索引,或是在计算结束后将整数索引还原为相应的标签。
Spark ML包中提供了几个相关的转换器,例如:StringIndexer
、IndexToString
、OneHotEncoder
、VectorIndexer
,它们提供了十分方便的特征转换功能,这些转换器类都位于org.apache.spark.ml.feature
包下。
值得注意的是,用于特征转换的转换器和其他的机器学习算法一样,也属于ML Pipeline模型的一部分,可以用来构成机器学习流水线,以StringIndexer
为例,其存储着进行标签数值化过程的相关 超参数,是一个Estimator
,对其调用fit(..)
方法即可生成相应的模型StringIndexerModel
类,很显然,它存储了用于DataFrame
进行相关处理的 参数,是一个Transformer
(其他转换器也是同一原理)。
由于Spark2.0起,SQLContext
、HiveContext
已经不再推荐使用,改以SparkSession
代之,故本文中不再使用SQLContext
来进行相关的操作,关于SparkSession
的具体详情,这里不再赘述,可以参看Spark2.0的官方文档。
Spark2.0以上版本的spark-shell
在启动时会自动创建一个名为spark
的SparkSession
对象,当需要手工创建时,SparkSession
可以由其伴生对象的builder()
方法创建出来,如下代码段所示:
- import org.apache.spark.sql.SparkSession
- val spark = SparkSession.builder().
- master("local").
- appName("my App Name").
- getOrCreate()
和SQLContext
一样,也可以开启RDD
的隐式转换:
- import spark.implicits._
下面对几个常用的转换器依次进行介绍。