大橙子网站建设,新征程启航

为企业提供网站建设、域名注册、服务器等服务

SparkMLlib的APICountVectorizer怎么用

这篇文章主要介绍“Spark MLlib的API CountVectorizer怎么用”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Spark MLlib的API CountVectorizer怎么用”文章能帮助大家解决问题。

专注于为中小企业提供网站制作、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业当雄免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了成百上千企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

CountVectorizer

CountVectorizer  CountVectorizerModel旨在帮助将文本文档集合转化为频数向量。当先验词典不可用时,CountVectorizer可以用作Estimator提取词汇表,并生成一个CountVectorizerModel。该模型会基于该字典为文档生成稀疏矩阵,该稀疏矩阵可以传给其它算法,比如LDA,去做一些处理。

在拟合过程中,CountVectorizer会从整个文档集合中进行词频统计并排序后的前vocabSize个单词。

一个可选参数minDF也会影响拟合过程,方法是指定词汇必须出现的文档的最小数量(或小于1.0)。另一个可选的二进制切换参数控制输出向量。如果设置为true,则所有非零计数都设置为1.这对于模拟二进制计数而不是整数计数的离散概率模型特别有用。

举例说明该算法

假如我们有个DataFrame有两列:id和texts。

id

texts

0

Array("a", "b",  "c")

1

Array("a", "b",  "b", "c", "a")

每一行texts都是一个Array [String]类型的文档。使用字典(A,B,C)调用CountVectorizer产生CountVectorizerModel。然后转换后的输出列“向量”包含

vector列:

id

texts

vector

0

Array("a", "b",  "c")

(3,[0,1,2],[1.0,1.0,1.0])

1

Array("a", "b",  "b", "c", "a")

(3,[0,1,2],[2.0,2.0,1.0])

将两篇文档中的词去重后就组成了一个字典,这个字典中有3个词:a,b,c,分别建立索引为0,1,2. 
在第三列的文档向量,是由基于字典的索引向量,与对应对索引的词频向量所组成的。 
文档向量是稀疏的表征,例子中只有3个词可能感觉不出,在实际业务中,字典的长度是上万,而文章中出现的词可能是几百或几千,故很多索引对应的位置词频都是0.

spark中的源码

导包

import org.apache.spark.ml.feature.{CountVectorizer, CountVectorizerModel}

准备数据

val df = spark.createDataFrame(Seq(
 (0, Array("a", "b", "c")),
 (2, Array("a", "b", "c", "c", "a"))
)).toDF("id", "words")

从全文集中拟合CountVectorizerModel(自动计算字典)

val cvModel: CountVectorizerModel = new CountVectorizer()
 .setInputCol("words")
 .setOutputCol("features")
 .setVocabSize(3)
 .setMinDF(2).fit(df)

查看结果

cvModel.transform(df).show(false)

Spark MLlib的API CountVectorizer怎么用

指定预先字典

val cvm = new CountVectorizerModel(Array("a", "b", "c"))
.setInputCol("words").setOutputCol("features")

为了避免重复,重新造一组数据

val df = spark.createDataFrame(Seq(
 (0, Array("a", "b", "c")),
 (2, Array("a", "b", "c", "c", "a"))
)).toDF("id", "words")

查看结果

cvm.transform(df).show(false)

Spark MLlib的API CountVectorizer怎么用

关于“Spark MLlib的API CountVectorizer怎么用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注创新互联行业资讯频道,小编每天都会为大家更新不同的知识点。


网站题目:SparkMLlib的APICountVectorizer怎么用
链接URL:http://dzwzjz.com/article/ppghpd.html
在线咨询
服务热线
服务热线:028-86922220
TOP