大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章给大家分享的是有关spark mllib如何实现TF-IDF的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
成都创新互联公司长期为上千多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为无锡企业提供专业的网站制作、网站设计,无锡网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。
package spark.FeatureExtractionAndTransformation import org.apache.spark.mllib.feature.{HashingTF, IDF} import org.apache.spark.{SparkContext, SparkConf} /** * TF-IDF 是一种简单的文本特征提取算法 * 词频(Term Frequency): 某个关键词在文本中出现的次数 * 逆文档频率(Inverse Document Frequency): 大小与一个词的常见程度成反比 * TF = 某个词在文章中出现的次数/文章的总词数 * IDF = log(查找的文章总数 / (包含该词的文章数 + 1)) * TF-IDF = TF(词频) x IDF(逆文档频率) * 此处未考虑去除停用词(辅助词,如副词,介词等)和 * 语义重构("数据挖掘","数据结构",拆分成"数据","挖掘","数据","结构") * 这样两个完全不同的文本具有 50% 的相似性,是非常严重的错误. * Created by eric on 16-7-24. */ object TF_IDF { val conf = new SparkConf() //创建环境变量 .setMaster("local") //设置本地化处理 .setAppName("TF_IDF") //设定名称 val sc = new SparkContext(conf) def main(args: Array[String]) { val documents = sc.textFile("/home/eric/IdeaProjects/wordCount/src/main/spark/FeatureExtractionAndTransformation/a.txt") .map(_.split(" ").toSeq) val hashingTF = new HashingTF() //首先创建TF计算实例 val tf = hashingTF.transform(documents).cache()//计算文档TF值 val idf = new IDF().fit(tf) //创建IDF实例并计算 val tf_idf = idf.transform(tf) //计算TF_IDF词频 tf_idf.foreach(println) // (1048576,[179334,596178],[1.0986122886681098,0.6931471805599453]) // (1048576,[586461],[0.1823215567939546]) // (1048576,[422129,586461],[0.6931471805599453,0.1823215567939546]) // (1048576,[586461,596178],[0.1823215567939546,0.6931471805599453]) // (1048576,[422129,586461],[0.6931471805599453,0.1823215567939546]) } }
hello mllib spark goodBye spark hello spark goodBye spark
感谢各位的阅读!关于“spark mllib如何实现TF-IDF”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!