RapidMiner教程(更新版)

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

RapidMiner5简易教程

广东外语外贸大学

杜剑峰

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

1、RapidMiner简介v v v

RapidMiner,以前叫YALE (Yet Another Learning Environment)。 RapidMinder提供的实验由大量的算子组成，使用图形化的用户接口可以将这些算子以积木块的方式搭建成系统。 RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。——百度百科下载地址：http://www.77cn.com.cn/content/view/26/201/注意使用Update RapidMiner功能添加 Text Preprocessing和Weka构件，或者下载构件压缩包放置lib\plugins子目录中

v v

1、RapidMiner简介(续1)v

欢迎界面

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

1、RapidMiner简介(续2)

v

操作界面

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

2、预测建模

v

操作界面(建立分类模型并使用外部测试集评估模

型)

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

3、交叉验证

v

操作界面(主进程)

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

3、交叉验证(续)

v

结果界面

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

停用词移除v

英语中很多经常使用的词在信息检索和文本挖掘中是没有用的–这些词称作停用词. the, of, and, to,…. 典型地有400到500个这样的词 对于特定应用,可以构造一个附加的领域依赖的停

用词表.v

为什么需要移除停用词? 减少索引 (或数据)文件的大小v停用词占20-30%的总词量.

提高效率和有效性 v停用词对于搜索或文本挖掘是没有用的. v它们还可能迷惑检索系统.

词干提取v

词干提取是简化单词的技术,用于将单词变成它们的词根或词干.比如, user users used using

engineering engineered engineer

v

词干:

use

engineer

用处: v提高信息检索和文本挖掘的有效性 匹配相似的单词 主要提高查全率 v

减少索引的大小 合并相同词干的单词可以将索引大小减少到40-50%.

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

基本的词干提取方法使用一组规则.比如, v移除词尾 若单词以一个不是s的辅音字母再跟s结尾,则删除

s. 若单词以es结尾,则去掉s. 若单词以ing结尾,则除非余下部分仅有一

个字母或者是th,否则删除ing. 若单词以ed结尾,并且ed前面是一个辅音字母,则除非仅剩下一个字母,否则删除ed. …...v

变换单词 若单词以ies而不是eies或aies结尾,则将ies改成y.

频率统计+ TF-IDFv

统计文档中某个单词出现的总次数. 使用出现次数表示单词在文档中的相对重要性. 若单词在文档中经常出现,则文档很可能阐述的

是关联于该单词的主题.v

统计在文档集中包含某个单词的文档数目. 若单词出现在数据集的很多文档中,则它可能并

不是很重要,或者说没有区别度.v

然后计算TF-IDF,将文档转换成向量空间模型.

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说明,比上一版本更清晰和准确。注意安装RapidMiner后要装载Text Processing和Weka插件包才能体验该教程的所有功能。

向量空间模型

一个文档同样看作是一组词. v每个文档被表示成一个权值向量.

v但是, 权值不再是0或1. 每个词的权值基于词频率(TF)表或词

逆向文档频率(TF-IDF)表或它们的变异版本计算得到.

vv

词频率(TF)表:文档dj中的ti权值就是在dj中ti出现的次数, 记作fij. 在此基础上还可以进行标准化.

这一版本的RapidMiner教程在上一版本(图示教程)的基础上增加了关联分析部分和一些文字说 …… 此处隐藏：881字，全部文档内容请下载后查看。喜欢就下载吧 ……