文本挖掘及其应用

时间：2026-01-25

应用技术

文本挖掘及其应用

蒋良孝

，蔡之华

（中国地质大学计算机科学与技术系，武汉"#$$%"）

摘

要：文本挖掘是指利用数据挖掘技术，从大量的文本数据中提取感兴趣的、潜在的有用模式和隐藏的信息。

本文详细阐述了文本挖掘的功能、文本挖掘的过程、文本挖掘的应用，并在文章最后介绍了文本挖掘的工具及演示实例。

关键词：文本挖掘；数据挖掘；文档

引言

随着网络和连机出版的发展，文本数据出现爆炸性增长，能获得的文本信息的集合是如此巨大，以至于不能进行简单的阅读和分析；并且在当今海量的文本数据中，只有很少的一部分与某个用户相关，而不清楚文档的内容，又很难形成有效的查询。可见，传统的信息检索技术已经不能适应日益增加的大量的文本数据处理的需要。从原则上讲，可以在任何类型的信息存储上进行数据挖掘，从而提取知识。然而，大部分数据挖掘工具是在集成的、一致的和清理过的、也就是“二手”的数据上进行。如关系数据库的数据挖掘主要与存储在经过净化和一定预处理的关系数据库中进行，并且实质上与结构化的数据协同工作。在现实世界中，知识不仅以传统数据库中的结构化数据的形式出现，而且以诸如书籍、研究论文、新闻文章、/01页面及电子邮件等各种各样的形式出现。由于在这些非结构化的数据源中也存在着大量的知识，因此也应该在这些数据源上进行数据挖掘，提取感兴趣的、潜在的有用模式和隐藏的信息，这就是文本挖掘。文本挖掘可以完成不同文档的比较，以及文档重要性和相关性排列，或者找出多文档的模式及趋势。因此，文本挖掘就成为了数据挖掘中的一个日益流行且重要的研究课题。

湖北省自然科学基金项目资助（编号：8基金项目：+,,29::,,;）

2文本挖掘的功能

在当今世界，一个人或一个组织所获得的文本

信息集合十分巨大，而且文本信息集合还在不断地更新和增加。这样，信息检索等技术就不能适应当今文本信息处理的需要，所以，必须用文本挖掘技术来解决这一难题。文本挖掘可以对大量文档集合的内容进行总结、分类、聚类、关联分析、分布分析以及趋势预测等。

（文本总结2）

文本总结是指从文档中抽取关键信息，用简洁的形式对文档内容进行摘要或解释。这样，用户不需要浏览全文就可以了解文档或文档集合的总体内容。文本总结在有些场合十分有用，例如，搜索引擎在向用户返回查询结果时，通常需要给出文档的摘要。目前，绝大部分搜索引擎采用的方法是简单地截取文档的前几行。

现

代文本分类是指按照预先定义的主题类别，为文

计档集合中的每个文档确定一个类别。这样，用户不

算

但能够方便地浏览文档，而且可以通过限制搜索范

机

围来使文档的查找更为容易。目前，345667通过人

（总工来对/01的文档进行分类，这大大影响了索引

第的页面数目。利用文本分类技术可以对大量文档

一进行快速、有效的自动分类。

五七期"#!!"#$%&’()*$%+,,-.+

）

（文本分类+）

应用技术

（文本聚类-）

文本聚类与文本分类的不同之处在于，聚类没有预先定义好主题类别，它的目标是将文档集合分成若干个簇，要求同一簇内文档内容的相似度尽可能地大，而不同簇间的相似度尽可能地小。/01234等人的研究已经证明了“聚类假设”，即与用户查询相关的文档通常会聚类得比较靠近，而远离与用户查询不相关的文档。因此，我们可以利用文本聚类技术将搜索引擎的检索结果划分为若干个簇，用户只需要考虑那些相关的簇，大大缩小了所需要浏览的结果数量。

（关联分析5）

关联分析是指从文档集合中找出不同词语之间的关系。6278提出了一种从大量文档中发现一对词语出现模式的算法，并用来在90:上寻找作者和书名的出现模式，从而发现了数千本在;<1=>8网站上找不到的新书籍。918?等人以90:上的电影介绍作为测试文档，通过使用"$!模型从这些半结构化的页面中抽取词语项，进而得到一些关于电影名称、导演、演员、编剧的出现模式。

（分布分析@）

分布分析是指通过对文档的分析，得到特定数据在某个历史时刻的分布情况。如A0BC<18等人使用多种分布模型对路透社的两万多篇新闻进行了挖掘，得到主题、国家、组织、人、股票交易之间的相对分布。

（趋势预测D）

趋势预测是指通过对文档的分析，得到特定数据将来的取值趋势。如9E4F27GF等人通过分析

文档集合

有用模式

特征表示

特征选择

模式挖掘

模式评价

人的维数，使得特征子集的选取成为文本挖掘过程中必不可少的一个环节。在完成文档特征向量维数的缩减后，便可利用数据挖掘的各种方法来提取面向特定应用目的的知识模式，最后对获取的知识模型进行质量评价。若评价的结果满足一定的要求，则存储该知识模式；否则就返回到以前的某个环节，分析改进后进行新一轮的挖掘工作。

图H文本挖掘的过程