网络爬虫的设计与实现(2)

毕业设计（论文）任务书

题目：网络爬虫设计与实现

学生姓名 张凤龙

学院名称 软件学院

专 业 软件工程

学 号指导教师 陈锦言

职 称 讲师

一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目的等。）

互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。所以需要一个能基于主题搜索的满足特定需求的网络爬虫。

为了解决上述问题，参照成功的网络爬虫模式，对网络爬虫进行研究，从而能够为网络爬虫实现更深入的主题相关性，提供满足特定搜索需求的网络爬虫。

二、参考文献

[1]Winter．中文搜索引擎技术解密：网络蜘蛛 [M]．北京：人民邮电出版社，2004年．

[2]Sergey等．The Anatomy of a Large-Scale Hypertextual Web Search Engine

[M]．北京：清华大学出版社，1998年．

[3]Wisenut．WiseNut Search Engine white paper [M]．北京：中国电力出版社，2001年．

[4]Gary R.Wright W.Richard Stevens．TCP-IP协议详解卷3：TCP事务协议，HTTP，NNTP和UNIX域协议 [M]．北京：机械工业出版社，2002 年1月.

[5]罗刚 王振东．自己动手写网络爬虫[M]．北京：清华大学出版社，2010年10月.

[6]李晓明，闫宏飞，王继民．搜索引擎：原理、技术与系统——华夏英才基金学术文库[M]．北京：科学出版社，2005年04月.