网络爬虫的设计与实现(4)

天津大学本科生毕业设计（论文）开题报告

四.研究内容 本课题研究的内容是如何使网络爬虫灵活高效。 1.如何具备更强的抓取能力。 2.如何分辨重复的网页内容。 3.如何确定主题相关性。 4.对于网络时延等的处理。 五.研究方法 网络爬虫应用宽度搜索技术。对 url 进行分析，去重。网络爬虫使用多线程 技术，让爬虫具备更强大的抓取能力。网络爬虫还要完成信息提取任务，对于抓 取回来的网页提取出来新闻等信息。对网络爬虫的连接网络设置连接及读取时 间，避免无限制的等待。研究网络爬虫的原理并实现爬虫的相关功能。 六.研究手段 参考网上开源的网络爬虫和各种网络爬虫相关的书籍， windows 系统环境 在 下开发。 五.本课题进度安排： 2010.12.20—2011.03.10 查阅资料完成任务书 ，完成开题报告 2011.03.11—2011.03.12 开题报告会 2011.03.13—2011.04.24 查阅资料，进行论文基本章节的写作，完成初稿， 并完成进行代码编写 2011.04.25—2011.04.30 毕业设计中期报告会 2011.05.01—2011.05.22 系统设计结束并再次检查系统的可靠性。 2011.05.23—2011.06.22 完成论文及答辩 六.

本课题可行性分析 网络爬虫目前已经比较普遍，国内外有众多对网络爬虫的研究成果，大部分 的技术难题已经有解决方案。所以本课题的可行性较高。

八.实验条件 Windows 操作系统 ；互联网 九.主要参考文献

[1]Winter.中文搜索引擎技术解密：网络蜘蛛 [M].北京：人民邮电出版社， 2004 年. [2]Sergey 等.The Anatomy of a Large-Scale Hypertextual Web Search Engine [M].北京：清华大学出版社，1998 年. [3]Wisenut.WiseNut Search Engine white paper [M].北京：中国电力出版 社，2001 年. [4]Gary R.Wright W.Richard Stevens.TCP-IP 协议详解卷 3:TCP 事务协议， HTTP,NNTP 和 UNIX 域协议 [M].北京：机械工业出版社，2002 年 1 月. [5]罗刚 王振东.自己动手写网络爬虫[M].北京：清华大学出版社，2010 年 10 月. [6]李晓明，闫宏飞，王继民.搜索引擎：原理、技术与系统——华夏英才基金 学术文库[M].北京：科学出版社，2005 年 04 月.

选题是否合适： 是□ 课题能否实现： 能□

否□ 不能□ 指导教师(签字) 年 月 日

选题是否合适： 是□ 课题能否实现： 能□

否□ 不能□ 审题小组组长(签字) 年 月 日

摘 要

本课题的主要目的是设计面向主题的网络爬虫程序，同时需要满足的是具有一定的性能，考虑到网络爬虫的各种需求。

网络爬虫应用宽度搜索技术。对url进行分析，去重。网络爬虫使用多线程技术，让爬虫具备更强大的抓取能力。对网络爬虫的连接网络设置连接及读取时间，避免无限制的等待。为了适应不同需求，使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能。

关键词：网络爬虫；面向主题；多线程