[硕士论文] 垂直搜索引擎的设计与实现

西北工业大学硕士学位论文第二章垂直搜索引擎的结构

罔圜国：：：闰；

爬虫软件

（＇Ｌ上３

原始数据库

—丁厂一

索引器

可索引数据库

检索器』上＜二＿１二）

ｎ

用户接口

ｊｒ

用户

图２－４垂直搜索引擎的体系结构

２．３．１搜集子系统

搜集子系统的功能是在互联网中漫游、发现和搜集信息。它常常是一个计算

机程序（也称为ｓｐｉｄｅｒ，ｃｒａｗｌｅｒ和ｒｏｂｏｔ等），日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上信息更新很快，所以还要定期访问已经搜集过的旧信息，以避免死链接和无效链接。由于互联网中存】０