基于倒排索引的关系数据库全文检索查询效率研究

北京工业大学

硕士学位论文

基于倒排索引的关系数据库全文检索查询效率研究

姓名：吕晓旭

申请学位级别：硕士

专业：计算机应用技术

指导教师：朱青

20090501

摘要

摘要

作为近年来的研究热点，全文检索领域取得了很多新成果和新突破。尤其以文本数据库为代表的新技术，在各项性能上有了突飞猛进的发展，并能满足当今大部分的文本检索需求。但是当面对全文检索和结构化数据检索的双重需求时，许多功能比较单一的文本数据库就显得力不从心。另一方面，除一些费用昂贵的商用关系数据库（Ｏｒａｃｌｅ，ＤＢ２等）外，以ＰｏｓｔｇｒｅＳＱＬ为代表的开源关系数据库，在全文检索性能表现上显得十分不足，不能很好的满足全文检索的需要。所以寻找一种即能够满足全文检索和结构化数据检索的双重需求，且价格低廉的方案就显得具有重要的现实意义。

为了满足以上需求，本论文研究了已有的全文检索研究成果，并根据倒排索引模型的原理，对ＰｏｓｔｇｒｃＳＱＬ关系数据库的全文检索方法进行了深入的分析，发现其在查询性能上有很大提升空间。通过对ＰｏｓｔｇｒｅＳＱＬ全文检索索引结构和检索流程的学习和研究，本文找到了其全文检索性能不佳的原因，同时提出一套基于倒排索引的ＰｏｓｔｇｒｅＳＱＬ数据库全文检索改进方案。这套方案主要包括倒排索引结构的改造、索引的扫描方法等内容。

最后，根据对比测试结果，改进后的ＰｏｓｔｇｒｃＳＱＬ全文检索性能有了很大提升，它满足了全文检索和结构化检索的双重需求，证明了从内部改进开源关系数据库，以达到课题目标的可行性。关键字：全文检索；倒排索引；ＰｏｓｔｇｒｅＳＱＬ

北京川ｋ人学Ｉ：学硕十学何论文

Ａｂｓｔｒａｃｔ

Ｔｈｅｓｅｙｅａｒｓ，ａｓａｈｏｔｓｐｏｔｔｈｅｒｅｓｅａｒｃｈｏｆｆｕｌｌ－ｔｅｘｔｓｅａｒｃｈｇｅｔａｌｏｔｏｆｎｅｗａｃｈｉｅｖｅｍｅｎｔｓａｎｄｂｒｅａｋｔｈｒｏｕｇｈｓ．Ｉｎｐａｒｔｉｃｕｌａｒ，ｐｅｒｆｏｒｍａｎｃｅｏｆ

ｇｒｅａｔｌｙｔｅｘｔｄａｔａｂａｓｅｈａｓｂｅｅｎｉｎｐｒｏｖｅｄ，ａｎｄｉｔｍｅｅｔｓｔｈｅｍｏｓｔｒｅｑｕｉｒｅｍｅｎｔｏｆｔｈｅＴｅｘｔＲｅｔｒｉｅｖａｌ．Ｈｏｗｅｖｅｒ，ｉｔｉｓｔｏｏｈａｒｄｔｏｍｅｅｔｒｅｑｕｉｒｅｍｅｎｔｏｆｔｈｅ

ｄａｔａｒｅｔｒｉｅｖａｌｆｏｒ

ｅｘｃｅｐｔｊｏｉｎｔｉｎｑｕｉｒｉｅｓｏｆｆｕｌｌ—ｔｅｘｔｓｅａｒｃｈａｎｄｓｔｒｕｃｔｕｒｅｍａｎｙｔｅｘｔｄａｔａｂａｓｅｓｗｈｉｃｈｈａｓｓｉｎｇｌｅｆｕｎｃｔｉｏｎ．Ｏｎｔｈｅｏｔｈｅｒｈａｎｄ，ｓｏｍｅｅｘｐｅｎｓｉｖｅｃｏｍｍｅｒｃｉａｌ

ｂｙＲＤＢＭＳ（Ｏｒａｃｌｅ，ＤＢ２，ｅｔｃ．），ｏｐｅｎｐｏｏｒｓｏｕｒｃｅＲＤＢＭＳｒｅｐｒｅｓｅｎｔｅｄＰｏｓｔｇｒｅＳＱＬｍａｋｅ

ｔｏｐｅｒｆｏｒｍａｎｃｅｏｎｆｕｌｌ—ｔｅｘｔｓｅａｒｃｈ．Ｓｏｔｈａｔｉｔｈａｓｇｒｅａｔｓｉｇｎｉｆｉｃａｎｃｅｆｉｎｄａｌｏｗ－ｃｏｓｔａｐｐｒｏａｃｈｅｔｏｍｅｅｔｔｈｅｄｏｕｂｌｅ

ｒｅｑｕｉｒｅｍｅｎｔｓｏｆｆｕｌｌ ｔｅｘｔｓｅａｒｃｈａｎｄｓｔｒｕｃｔｕｒｅｄａｔａｒｅｔｒｉｅｖａｌ．

Ｉｎｏｒｄｅｒｔｏｍｅｅｔｔｈｅ

ｒｅｓｅａｒｃｈｒｅｑｕｉｒｅｍｅｎｔｓ

ｏｎａｂｏｖｅ—ｍｅｎｔｉｏｎｅｄ，ｔｈｉｓｐａｐｅｒｈａｓｓｔｕｄｉｅｄｔｈｅｔｈｅｎａｃｈｉｅｖｅｍｅｎｔｏｆｆｕｌｌ—ｔｅｘｔｓｅａｒｃｈ，ａｎｄａｎａｌｙｚｅｓＰｏｓｔｇｒｅＳＱＬｆｕｌｌ—ｔｅｘｔｓｅａｒｃｈｍｅｔｈｏｄｗｈｉｃｈｉｓｂａｓｅｄ

ａｉｎｖｅｒｔｅｄｉｎｄｅｘ．Ａｆｔｅｒｔｈｉｓａｎａｌｙｓｉｓ，ｗｅｆｏｕｎｄｔｈｅｒｅｉｓａｂｏｖｅｇｒｅａｔｒｏｏｍｏｆｉｔｓｉｎｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｍｅｎｔ．Ｗｉｔｈｌｅａｒｎｉｎｇａｎｄｒｅｓｅａｒｃｈｏｆｉｎｄｅｘ

ｆｏｕｎｄｓｅｖｅｒａｌｓｔｒｕｃｔｕｒｅａｎｄｒｅｔｒｉｅｖａｌｐｒｏｃｅｓｓｅｓｏｆＰｏｓｔｇｒｅＳＱＬｆｕｌｌ—ｔｅｘｔｓｅａｒｃｈ，ｗｅａｒｅａｓｏｎｓｆｏｒｉｔｓｐｏｏｒｐｅｒｆｏｒｍａｎｃｅ，ａｎｄｂｒｉｎｇｆｏｒｗａｒｄｐｒｏｇｒａｍｗｈｉｃｈｉｓ

ｆｕｌｌ－ｔｅｘｔｓｅａｒｃｈ．ｂａｓｅｄｏｎｉｎｖｅｒｔｅｄｉｎｄｅｘｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｃｅｏｆＰｏｓｔｇｒｅＳＱＬ

Ｔｈｉｓｐｒｏｇｒａｍｉｎｃｌｕｄｅｓｔｈｅ

ａｎｄＳＯｏｎ．ｓｔｒｕｃｔｕｒｅｏｆｉｎｖｅｒｔｅｄｉｎｄｅｘｔｒａｎｓｆｏｒｍａｔｉｏｎ，ｓｃａｎｍｅｔｈｏｄ

Ｆｉｎａｌｌｙ，ａｓｓｈｏｗｅｄｉｎｃｏｍｐａｒｉｓｏｎｔｅｓｔ，ｔｈｅｐｅｒｆｏｒｍａｎｃｅ

ｓｔｒｕｃｔｕｒｅｏｆＰｏｓｔｇｒｅＳＱＬＦＴＳｈａｓｂｅｅｎｇｒｅａｔ …… 此处隐藏：12187字，全部文档内容请下载后查看。喜欢就下载吧 ……