介绍互联网用户行为分析系统的手段和方法BA

面向搜索引擎的互联网用户 行为分析智能技术与系统国家重点实验室 信息检索课题组 2009年11月15日

介绍互联网用户行为分析系统的手段和方法BA

From http://

介绍互联网用户行为分析系统的手段和方法BA

搜索引擎面临的技术挑战 用户 & 搜索引擎 & 万维网Result 1 Result 2 Query Click Result 3 … Result 10Google: I’m feeling lucky

介绍互联网用户行为分析系统的手段和方法BA

搜索引擎面临的技术挑战 用户层面– 丰富的信息需求只能通过简短的查询来表示 查询的平均长度为2-3个词 构建复杂查询的尝试(W3QL, WebSQL等)以失败告终 万维网层面– 数据繁杂，质量参差不齐 2002年，Web上所存储的数据超过500,000 TB 2008年，Google索引量声称超过1 trillion 网页 冗余、过期、低质量乃至垃圾数据层出不穷

介绍互联网用户行为分析系统的手段和方法BA

如何解决？ 借助用户的力量– 用户查询：如何查询高考分？ – 传统思路：查询分析与分类，关键词提取… – 依靠用户的思路：百度知道

介绍互联网用户行为分析系统的手段和方法BA

如何解决？ 借助用户的力量

介绍互联网用户行为分析系统的手段和方法BA

如何解决？ 借助用户的力量– 搜索质量与经济利益密切相关 – 群众的话不能不信，也不能全信 – 需要借助标注人员的过滤，反馈速度慢

介绍互联网用户行为分析系统的手段和方法BA

如何更好的借助用户的力量？ 解决思路：用户群体的行为分析– 隐式反馈与显式反馈 (implicit / explicit feedback) 显式反馈– 用户主动反馈 – 直接，对用户行为产生影响，少量 隐式反馈– 用户被动反馈 – 间接，不对用户行为产生影响，大量

介绍互联网用户行为分析系统的手段和方法BA

如何更好的借助用户的力量？ 用户的点击都是有目的的 从统计角度分析，用户点击背后所隐藏的 是用户的语义信息

介绍互联网用户行为分析系统的手段和方法BA

如何更好的借助用户的力量？ 用户行为的载体：日志数据– 查询与点击日志 用户提交的查询 用户点击了哪些结果 其他辅助信息– 结果对应的排序 – 时间戳 – 用户点击的序列关系 – 用户Session ID（记录在Cookie里）

介绍互联网用户行为分析系统的手段和方法BA

如何更好的借助用户的力量？ 用户行为的载体：日志数据– 互联网访问日志 用户当前正在访问的网页 用户从此网页出发下一步访问的网页 辅助信息– 时间戳 – 用户Session ID（记录在Cookie里） – 用户停留时间

介绍互联网用户行为分析系统的手段和方法BA

面向搜索引擎的用户行为分析方法 用户层面– 利用用户的查询行为信息识别信息需求类别 – 利用用户的查询行为信息进行查询推荐 万维网层面– 利用用户访问信息评估数据质量 – 利用用户行为模式识别垃圾网页 搜索引擎层面– 利用用户查询行为进行搜索引擎查询性能评估 – 利用用户访问信息构建网络信息检索语料

介绍互联网用户行为分析系统的手段和方法BA

面向搜索引擎的用户行为分析方法 用户层面– 利用用户的查询行为信息识别信息需求类别 – 利用用户的查询行为信息进行查询推荐 万维网层面– 利用用户访问信息评估数据质量 – 利用用户行为模式识别垃圾网页 搜索引擎层面– 利用用户查询行为进行搜索引擎查询性能评估 – 利用用户访问信息构建网络信息检索语料

介绍互联网用户行为分析系统的手段和方法BA

基于用户行为分析的信息需求识别 用户信息需求分类– 目的：依照信息需求对查询进行不同处理 – 用户查询分类体系(Broder & Rose et al.) 面向导航类需求的用户查询– 用户检索时具有确定的检索目标页面 – 查找某个已知存在的页面/资源 面向信息事务类需求的用户查询– 用户检索时没有确定的检索目标页面 – 查找与某个主题相关的页面/资源

介绍互联网用户行为分析系统的手段和方法BA

基于用户行为分析的信息需求识别 针对查询历史行为信息的特征提取– 假设1（懒鬼假设）：用户的检索需求是导航类型时， 一般他只会点击很少数的几个答案 进行导航类检索时，用户意识中有一个比较明确的 查找目标 他只会在结果页面中重点浏览与这个查找目标非常 相关的URL或摘要内容，而不会点击其他的结果。 – 特征：点击n次就满足的比例（n clicks satisfied）

介绍互联网用户行为分析系统的手段和方法BA

基于用户行为分析的信息需求识别 nCS的分布情况