基于内容的图象视频浏览与检索

卢汉清

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

一些专刊 IEEE Computer 28(9) IEEE Trans. On PAMI 18(8)

Pattern Recognition 30(4) Image and Vision Computing 17(7)

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

某些存在的系统 Photobook, MIT– face, texture and shape database

QBIC, IBM– commercial system (trademark)

WebSeek, Columbia U– WWW image search engine – include more than 650,000 images

MARS, Illinois– image retrieval with relevance feedback mechanism

ImageRover, Boston U– WWW image search engine – use 32 robots to collect one million images monthly

VideoClip, Columbia U– video parsing and editing

Princeton University– high-level video representation

VideoBook, HKUST– video retrieval system

NeTra, UCSB– object-based video representation

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

主要内容 图象检索 – 颜色、纹理、形状…… 视频分析、浏览与检索 – 镜头分割 – 镜头表示 – 运动分析 – 浏览与检索National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

基于内容的图像检索 基于颜色、纹理、形状的图像检索 基于区域的图像检索 基于语义的图像检索 相关反馈

图像检索演示系统模式识别国家重点实验室中国科学院自动化研究所

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

基于颜色特征的检索 颜色模型 – GRB、HSI、YUV…… 颜色特征及相似性度量 – 直方图交集算法 – 参考颜色表法 – ……National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

HSI Color Space

模式识别国家重点实验室中国科学院自动化研究所

基于颜色特征的图象检索

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

颜色直方图的相似性

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

基于颜色的图象检索 HSI颜色空间Green Saturation Intensity White Green

Saturation 99 色 彩 纯 度Black (a)

Blue Red Blue

Gray

Hue

Red (b)

图××:Hue, Saturation, and Intensity. (a) 颜色空间 (b)等强度面

Hue 0

,0 红 橙黄 绿 青 蓝 紫 红 图：H-S平面示意图 99

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

基于颜色的图象检索 基于HSI的聚类匹配算法 – 对图象计算 H-S 平面的二维直方图，即得到 颜色特征向量，然后对颜色空间进行聚类。 – 聚类匹配，在匹配中颜色间距离使用欧氏距 离计算：I Q I 2 Q I 2 Q I 2 dis(C Q , C ) ( H H ) ( S S ) ( I I p q p q p q p q)

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

颜色空间聚类1 计算H-S-I颜色直方图。 2 在直方图中寻找所有颜色峰值(在三维颜色空间中，大于所有六个相邻 点)。 3 一个峰值对应一个颜色聚类。对每一聚类标注H-S-I值和样本数。 4 按样本数从大到小将各个峰值(聚类)排序。 5 计算样本数不小于一定阀值的峰值的个数。 6 如果步骤5中的峰值数小于步骤3中的峰值数，将样本数小于阀值的聚类重 新分配到邻近的颜色类中。距离计算采样如上公式，对新的聚类计算代 表色和样本数。 7 对每个象素，计算到各个颜色类的距离。将该象素分配到最近邻的类当中。National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

颜色聚类

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

试验结果

加空间特征National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

基于纹理特征的分析 基于统计特征的纹理分析——共生矩阵，心理

学特征等 基于信号处理的纹理分析——小波变换， Gabor滤波器等 基于模型的纹理分析——Markov随机场模型， Wold模型等 基于结构特征的纹理分析National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

基于纹理特征的匹配 从上述纹理分析的方法中得到一组描述纹理的 特征量； 提取这些纹理特征的数字特征(如期望、方差 等),将它们组成归一化的特征向量； 在某种距离空间内(如欧氏距、马氏距)寻找 给定特征向量的最近匹配。

National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所

基于统计特征的纹理特征提取 Haralick等定义

的基于灰度共生矩阵的纹理特征常用统计量：角二阶矩、对比度、相关、方差、熵等 多尺度：改变方向和步长生成不同尺度的共生矩阵

Amadasun等定义的基于邻域灰度差别矩阵的纹理特征包括稀疏度、繁忙度、纹理力度等5个特征

Tamura等定义的6个心理学特征稀疏度、对比度、方向性、线状性、规则性及粗糙度 这是一组与人类视觉特性对应的纹理特征National Laboratory of Pattern RecognitionInstitute of Automation, Chinese Academy of Sciences

模式识别国家重点实验室中国科学院自动化研究所