多媒体获取技术的进步和互联网的发展给人们带来巨大的多媒体信息海洋。如何高效地管理和访问多媒体海量数据一直以来是多媒体技术研究中的重点。多媒体检索技术主要研究海量多媒体数据的索引技术,多模态查询的自适应融合技术。

多媒体信息检索 是检索文字、图象、声音、动画等多媒体信息的技术。多媒体信息检索技术主要分为两类:

  1. 以全文检索作为基本和主要的手段,在文字和其 它媒体之间建立联接,非文字媒体的检索通过全文 检索实现
  2. 根据各种媒体本身的特征进行检索, 如基于内容的图象检索技术

多媒体信息检索技术 主要包括各种媒体的获取、压缩、存取(本地存取和 网络存取)、输出(显示和打印)。多媒体信息检索的关键技术有:①各种媒体的压缩和解压缩技术。压缩技术分两类:不失真压缩技术与失真压缩技术。不同媒体采用不同的压缩技术和方法,如文本与索引的压缩,采用不失真压缩技术;视频与音频数据的压缩,大都采用失真压缩技术。常用的压缩编码方法有:脉冲编码调制PCM、 预侧编码、变换编码、擂值和外推、统计编码等。目前压缩编码的国际标准有:JPEG标准,以二ITpH. 261标准,N任EG一1标准,州于EG一2标准等。②各种媒体信息的获取和翰出技术。主要是视频、音频信息的获取和翰出技术。③超文本和超媒体检索技术。超文本和超媒体是多媒体信息管理技术,以信息单元为节点,通过节点之间的链向用户提供一个网状结构,以管理、检索和浏览多媒体信息。各节点可以是各种媒体信息或它们的组合。它提供了将 “声、图、文”结合在一起,综合表达信息的强有力手段,提供了非常直观、灵活的人机交互方法。

由于不同的用户对多媒体特征的理解和需求不同,基于内容特征的多媒体信息检索尚无通用的方法,在技术上也有很大难度,研究主要针对特定领域和特定需求,如对人像的检索,指纹的检索等。
多媒体是00年代计算机应用的重要特征,多媒体信息检索技术将迅速发展。

与检索技术不同,多媒体问答致力于直接返回给用户精确的答案而非根据相关性排序的列表。在Web2.0下,文本问答的研究从自动分析文本数据集产生答案转向挖掘网络知识库(雅虎问答)和利用“人计算(Human Computation)”得到问题的最佳答案。而类似的多媒体问答知识库还在不断构建之中,因此目前的多媒体问答技术仍利用多媒体检索、重排序、多模态信息摘要等技术自动生成答案。

多媒体标注又称概念检测,通过机器学习模型建立图像视觉内容和高层语义概念(concept)之间的联系。因为底层特征与高层语义概念之间存在的语义鸿沟,多媒体标注仍然是极具挑战的研究课题。在社会化媒体广泛兴起的今天,如何充分利用用户提供的标签等信息提高多媒体标注的精度和效率是研究的关键。

随着手机和其他移动设备的迅猛增长,基于移动设备的多媒体处理与检索成为一大热点问题。移动多媒体的研究主要包括挖掘个人信息和通讯信息以实现移动平台上的个性化检索、基于移动设备摄像头的视觉化检索等。