松弛化协同矩阵跨模态哈希方法被Multimed. Tools Appl.杂志录用出版!

随着大数据时代的到来,网络上出现了大量的多模态数据,这些多模态数据一般包括语音、视频、文本和图片等信息。大量的多模态数据带来了信息检索领域新的应用需求,从以往的以图片搜索相似的图片或者用关键字所以相关的文章,到现在的以文搜图和以文检图的跨模态检索方式。这样新的信息检索方式逐渐引起人们的关注,然而这样新的检索方式不能用之前单一模态检索的技术来解决跨模态检索的应用需求,如何有效的实现多模态数据之间的相互检索已经成为了当今信息检索领域的研究热点。

哈希技术以低存储开销和快速检索的优势,在跨模态检索领域引起广泛的关注。目前普遍适用的跨模态哈希方法的主要思想是考虑到跨模态数据的特性,底层数据异构,高层语义一致的特性,并常用统一的哈希码来表达异构数据。研究组发现,统一哈希表达会限制哈希码表达不同模态样本的判别性。针对此问题,研究组提出一种基于松弛化协同矩阵分解的跨模态哈希检索方法。该首先是考虑到高层语义相似但不一定一致的特点,通过优化目标函数放松了语义约束条件,进一步充分利用了数据的标签,将其作为语义的一种表示,保持了数据模态内和模态之间的相似性,取得了跨模态检索效果的有效提升 (论doi地址:https://doi.org/10.1007/s1104)。