新闻资讯
查看更多
- 2020-12-29 课题组获第十届海峡两岸信息服务创新大赛一等奖和三等奖各1项！
- 2020-12-03 音视频协同关联分析合作文章被人工智能顶级会议AAAI2021录用！
- 2020-11-25 课题组获得十七届中国研究生数学建模竞赛二等奖和三等奖各一项！
- 2020-10-23 祝贺研究组程凯和王锐获得国家奖学金推荐！
- 2020-07-26 研究组程凯人脸语音跨模态匹配论文被多媒体顶级会议ACM MM2020录用！
- 2020-06-08 研究生王行志半监督跨模态检索论文被Multimedia Tools and Applications录用！
- 2020-05-31 研究生三年级同学顺利通过硕士学位论文答辩，祝贺！
- 2020-04-23 研究组王锐跨人脸语音匹配论文被信息检索顶级会议SIGIR2020录用！
- 2020-03-20 研究生胡志锴获得香港浸会大学博士入学全额奖学金！
- 2020-02-23 祝贺研究生王行志同学录取为中山大学博士研究生！
代表论文
查看更多
- K. Cheng, X. Liu*, Y.M. Cheung, R. Wang, X. Xu and B.N. Zhong
Hearing like Seeing: Improving Voice-Face Interactions and Associations via ADSM Network
28th ACM International Conference on Multimedia (MM), 2020, 448–455 - X. Liu*, Y.M. Cheung, Z.K. Hu, Y. He, B.N. Zhong
Adversarial Tri-Fusion Hashing Network for Imbalanced Cross-Modal Retrieval
IIEEE Transactions on Emerging Topics in Computational Intelligence - R. Wang, X. Liu, Y.M. Cheung, K. Cheng, N.N. Wang and W.T. Fan
Learning Discriminative Joint Embeddings for Efficient Face and Voice Association
43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR’20) - X. Wang, X. Liu*, S.J. Peng, B.N. Zhong, Y.W. Chen, J.X. Du
Semi-supervised discrete hashing for efficient cross-modal retrieval
Multimedia Tools and Applications - X. Liu, Z.K. Hu, H.B. Ling, Y.M. Cheung
MTFH: A Matrix Tri-Factorization Hashing Framework for Efficient Cross-Modal Retrieval
IEEE Transactions on Pattern Analysis and Machine Intelligence - X.Z. Wang, X. Liu*, Z.K. Hu, N.N. Wang, W.T. Fan, J.X. Du
Semi-Supervised Semantic-Preserving Hashing for flexible cross-modal retrieval
IEEE International Conference on Multimedia and Expo (ICME),2019, pp. 1006-1011. - X.Z. Wang, X. Liu*, S.J. Peng, Y.M. Cheung, Z.K. Hu and N.N. Wang
Fast Semantic Preserving Hashing for Large-Scale Cross-Modal Retrieval
IEEE International Conference on Data Mining (ICDM), 2019, pp. 1348-1353 - Z.K. Hu, X. Liu*, X.Z. Wang, Y.M. Cheung, N.N. Wang, Y.W. Chen
riplet Fusion Network Hashing for Unpaired Cross-Modal Retrieval
International Conference on Multimedia Retrieval (ICMR), 2019 : 141-149
研究方向
查看更多
研究方向一：
- 一种安全、可靠和便捷的身份认证方式不仅能有效的保障个人财产和信息的安全，而且可为人们日常生活带来更多的便利和效益。基于生物特征的身份鉴别技术以其特有的普遍性、稳定性和防伪性给人们提供了一种更为安全、方便以及高效的个人身份鉴别方式。多生物特征融合技术利用多个可鉴别的身份信息，在一定程度上能弥补单一生物特征识别的不足，具有更高的稳定性和防伪能力。在多模态特征学习中，深度学习通过建立多个层级的深度网络结构，能够够挖掘多模态（如音频+视频）生物特征的本质信息在特征层进行特征兼容性学习和融合识别，是属于深度学习领域比较前沿的研究.
- 研究方向二：
- 随着信息技术的不断发展，分布式视频监控以及互联网多媒体应用系统中涌现出海量的音视频信息资源。其中，语音及视觉信息是人们相互交流的重要载体，这个应用场景也是人机交互过程中最为直接的方式。与传统的单模态识别和匹配检索不同，在跨模态匹配中，度量结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。跨模态匹配的关键在于对不同模态的关系进行建模，难点就是跨越语义鸿沟。近年来，虽然国内外出现了基于图像和文本的跨模态检索研究，但以人脸和语音的音视频跨模态匹配研究较少。研究发现，有效的音视频跨模态匹配能够促进说话人交互识别，从而促进身份鉴定技术创新实践的发展，有着广阔的发展和应用前景。