新闻资讯
查看更多
- 2022-12-18 课题组共获得研究生国家数学建模二等奖3项三等奖1项！
- 2022-12-06 课题组代表参与合作单位天度股份的微型马拉松活动！
- 2022-11-20 课题组王锐学位论文获评2021年福建省研究生优秀学位论文！
- 2022-09-07 课题组朱明航论文被CCF推荐A类中文期刊《计算机研究与发展》期刊录用！
- 2022-09-01 于镇宁和刘敦强2篇论文被数据挖掘知名会议ICDM录用为regular(rate: 9.77%)！
- 2022-06-30 课题组细粒度跨图匹配方法被Top期刊IEEE Trans. TNNLS录用！
- 2022-06-30 合作参与电子科技大学的草图检索论文被CCF推荐A类会议ACM MM2022录用
- 2022-05-26 课题组图文细粒度匹配工作被Top期刊IEEE Trans. on Cybernetics录用！
- 2022-05-03 课题组朱明航跨模式匹配工作获ChinaMM2022会议录用推荐！
- 2022-05-01 合作参与华中科技大学的跨模态哈希方法论文被IEEE TCSVT杂志录用
代表论文
查看更多
- X. Liu*, X.Z. Wang, Y.M. Cheung,
FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal Retrieval
IEEE Transactions on Neural Networks and Learning Systems - Jingran Zhang, Xing Xu*, Fumin Shen, Huimin Lu, Xin Liu, Heng Tao Shen
Enhancing Audio-Visual Association with Self-Supervised Curriculum Learning
35th AAAI Conference on Artificial Intelligence （AAAI 2021） - Jinhan Yi, Xin Liu*, Yiu-ming Cheng, Xing, Xu, Wentao Fan, Yi He
Efficient Online Label Consistent Hashing for Large-Scale Cross-Modal Retrieval
2021 IEEE International Conference on Multimedia and Expo (ICME) - 柳欣;王锐;钟必能;王楠楠;
结合双流网络和双向五元组损失的跨人脸-语音匹配
计算机研究与发展,2021 - K. Cheng, X. Liu*, Y.M. Cheung, R. Wang, X. Xu and B.N. Zhong
Hearing like Seeing: Improving Voice-Face Interactions and Associations via ADSM Network
28th ACM International Conference on Multimedia (MM), 2020, 448–455 - X. Liu*, Y.M. Cheung, Z.K. Hu, Y. He, B.N. Zhong
Adversarial Tri-Fusion Hashing Network for Imbalanced Cross-Modal Retrieval
IEEE Transactions on Emerging Topics in Computational Intelligence - R. Wang, X. Liu, Y.M. Cheung, K. Cheng, N.N. Wang and W.T. Fan
Learning Discriminative Joint Embeddings for Efficient Face and Voice Association
43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR’20) - X. Wang, X. Liu*, S.J. Peng, B.N. Zhong, Y.W. Chen, J.X. Du
Semi-supervised discrete hashing for efficient cross-modal retrieval
Multimedia Tools and Applications
研究方向
查看更多
研究方向一：
- 一种安全、可靠和便捷的身份认证方式不仅能有效的保障个人财产和信息的安全，而且可为人们日常生活带来更多的便利和效益。基于生物特征的身份鉴别技术以其特有的普遍性、稳定性和防伪性给人们提供了一种更为安全、方便以及高效的个人身份鉴别方式。多生物特征融合技术利用多个可鉴别的身份信息，在一定程度上能弥补单一生物特征识别的不足，具有更高的稳定性和防伪能力。在多模态特征学习中，深度学习通过建立多个层级的深度网络结构，能够够挖掘多模态（如音频+视频）生物特征的本质信息在特征层进行特征兼容性学习和融合识别，是属于深度学习领域比较前沿的研究.
- 研究方向二：
- 随着信息技术的不断发展，分布式视频监控以及互联网多媒体应用系统中涌现出海量的音视频信息资源。其中，语音及视觉信息是人们相互交流的重要载体，这个应用场景也是人机交互过程中最为直接的方式。与传统的单模态识别和匹配检索不同，在跨模态匹配中，度量结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。跨模态匹配的关键在于对不同模态的关系进行建模，难点就是跨越语义鸿沟。近年来，虽然国内外出现了基于图像和文本的跨模态检索研究，但以人脸和语音的音视频跨模态匹配研究较少。研究发现，有效的音视频跨模态匹配能够促进说话人交互识别，从而促进身份鉴定技术创新实践的发展，有着广阔的发展和应用前景。