新闻资讯
查看更多
- 2019-11-12 研究生王行志获得ICDM2019的Travel Award！
- 2019-10-29 研究组荣获第九届海峡两岸信息服务创新大赛一等奖
- 2019-09-12 研究组成果在IEEE顶级期刊T-PAMI发表！
- 2019-08-16 研究组快速跨模态检索工作被数据挖掘知名会议ICDM2019录用！
- 2019-07-08 研究组胡志凯赴加拿大参加ACM ICMR2019多媒体检索会议
- 2019-05-10 研究组胡志锴同学获得ICMR2019大会学生参会旅行资助，祝贺！
- 2019-05-08 课题组5人赴合肥参加视觉与青年学者研讨会(VALSE)！
- 2019-04-04 研究组三重融合跨模态哈希工作被ACM多媒体检索会议（ICMR2019）录取！
- 2019-03-12 研究组半监督语义保护跨模态哈希方法被ICME2019接收！
- 2019-02-20 融合骨架笔画和纹理特征的铅笔画生成方法和装置获中国发明专利授权！
代表论文
查看更多
- X. Liu, A. Li, J.X. Du, S.J. Peng, W.T. Fan,
Efficient Cross-modal Retrieval via Flexible Supervised Collective Matrix Factorization Hashing
Multimedia Tools and Applications, vol. 77, no. 21, pp. 28665–28683, 2018 - X.Liu, J.J. Geng, H.B. Ling and Y.M. Cheung
Attention guided deep audio-face fusion for efficient speaker naming
Pattern Recognition, vol.88, 557–568, 2019 - W.T. Fan, N. Bouguila, J.X. Du, X. Liu
Axially Symmetric Data Clustering Through Dirichlet Process Mixture Models of Watson Distributions
IEEE Transactions on Neural Networks and Learning Systems - 柳欣, 李鹤洋, 钟必能, 杜吉祥
结合有监督联自编码器的跨音视频说话人标注
电子与信息学报，40 (7), pp. 1635-1642, 2018 - 胡 东, 彭淑娟*, 柳欣, 杜吉祥
结合深度自编码和时空特征约束的运动风格转移方法
计算机辅助设计与图形学学报, 30 (5), pp. 946-956, 2018. - X. Liu, Y.M. Cheung
On incremental collaborative appearance model and regional particle filtering for lip region tracking
Integrated Computer-Aided Engineering , vol. 25, no. 1, pp. 63-80, 2018 - Z.K. Hu, X, Liu*, A. Li, B.N. Zhong, W.T. Fan, J.X. Du
Efficient Cross-modal Retrieval via Discriminative Deep Correspondence
CCF Chinese Conference on Computer Vision (CCCV), 2017, pp. 662-673. - B. Zou, X, Liu, S.J. Peng, B.N. Zhong, J.X. Du
Efficient Human Motion Transition via Hybrid Deep Neural Network and Reliable Motion Graph Mining
CCF Chinese Conference on Computer Vision (CCCV), 2017, pp. 717-728.
研究方向
查看更多
研究方向一：
- 一种安全、可靠和便捷的身份认证方式不仅能有效的保障个人财产和信息的安全，而且可为人们日常生活带来更多的便利和效益。基于生物特征的身份鉴别技术以其特有的普遍性、稳定性和防伪性给人们提供了一种更为安全、方便以及高效的个人身份鉴别方式。多生物特征融合技术利用多个可鉴别的身份信息，在一定程度上能弥补单一生物特征识别的不足，具有更高的稳定性和防伪能力。在多模态特征学习中，深度学习通过建立多个层级的深度网络结构，能够够挖掘多模态（如音频+视频）生物特征的本质信息在特征层进行特征兼容性学习和融合识别，是属于深度学习领域比较前沿的研究.
- 研究方向二：
- 随着信息技术的不断发展，分布式视频监控以及互联网多媒体应用系统中涌现出海量的音视频信息资源。其中，语音及视觉信息是人们相互交流的重要载体，这个应用场景也是人机交互过程中最为直接的方式。与传统的单模态识别和匹配检索不同，在跨模态匹配中，度量结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。跨模态匹配的关键在于对不同模态的关系进行建模，难点就是跨越语义鸿沟。近年来，虽然国内外出现了基于图像和文本的跨模态检索研究，但以人脸和语音的音视频跨模态匹配研究较少。研究发现，有效的音视频跨模态匹配能够促进说话人交互识别，从而促进身份鉴定技术创新实践的发展，有着广阔的发展和应用前景。