2024年6月3日下午15:00，我校在崇真楼南楼A4030举行了第639期阳光论坛，特邀新加坡A*STAR的研究员兼助理教授冯春梅作“多模态视觉交互理解”的讲座。本次论坛由二四六玄机文字图副院长彭涛教授主持，二四六玄机文字图科研带头人以及全体研究生共同参与。
在现代社会语言和视觉交互对我们理解现实世界起着至关重要的作用，这突显了多模态视觉交互理解作为一个前景广阔领域的重要性。对此，冯老师就多模态互动、与客户的互动两方面进行具体阐述，致力于加强多模态协作和推理能力：一方面，多模态互动，包括组合图像检索（CIR）和参考图像分割（RIS）。CIR利用相关的标题来优化图像检索结果，而RIS则通过语言描述来精确识别分割目标。另一方面，即与客户的互动，它为CIR和医疗RIS提供隐私保护方式，因为这些常常涉及不同的平台，如阿里巴巴、亚马逊和eBay，以及各类医院。此外，冯教授还讨论了如何促进额外模态和交互技术的整合，例如开发适用于现实世界电子商务应用的实用系统，将理解能力转化为执行能力，并赋予AI代理实现人-物交互的能力。
讲座结束后，冯老师与在场的师生进行了互动，解答了大家的疑问，并提供了一些实用的研究建议。她鼓励年轻学者大胆创新，结合实际需求，探索多模态技术的更多可能性，为科学研究和社会应用作出贡献。
简介:
冯春梅教授目前是新加坡A*STAR的研究员。在此之前，她于2022年获得了深圳哈尔滨工业大学的博士学位。在攻读博士期间，她于2020年在人工智能起点研究院（IIAI）实习，并于2021年访问了苏黎世联邦理工学院。她的研究兴趣包括多模态视觉理解、医学影像以及大规模预训练模型时代的去中心化人工智能。她在多个顶级会议和期刊上发表了大量经过同行评审的论文，包括CVPR、ICCV、ICLR（Spotlight）、MICCAI（Early Accept）、AAAI，以及一些期刊，如TIP、TNNLS和TMI。