近日，我院控制科学与工程专业2023级博士研究生王进在小样本分割方面取得进展，相关研究成果Beyond Visual Cues: Leveraging General Semantics as Support for Few-Shot Segmentation发表在《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》。论文第一作者为博士生王进，通讯作者为刘伟锋教授、张冰峰副教授，太阳集团tyc234cc为唯一署名单位和通讯单位，该研究得到国家自然科学基金、山东省自然科学基金、山东省重大基础研究项目、青岛市自然科学基金、太阳集团tyc234cc研究生创新基金项目的资助支持。
图1 论文抬头
小样本分割（FSS）旨在通过元学习范式在有限支持样本的指导下分割新类别。现有方法主要从支持图像中挖掘参考作为元指导。然而，由于视觉表示之间的类内差异，从支持图像中提取的元信息很难产生准确的指导来分割未经训练的类。在本文中，我们认为在不同的场景下，来自支持图像的参考可能不稳定，支持角色的关键是为训练类和未训练类提供高效的元指导。在这个基础上，我们引入语言驱动的属性泛化（LDAG）架构，以利用固有的目标属性语言描述来构建强大的支持策略。具体来说，为了获得无偏的支持表示，我们设计了一个多属性增强（MaE）模块，该模块通过大语言模型（LLM）生成目标类的多个详细属性描述，然后利用多模态匹配构建精细的视觉文本先验指导。同时，由于文本-视觉模态转变，属性文本难以促进视觉特征表示，我们设计了多模态属性对齐（MaA）来实现属性文本和视觉特征之间的跨模态交互。
图2 语言驱动的属性泛化模型流程图
《IEEE Transactions on Circuits and Systems for Video Technology》是人工智能领域具有重要影响力的国际权威期刊，最新影响因子为10.8，位列SCI一区TOP。
论文连接：https://ieeexplore.ieee.org/document/11514063
实验教学平台
学校OA系统
学校邮件系统
相关文件查询