为解决城市交通管理问题，研究人员提出了新的车辆检索方法

近日，长安大学未来交通学院智能城市智能交通团队将成为交通领域国际顶级期刊《IEEE Transactions on Intelligent Transportation Systems》(T-ITS)发表研究成果。未来，交通学院2021级本科生张瑞轩、杨哲普分别是论文第一、第二作者，副教授戴涛为通讯作者。这是近年来该校首次以本科生为第一作者在该行业顶级期刊上发表论文。

随着城市和交通数字化程度的不断提高，车辆检索技术已成为智能交通系统的重要组成部分。近年来，基于自然语言的车辆检索以其高度的灵活性和更广泛的实用价值受到了学术界和工业界的高度关注。为了消除自然语言与车辆图像之间的巨大语义差距，本研究提出了一种新的方法，称为“基于多层面聚集语义图和特征的自然语言车辆检索方法”(MAGAE)”。

大型语言模型的研究选择大型语言模型(LLMs)并预训练视觉模型提取自然语言和全球视觉的特征嵌入，提出了一种新的F-Encoder架构，用于动态集成车辆的局部和全球特征，设计了一种协同注意学习机制，用于提取和增强车辆特征嵌入的鲁棒性;为了消除视觉与自然语言之间的显著差距，论文引入了多层语义图对齐模块，有效地聚合和交互多模态数据特征。最后，为了提高神经网络学习能力，引入学习损失函数，利用多任务学习优势有效提高检索效果，验证了国际公共数据集中提出的MAGAE算法的有效性。本研究成果为自然语言车辆检索提供了新的研究视角，有助于提高基于大模型的城市交通管理能力和运行效率。