项目成员信息：                              指导教师信息：

娄馨月-2020级-詹天佑学院                    陈钰枫-副教授-自然语言处理

齐睿-2020级-詹天佑学院

李铀-2021级-詹天佑学院

项目简介：随着电商平台的蓬勃发展，实现高效且快速的图文检索的需求日益增长。相比于传统的标签式检索方式，跨模态图文检索有更强的灵活性。但现有的双流模型还存在一些挑战，本项目以此为出发点进行研究，主要研究内容如下：（1）针对CN-CLIP模型图文特征对齐较难的问题，提出图像映射文本特征网络将图像映射为伪语言标记，增强跨模态语义的融合，提高图文检索的性能。（2）针对检索速度较慢的问题，在检索时构建Faiss索引，提升检索大规模电商数据时的检索速度。（3）在所提方法基础上设计和搭建了一个图文检索系统，系统主要功能包括图像检索、文本检索、检索结果展示等基本功能，满足用户对于电商领域跨模态图文检索的需求。

图1 所提方法概述图

图2 图文检索系统以文搜图示例

项目创新点：（1）提出图像映射文本特征网络，以减小图文信息间的语义鸿沟。（2）在检索时构建Faiss索引提高检索速度。

项目成果：（1）搭建跨模态电商图文检索系统。（2）完成中文论文一篇，已投稿至第二十三届中国计算语言学大会。