立项年份：2024年

项目成员信息：                              

赵丰铭-2022级-计算机与信息技术学院

郭昱哲-2022级-计算机与信息技术学院

陈海容-2022级-计算机与信息技术学院

指导教师信息：

王晶-必赢国际437官网计算机与信息技术学院副教授-主要研究方向包括时间序列分析与挖掘、异常检测、脑机接口、机器学习及其在医疗、交通、金融大数据等行业的应用

项目简介：情绪是伴随着人们日常生活的一种复杂的生理和心理现象。有效的情绪识别，可以起到改善人机交互、辅助临床诊断、引导产品开发等作用。

生理信号提供了一条客观有效的情绪识别途径，基于生理信号的情绪识别逐渐成为研究热点。如何有效融合不同生理信号的信息，是推进多模态情绪识别技术发展的关键难题。本研究基于卷积神经网络架构设计，开发了一种能有效融合多模态生理信号的情绪识别方法。

图1 多模态生理信号

图2 模型整体框架

图3 实验结果

项目创新点：

利用时间卷积、深度卷积、可分离卷积从多模态生理信号中提取辨别性特征，从而提升模型情绪识别能力

项目成果：

一篇论文已在中国科技论文在线公开发布