立项年份：2023年

项目成员信息： 秦毅-2020级-詹天佑学院                         

指导教师信息： 王睿-讲师-智能系统鲁棒性及不确定量化

项目简介：

本项目从自然变化鲁棒性和对抗扰动鲁棒性两个角度开展了零样本图像分割模型多维度鲁棒性测试研究，针对现有零样本分割大模型鲁棒性评估全面性不足，同时面向这类模型对抗攻击算法场景单一，迁移性能不足的现状，项目成员设计自然变化鲁棒性测试模块，是生成15种自然风格变化图片，经测试会对分割结果产生负面影响。在对抗扰动鲁棒性模块，设计了黑盒、白盒、API的多个场景对抗攻击，如图1。

图 1 多场景的有目标攻击展示

我们研究强大的对抗攻击攻击算法的科研价值，攻击效果不依赖于提示的先验知识，更适合模型工作场景，更具备通用性的同时性能超过了现有方法，到达SOTA性能，实验如图2所示。

图 2 在不提示形式下，IESA在所有指标达到最次优解

实际应用价值仿麦呢，鲁棒性评估成功探索到商业发布API的零样本分割模型脆弱性，这能帮助发现并预防这些模型下游任务应用中安全鲁棒性问题，从而可进一步通过对抗训练来提升零样分割模型鲁棒性。

项目创新点：

（1）自然变化鲁棒性测试模块，如图3所示对图片进行自然风格变化。

图 3 十五种自然风格变化

（2）高迁移算法，生成多个隐式模型进行集成攻击，如图4所示。

图 4 高迁移性IESA算法流程图

项目成果：GitHub开源的算法库IESA