立项年份：2024年

项目成员信息：                              指导教师信息：

邓人嘉-21级-软件学院              韩文娟-副教授-NLP                                                       

俞贤皓-21级-软件学院

付家齐-21级-软件学院

项目简介：

图1：项目全景图

我们搭建了一个Simulator作为Agent与Minecraft游戏之间的桥梁，支持128+个Agent加入，引入了多模态的数据，包括视觉、听觉、触觉等。以Code为Action Space，提供Low-level和High-level两套Action。

图2：Simulator结构图

我们提供三类Benchmark（Programmatic、Creative、Hybrid），构造了包含6053个任务的数据集，并且首次提出建造和剧本演出两种适合多模态Agent进行的任务。

图3：Benchmark示意图

我们还设计了一个AI Agent的框架，具备记忆、检索、规划、评估、行动、纠错等功能，能处理多模态数据，根据视觉、听觉、触觉和环境信息决定行动。引入multi-tasking机制，能同时处理多任务并自主决定任务优先级。

图4：AI Agent结构图

我们的工作解决目前多Agent平台不真实的问题，促进在更复杂、更接近人类社会的环境中进行多智能体研究，推动多模态多智能体领域技术的创新和发展。

项目创新点：

支持128+个Agent的多模态Simulator，三类Benchmark及6053个任务的数据集，支持多任务处理与自主决策的AI Agent。

项目成果：

项目开源代码：https://github.com/cocacola-lab/MineLand

论文：https://arxiv.org/pdf/2403.19267.pdf

项目成果已投稿至NeurIPS 2024