项目简介

目前机器人在感知端和决策端存在的不足限制了机器人的大规模应用，伴随着大模型技术的迭代和发展，大语言(LLM)、视觉-语言(VLM)等大模型拥有了对现实世界丰富准确的感知和理解能力，在机器人研究领域展现了令人瞩目的潜力，基于这些多模态大模型的通用智能机器人（具身智能）将成为未来的发展方向。
因此，我们希望融合多模态大模型、强化学习和机器人控制技术，开发面向机器人决策规划、感知理解和自我演进的机器人通用型平台，赋能传统机器人，实现和增强机器人的智能，使机器人在与环境的交互中提升其认知和行动能力，并可以进行基于语义的任务规划。
推进机器人从“自动化”向“认知智能化”演进。

访问和实习项目（学生项目）：

1. 负责大语言模型、视觉-语言模型、agent模型等具身智能相关模型研究；

2. 负责强化学习、模仿学习、元学习、自监督学习、类脑导航等算法研究；

3. 负责具身智能论文和前沿技术的跟踪和算法应用；

学生项目要求:

1. 要求就读于计算机科学、大数据科学、通信工程、自动化、神经/脑科学等相关专业，具有扎实的编程能力和一定的深度学习模型经验;

2. 熟悉Linux、Docker和深度学习框架PyTorch, 有计算机视觉、深度学习、人工智能等课程或者科研项目经历者优先;

3. 对计算机视觉、机器人、具身智能及其相关研究具有极大热忱, 希望进行创新性研究;

项目组可提供的资源：

项目组在机器视觉，自动驾驶，多模态大模型研究领域发表了30余篇顶级会议和期刊文章，和腾讯和华为均保持着研究合作。
项目组可提供：

1. 发表顶会论文的机会：包括但不限于CVPR，ICCV，ECCV，NeurIPS，ICLR等。

2. 系统的科研训练与全面的科研视野。

3. 国际化合作与个人提升：可以推荐至国内外多个顶尖的计算机视觉、深度学习研究机构、院所进行实习、交流访问和帮助硕博士申请。

4. 丰富的计算资源：我们拥有大量A100资源，同时我们拥有多个机器人硬件平台。