|前言

随着科技的进步和生活水平的提高，家庭对智能化服务的需求日益增长，在家庭环境中，用户可能给出复杂、模糊或包含多种意图的指令，传统的机器人系统往往难以准确理解并执行这些指令。

论文概述

上海人工智能实验室（上海AI实验室）、香港大学、布里斯托大学、西交利物浦大学、西北工业大学、中国电信股份有限公司人工智能研究所基于松灵Ranger mini3.0移动机器人底盘研发，通过有效对齐用户提示来优化家用机器人定制任务规划的算法框架AlignBot。

以下视频来源于 IPEC-Robotics&Photonics

已关注 关注 重播 分享 赞 关闭观看更多更多退出全屏切换到竖屏全屏退出全屏无人系统网已关注分享视频，时长03:00

0/0

00:00/03:00切换到横屏模式继续播放进度条，百分之0播放00:00/03:0003:00全屏倍速播放中 0.5倍 0.75倍 1.0倍 1.5倍 2.0倍 超清 流畅

继续观看

科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手

观看更多转载,科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手无人系统网已关注分享点赞在看已同步到看一看写下你的评论

视频详情

该研究旨在通过微调大视觉语言模型（VLMs），使家庭机器人不仅仅是一个工具，而是一个能够理解并适应每个家庭成员个性化需求的智能助手。

该论文已提交IEEE INTERNATIONAL CONFERENCEON ROBOTICS AND AUTOMATION 2025。

论文作者：Zhaxizhuoma，Pengan Chen，Ziniu Wu，Jiawei Sun，Dong Wang，Peng Zhou，Nieqing Cao，Yan Ding，Bin Zhao，Xuelong Li

项目主页：https://yding25.com/AlignBot/

论文链接：https://arxiv.org/pdf/2409.11905

Github链接：https://github.com/zxzm-zak/AlignBot

AlignBot

传统的任务规划方法（如基于规则或符号的规划系统）在家庭环境中表现出较大的局限性。这些方法依赖精确的环境模型和详细的任务描述，而这些信息在家庭场景中往往难以获取或动态维护。

通过微调大视觉语言模型（VLMs），AlignBot能够精准地将用户的多样化指令转化为切实可行的任务规划。这显著提高了家庭机器人在不同场景中的任务成功率。

AlignBot通过微调LLaVA-7B模型，增强了对视觉数据的语义理解能力。微调后的模型能够将用户的提醒转化为清晰的指令提示，指导后续的任务规划。

AlignBot采用了一种基于案例学习的方法，选择与当前任务最相关的历史成功案例作为提示信息。这一机制帮助机器人从过往的成功经验中学习，并灵活应对新的任务场景。

如果初次输出的任务规划未能满足用户期望，AlignBot支持多轮次的迭代对话。通过持续反馈和调整，系统能够不断优化任务规划，直至实现令人满意的结果。

建立了一个多模态的结构化数据集，包含3个实验场景，涵盖20项日常任务，涉及80个物品，通过排列组合共生成了超过1500个任务场景用于训练LLaVA。

实验结果

科研团队在一个实际的机器人系统上实现了AlignBot，该系统由松灵Ranger mini3.0底盘，搭载UFactory XArm机械臂组成，采用了ACT算法和AnyGrasp方法进行操作。

已关注 关注 重播 分享 赞 关闭观看更多更多退出全屏切换到竖屏全屏退出全屏无人系统网已关注分享视频，时长01:03

0/0

00:00/01:03切换到横屏模式继续播放进度条，百分之0播放00:00/01:0301:03全屏倍速播放中 0.5倍 0.75倍 1.0倍 1.5倍 2.0倍 超清 流畅

继续观看

科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手

观看更多转载,科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手无人系统网已关注分享点赞在看已同步到看一看写下你的评论

视频详情

在这一实验设置中，机器人负责将物品从台面放入抽屉，AlignBot凭借其多模态输入和定制化微调，生成了更具针对性和实用性的提示，显著提升了任务执行效果。

参考文章：

https://mp.weixin.qq.com/s/ymyPIE0FtqkppC7-CyPr7Q

https://mp.weixin.qq.com/s/D6VbSKv_caJBdsRABjzWaw

开放、共享、协同

松灵机器人自成立以来，一直秉持着赋能开发者的理念，致力于为机器人行业和科研教育构建全面的开发平台。通过共享资源、交流思想、合作创新，共同构建更加完善的机器人训练数据集和测试平台，为机器人的学习和训练提供更加丰富和多样的素材。

欢迎更多高校与科研机构与我们携手共创，共同探索更多新的应用场景和技术方向，为机器人的广泛应用和智能化发展贡献更多的智慧和力量。