4. 【具身智能】多 Agent 具身智能家庭管家机器人系统方案

1 前言当前市面上家庭智能设备大多是单点能力产品扫地机器人只负责清扫、家用摄像头仅承担安防监控、语音音箱只能完成简单对话。各类设备相互独立、数据不通无法协同完成复合型家庭任务。本文设计一套多 Agent 家庭管家机器人集群方案融合全屋固定传感器阵列、固定点位相机搭配搭载激光雷达的移动机器人依托大模型多智能体架构将环境感知、安防、家务、物品递送、家庭事务、人机交互能力整合为统一系统。用户一句自然语言指令系统自动拆解任务、调度机器人集群协同执行。底层基于 ROS2 Humble Qt 上位机开发Agent 只负责高层任务规划不侵入底层运动控制逻辑保障系统实时性与运行安全。硬件组成清单移动管家机器人激光雷达 移动 RGB 相机支持全屋自主移动全屋固定感知阵列固定点位相机 各类环境传感器部署在门口、厨房、客厅、卫生间等区域7×24 小时持续监测多机器人集群支持单机独立运行也支持多机器人协同作业人机交互终端机器人本体语音、手机 APP、Qt 管理面板用于下发指令、查看画面、接收告警、对话交互2 整体设计思路核心设计原则分层解耦由简单能力逐步构建复杂任务多 Agent 负责认知决策底层机器人控制栈保持确定性。感知层固定传感器 固定相机实现全天候持续监测移动机器人携带雷达 机载传感器、移动相机完成机动巡检与近距离复核观测技能层封装标准化机器人技能接口Agent 只能调用预定义技能禁止直接下发电机、速度指令认知层多 Agent 协同完成自然语言理解、任务拆解、安全校验、家庭记忆管理执行层ROS2 Nav2、MoveIt、Qt 上位机负责导航、运动、抓取等底层执行安全层独立安全规则引擎高危动作强制人工确认规避安全风险。3 核心功能模块由易到难模块 1自然语言对话陪伴基础交互能力作为全系统人机交互入口是所有功能的基础。日常闲聊支持多轮对话陪家人聊天、讲故事、讲笑话可以记住家庭成员、家庭物品位置等上下文信息。生活问答查询天气、菜谱、出行建议等生活常识。情感陪伴面向老人、儿童提供陪伴对话支持主动提醒例如夜间提醒休息。交互方式语音唤醒、文字输入支持对话中途打断。家庭记忆长期记录家庭成员偏好、物品常用摆放位置。模块 2全屋环境巡检 安全监测基础感知能力感知源分为全屋固定传感器阵列 固定相机常驻监测 移动机器人机动巡检 机载传感器复核定时全屋巡检支持自定义巡检点位、巡检路线自动定时执行也支持用户随时手动发起单次巡检。多维度环境参数监测温湿度监测固定点位 移动机器人机载温湿度探头采集各房间温湿度温湿度超出预设阈值触发告警对接互联网天气预报结合室内外环境智能提醒例室外降雨室内湿度上升建议关闭窗户室外高温提醒合适开窗通风时段。空气质量监测PM2.5、PM10、TVOC 检测室内空气污染超标推送告警联动新风机。光照监测采集房间亮度辅助智能灯光、窗帘联动。噪声监测采集室内噪音分贝夜间噪音超标触发提醒。厨房专项安全监测固定相机常驻监测持续识别灶台明火、燃气阀门状态、烟雾红外热成像监测识别灶台、插座、电器异常高温热源可燃气体传感器监测天然气泄漏CO 一氧化碳传感器防范不完全燃烧中毒烟雾传感器实现火灾早期预警移动机器人定点巡检定期前往厨房复核燃气、灶台、电器温度状态。漏水监测厨房、卫生间部署水浸传感器检测积水漏水触发告警。防盗振动监测门窗部署振动传感器检测窗户被撬动、撞击振动触发安防告警。定向环境查看调度机器人前往指定房间查看窗户、灯光、地面状态返回文字 现场照片。多类型异常识别识别地面积水、地面杂物、人员跌倒等风险事件PIR 人体红外传感器作为相机补充暗光下检测人体活动降低摄像头持续录制功耗。告警推送识别异常后本地语音提醒手机 APP 推送告警信息 现场图片可联动智能家居切断燃气电磁阀、启动排风设备需配套硬件。传感器选型说明红外热成像属于安全类核心传感器可检测隐形高温隐患弥补可见光相机无法测温的短板普通 PIR 人体红外不作为主识别源仅作为相机辅助降低功耗减少隐私录像。激光雷达作为机器人主避障超声波做低矮障碍物补盲碰撞传感器作为最后一级物理安全兜底。固定传感器负责 7×24 小时不间断监测移动机器人负责机动复核。单一传感器容易误报采用多源融合判断提升告警可靠性。模块 3看家护院安防告警固定相机为主移动机器人复核24 小时固定相机值守门口、客厅点位持续视频监控。人员分类识别区分家人、宠物、陌生人识别门口长时间逗留、窗口异动、闯入事件自动抓拍并推送手机告警。移动机器人现场复核固定相机触发告警后调度移动机器人前往现场近距离拍照、语音喊话。看家模式一键切换离家自动布防回家自动撤防告警录像片段自动保存支持历史录像回放。模块 4门禁访客管理门口固定相机抓拍访客画面实时推送至手机。远程视频对讲手机端与门口访客双向语音通话。远程授权开门主人核验访客身份后 APP 一键开门支持给快递、保洁设置限时临时开门权限。开门日志记录每次开门时间、人员、开门方式可回溯查询。机器人辅助复核可调度移动机器人到门口辅助查看门口现场情况。模块 5小件物品搬运递送跨房间小件转运完成物品取件、转运、放置支持水杯、书本、遥控器、小型包裹等轻量物品在房间之间递送。物品校验视觉识别物品尺寸、体量超重 / 超大物品拒绝搬运并提示用户。取放核验抓取前拍照确认目标物品放置完成后拍照反馈任务结果。高危物品拦截刀具、易碎玻璃、热水等危险物品直接拒绝搬运指令。模块 6快递取件辅助依赖【门禁管理】【小件物品搬运递送】模块能力。前置硬件条件智能门禁 门口安全投递区包裹识别门口固定相机识别快递包裹推送取件提醒。快递临时授权用户远程视频确认后临时授权开门供快递员放置包裹。机器人取件搬运调度移动机器人到门口取包裹搬运送至室内指定房间。面单信息采集搬运至桌面后拍摄快递面单读取快递信息。安全限制机器人不执行拆包操作刀具安全风险。模块 7家务清扫自主全屋吸尘清扫自动避开线缆、拖鞋、地毯等障碍物。分区清扫支持指定单一房间清扫。脏污区域识别视觉识别地面污渍对脏污区域重点重复清扫。清扫报告任务结束生成清扫报告标注已清扫区域、因障碍物无法清扫区域。自动回充电量不足自动返回充电桩充电完成自动接续未完成清扫任务遇到地面散落杂物提醒用户整理后继续清扫。模块 8家庭事务管理水电燃气账单表计读数采集移动机器人定点拍照抄表或固定相机持续读取水表、电表、燃气表读数。或接入网络获取。账单提醒到缴费周期主动提醒用户缴纳水电燃气费用。消耗台账记录每月用量生成月度消耗简报包含室内温湿度、空气质量统计。缴费快捷入口APP / 管理面板提供缴费跳转链接。安全限制机器人不直接发起支付支付操作由用户确认执行。模块 9儿童作业辅导拍照识题相机拍摄习题解析题目内容。学习辅导数学、语文、英语习题讲解、作文润色、古诗文听写、单词朗读。坐姿矫正视觉识别孩子弯腰、离书本过近语音提醒纠正坐姿。学习计划管理协助制定学习任务定时提醒学习与休息。家长管控模式家长可控制答案是否展示防止孩子直接抄答案。模块 10智能家居联动设备控制语音 / APP 下发指令控制灯光、窗帘、空调、智能插座。状态查询查询智能家居设备当前工作状态。场景联动策略支持预设场景联动例如识别燃气异常自动联动关闭燃气阀、离家一键关灯。模块 11多机器人集群协同高阶能力依赖前面全部基础模块属于系统调度层能力。任务自动拆分分配收到复杂自然语言指令自动拆分子任务分配给不同机器人并行执行。示例同时执行「客厅清扫」「查找车钥匙」清扫机器人负责打扫另一台机器人检索物品。信息共享集群内机器人共享地图、障碍物、物品位置、告警信息一台机器人发现的物品位置全集群共用。任务接力机器人电量不足自动回充同集群其他机器人接力继续完成未完成任务。冲突避让多机器人相遇自动避让避免堵路。集群监控统一管理面板查看全部机器人电量、实时位置、任务进度支持随时新增机器人加入集群。4 系统全局调度能力多 Agent 业务层跨模块公共能力自然语言任务拆解一句话接收复合任务自动拆分为可执行子任务。示例指令“我出门上班开启看家模式全屋清扫一遍顺便检查厨房燃气。” 系统拆解开启安防布防 → 启动全屋清扫任务 → 调度机器人巡检厨房燃气。异常动态处理任务执行遇到障碍自动重试无法完成则询问用户备选方案。任务优先级策略安防告警 安全巡检 递送 / 清扫 闲聊。安全事件触发时自动暂停家务任务优先处理告警。系统综合融合图像、雷达、各类环境传感器、互联网天气数据做多源信息融合降低单一传感器误报率。用户权限管理区分主人、老人、儿童权限儿童账号禁止开门、搬运高危物品等高风险操作。5 人机交互与消息通知全局公共能力多渠道推送手机 APP、机器人本地语音、Qt 管理面板告警、任务完成、账单提醒均可推送。多媒体消息告警、巡检、物品查找完成后附带现场照片 / 短视频推送。任务日志永久保存机器人任务记录、告警记录支持随时回溯查看。语音播报实时播报任务进度、异常事件。6 全局安全约束所有模块统一规则高危动作二次确认开门、联动燃气切断阀等高危操作必须用户确认才可执行。禁区自定义可划定机器人禁止进入区域婴儿房、浴室。碰撞与人体保护靠近人体自动减速内置碰撞传感器物理防护。隐私总开关一键关闭所有摄像头图像采集与录像。7 系统总体架构7.1 多 Agent 角色划分系统认知层采用多 Agent 分工协作模式每个 Agent 职责单一解耦设计避免大模型单 Agent 职责臃肿。交互 Agent负责接收用户语音 / 文字指令完成 ASR、语义理解对话管理回答闲聊类问题将用户指令转发给任务规划 Agent把系统执行结果、告警信息整理成自然语言反馈给用户。任务规划 Agent系统核心调度 Agent。接收交互 Agent 的用户指令将复合任务拆解为有序 / 并行子任务结合任务优先级、机器人集群状态、地图信息分配子任务到对应机器人监控任务执行状态子任务失败时生成重试策略或者询问用户。感知融合 Agent统一汇聚固定传感器、固定相机、移动机器人机载传感器、互联网天气数据对多源数据做融合分析过滤传感器噪声降低误告警识别环境异常事件燃气泄漏、高温、漏水、闯入等产生告警事件推送给任务规划 Agent 与通知模块。安全校验 Agent独立安全守门 Agent。所有待执行动作开门、燃气阀联动、搬运物品等都必须经过安全校验 Agent 审核根据权限规则、禁区配置、物品风险等级判断动作是否允许执行高危动作拦截并触发人工确认流程。家庭记忆 Agent持久化管理家庭知识库房间地图、物品存放位置、家庭成员信息、用户习惯、历史任务记录、传感器历史数据为其他 Agent 提供记忆查询能力持续学习家庭环境信息。7.2 数据流文字描述用户下发任务数据流用户语音 / APP/Qt 面板→交互 Agent 解析自然语言→交互 Agent 把结构化任务提交给任务规划 Agent→任务规划 Agent 查询家庭记忆 Agent 获取家庭环境信息→任务规划 Agent 拆分任务提交给安全校验 Agent 做权限 风险校验→校验通过后下发标准化技能指令到 ROS2 技能执行层→ROS2 驱动机器人集群、传感器、智能家居硬件执行动作→执行过程中的图像、传感器数据回传给感知融合 Agent→任务执行结果回传给任务规划 Agent→交互 Agent 整理结果语音 / APP 反馈给用户同时写入家庭记忆 Agent 持久化保存。主动告警数据流传感器触发无需用户指令各类固定传感器、相机、移动机器人机载感知数据 → 感知融合 Agent 做数据融合、异常判断 → 感知融合 Agent 生成告警事件推送给任务规划 Agent → 任务规划 Agent 按照最高优先级暂停现有任务调度机器人现场复核同时交给安全校验 Agent 确认告警联动策略 → 通知模块推送告警消息APP、语音告警事件写入家庭记忆 Agent 留存日志。外部数据流入数据流互联网天气 API → 感知融合 Agent作为环境决策辅助数据生成环境提醒。7.3 分层架构说明感知层各类传感器、摄像头、激光雷达原始数据采集认知 Agent 层交互 Agent、任务规划 Agent、感知融合 Agent、安全校验 Agent、家庭记忆 Agent技能抽象层封装机器人标准化技能接口巡检、清扫、抓取搬运、导航、拍照、智能家居控制ROS2 执行层ROS2 节点Nav2、MoveIt、图像识别节点、传感器驱动节点Qt 上位机集群状态监控、可视化面板、任务日志管理终端层手机 APP、机器人语音交互。8 典型业务场景示例场景 1离家场景用户语音“我出门上班开启看家模式机器人打扫全屋顺便检查厨房燃气。”开启全屋固定相机看家布防PIR 人体红外、振动传感器进入值守状态调度清扫机器人启动全屋清扫调度巡检机器人前往厨房采集燃气、CO、温度数据并检查燃气阀门如果清扫时识别地面积水或传感器检测到燃气泄漏、高温、烟雾立刻暂停清扫手机推送告警后台持续拉取互联网天气若预报暴雨提前推送提醒用户回家检查门窗。场景 2快递到家固定相机识别门口快递推送手机提醒。用户远程视频核验临时授权开门。调度移动机器人到门口取包裹搬运送到客厅茶几拍照通知主人快递送达。场景 3多机协同任务用户“清扫客厅同时帮我找一下车钥匙。” 清扫机器人负责清扫客厅另一台移动机器人在全屋检索钥匙找到后拍照汇报位置。9 方案总结与展望本方案把多 Agent 具身智能和传统 ROS2 服务机器人结合打破单一功能家电孤岛。系统采用模块化设计从最简单的对话交互逐步叠加巡检、安防、家务、多机协同能力可分阶段开发验证。MVP 阶段先实现单机器人完成导航、巡检、语音交互迭代阶段叠加物品搬运、清扫、智能家居联动高阶阶段落地多机器人集群协同。后续扩展方向数字孪生可视化、RAG 家庭知识库、老人跌倒健康监测、更多智能家居设备接入。本文为产品功能方案暂未深入底层代码与 ROS2 节点实现。大家觉得家庭管家机器人最刚需的功能是什么欢迎评论区交流。