萝莉 胜利女神：nikke 智源发布首个跨本色具身大小脑招引框架与开源具身大脑

3 月 29 日萝莉 胜利女神：nikke，智源筹商院在 2025 中关村论坛"改日东说念主工智能时尚论坛"上发布首个跨本色具身大小脑招引框架 RoboOS 与开源具身大脑 RoboBrain，可完了跨场景多任务轻量化快速部署与跨本色招引，鼓动单机智能迈向群体智能，为构建具身智能开源长入生态加快场景应用提供底层本事赞助。

具身智能操作框架 RoboOS+ 具身大脑 RoboBrain.mp4

△基于 RoboOS 及 RoboBrain 的多机器东说念主跨本色招引寄递任务 Demo 增强长程操作任务武艺，打造感知 - 贯通 - 决议 - 行为闭环

在具身场景中，长程操作任务是机器东说念主奉行复杂任务的核心武艺之一。具身大脑 RoboBrain 会通了机器东说念主任务研究、可操作区域感知、轨迹斟酌的三维武艺，通过将概括指示映射为具象动作序列，增强长程操作任务的武艺。

RoboBrain 由三个模块构成：用于任务研究的基座模子、用于可操作区域感知的A-LoRA 模块和用于轨迹斟酌的T-LoRA 模块。在推理时，模子发轫感知视觉输入，并将输入指示领会为一系列可奉行的子任务，然后奉行可操作区域感知和轨迹斟酌。RoboBrain 聘请多阶段考试计谋，使其具备长历史帧缅想和高永别率图像感知武艺，进而晋升场景感知和操作研究的武艺。

RoboBrain 在职务研究、可操作区域感知和轨迹斟酌评测任务中均阐发出不凡性能。

在职务研究方面，RoboBrain 在不葬送通用武艺的前提下，在机器东说念主研究评测集 OpenEQA、ShareRobot（自建）和 RoboVQA 上多个维度优于 GPT-4V、Claude3 等 6 个其时发轫的闭源 / 开源 MLLMs。

△RoboBrain 在具身研究评测基准上的性能

在可操作区域感知方面，RoboBrain 在 AGD20K 测试集上的平均精度跳跃了其时起初进的开源模子 Qwen2-VL，考据了其在指示相识和物体属性方面的不凡武艺。

△RoboBrain 在可操作区域感知基准上的性能

△RoboBrain 在轨迹斟酌基准上的性能

在轨迹斟酌方面，RoboBrain 斟酌的操作轨迹具有与真确轨迹较高的雷同度，展现了其在轨迹斟酌中的高精度和踏实性。RoboBrain 的改日迭代版块会延续提高轨迹斟酌的武艺。

现在，RoboBrain 不祥解读东说念主类指示和视觉图像，以生成基于及时图像反馈的行为所在和评估，斟酌每一步的轨迹并感知相应的可操作区域。具体而言，RoboBrain 不祥有用应用环境信息和交互对象的景况——不管是从第一东说念主称还是第三东说念主称视角捕捉的图像——生成针对不同类型机器东说念主操作任务的任务研究，并基于东说念主类指示和视觉信息，提供合理的可操作区域，并能在不同场景中阐发出精熟的泛化武艺，生成既可行又合理的轨迹。

具身大脑 RoboBrain、小脑手段库以及跨机器东说念主数据核心，是跨本色框架 RoboOS 的核心身分。具身大脑 RoboBrain，认真全局感知与决议，构建动态时空感知、研究领导和反馈纠错机制；小脑手段库，认真低蔓延精确奉行，完了柔性与精密操作等；跨机器东说念主数据核心，认真确时分享空间、时间和本色缅想，为决议研究与优化招引操作提供信息赞助，从而变成感知 - 贯通 - 决议 - 行为的闭环。

一脑多机完了跨本色招引萝莉 胜利女神：nikke，从单体智能迈向群体智能

跨本色具身大小脑招引框架 RoboOS，基于"大脑 - 小脑"分层架构，通过模块化规画、智能任务管制和跨本色招引，为机器东说念主提供高效、纯真、可推广的底层赞助，完了从单机智能到群体智能的跃迁。

在 RoboOS 的分层架构下，具身大脑 RoboBrain 的复杂场景感知与决议武艺，可与小脑手段库的高效奉行武艺深度结合，确保招引框架在长周期、高动态任务中的踏实脱手。完了大脑模子（如 LLM/VLM）与小脑手段（如捏取、导航）的"即插即用"，现在，可赞助松灵双臂、睿尔曼单 / 双臂、智元东说念主形、宇树东说念主形等不同类型的具身本色。

通过分享缅想系统（空间缅想 / 时间缅想 / 本色缅想），完了多个机器东说念主之间的景况同步与智能招引，冲破传统"信息孤岛"罢休，完了跨本色招引适度。

RoboOS 可动态管制多机器东说念主任务部队，赞助优先级霸占与资源优化分拨，确保复杂场景下及时反应，完了高并发任务调理。

此外，RoboOS 可基于奉行反馈动态调理计谋，结合环境变化，延续优化任务研究，晋升鲁棒性，作念到及时闭环优化。

在"寄递苹果和生果刀"的任务场景中，基于 RoboOS 及 RoboBrain，睿尔曼单臂机器东说念主（转运）、宇树东说念主形 G1（挑拣生果）、松灵双臂机器东说念主（挑拣生果刀）单干招引。

举座任务经过是睿尔曼调用"导航手段"转移至餐桌前，宇树 G1 调用"视觉捏取手段"完成指定物体的挑拣，睿尔曼调用"捏取手段"拿起果篮并导航至松灵餐桌前。紧接着，松灵调用"捏取手段"得到生果刀，并遗弃在果篮中心，睿尔曼依据"空间缅想"导航至办公桌位置，寄递果篮后复返待命。

RoboOS 采纳"拿离杯子最近的生果，并寄递一把生果刀"指示后，寄递 RoboBrain 进行任务拆解，并将拆解后的子任务分发给 3 台跨本色机器东说念主。RoboBrain 通过 "空间缅想" 感知环境，笃定果篮、苹果位置，并拆罢免务为"宇树 G1 挑拣苹果→睿尔曼传递果篮→松灵机器东说念主捏取生果刀→睿尔曼复返"。

各机器东说念主本色奉行子任务过程中，由RoboOS 提供端云招引武艺，将任务研究为手段粒度，完了云霄 RoboBrain 分发研究，端侧奉行手段并及时反馈。RoboBrain 识别"离杯子最近的生果位置"、"果篮捏取位置 affordance "、"生果刀捏取位置 affordance "、"果篮适意位置 Pointing "，经由RoboOS 寄递领导各机器东说念主本色完成任务。

"即插即用"快速轻量化泛化部署，打造长入生态

RoboOS 看成面向多机器东说念主系统的跨本色具身大小脑招引框架，专为责罚现时具身智能落地过程中的通用性适配与多机调理繁难而规画。针对异构本色难以长入接入、任务调理后果低、短少动态古怪反馈机制等痛点，基于 RoboOS 的"大小脑协同"的架构范式，云霄的具身大脑 RoboBrain 认真长入的任务相识、研究决议与落魄文感知，本色侧则接入轻量级的小脑奉行模块，完了感知 - 贯通 - 决议 - 行为的闭环招引。

该机制不祥动态感知本色互异、纯真适配操作指示、自动成立超过步履，有用晋升系统在复杂任务场景下的鲁棒性与泛化性。RoboOS 原生赞助异构机器东说念主本色的纯真接入，以 Profile 模板机制快速完成机器东说念主武艺建模与适配。

本色的小脑模块可调用包括开源手段库、自研低阶适度器等多种手段接口，变成一个赞助模块复用、即插即用的脱手体系，大幅缩短开发门槛与接入资本。

在云霄，RoboOS 提供完备的模子适配与 API 接入武艺，兼容自研的多模态 VLM，看成可插拔的大脑决议引擎，从而在管事机器东说念主、工业自动化、聪惠物流、智能制造等畛域撑持复杂任务的多机招引需求。

借助 RoboOS 的端云一体化协同武艺与动态调理机制，通盘系统不仅具备高度的推广性与可迁徙性，更为改日具身智能的限制部署与生态构建奠定了通用操作系统级的基础。

RoboOS 基于智源筹商院研发的并行考试与推理框架 FlagScale，原生赞助多机器东说念主系统的端云协同武艺，打造具身智能的长入底座。系统在规画上充分琢磨"多机器东说念主 - 多模态 - 多任务"场景，具备极高的可推广性与低时延反应武艺。

在端侧部署中，机器东说念主注册即可自动与云霄部署的 RoboBrain 大脑树立双向通讯链路，通过高效发布 - 订阅机制完了及时任务调理与景况反馈，指示反应蔓延低于 10ms，恬逸复杂动态任务的闭环适度需求。

面向机器东说念主在长期脱手中产生的海量感知与步履数据，RoboOS 提供基于内存优化的数据走访引擎，赞助 TB 级别历史数据的内存立时走访武艺，为任务复现、超过回溯、跨任务学问迁徙等场景提供基础武艺。结合 RoboBrain 的任务推理与计谋优化模块，历史数据还可用于多机之间的招引学问分享，完了更强的智能演化与自主学习武艺。

此外，FlagScale 看成底层撑持框架，赞助大模子在多拓荒间的并行推理与多任务协同调理，可无缝集成视觉言语模子、轨迹生成模块、感学问别等子系统，全面开释具身大模子的系统后劲。

现在，智源筹商院依托多模态大模子本事上风资源，正在辘集北大、清华、中科院等高校院是以及星河通用、乐聚、加快进化、宇树等产业链落魄游企业，积极建设具身智能改进平台，要点开展数据、模子、场景考据等筹商。

这次智源筹商院发布的跨本色具身大小脑招引框架 RoboOS 及开源具身大脑 RoboBrain，将有契机通和庸俗一语气不同构型的具身本色与丰富多元的具身模子，加快具身智能跨本色招引与限制化应用。

灵通、招引、分享，是具身智能生态高亢的必经之路，智源筹商院愿联袂更多产业合作伙伴，共绘具身智能生态蓝图。

开源一语气：

具身多模态大脑模子 RoboBrain

Github：  https://github.com/FlagOpen/RoboBrain

Gitee：  https://gitee.com/flagopen/robo-brain

Huggingface：https://huggingface.co/BAAI/RoboBrain

为机器东说念主操作任务规画的高质地异构数据集 ShareRobot

GitHub：https://github.com/FlagOpen/ShareRobot

Gitee：  https://gitee.com/flagopen/share-robot

Huggingface：  https://huggingface.co/datasets/BAAI/ShareRobot

* 本文系量子位获授权刊载，不雅点仅为原作家扫数。

一键三连「点赞」「转发」「贯注心」

宽贷在辩论区留住你的念念法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见萝莉 胜利女神：nikke