开云体育(中国)官方网站

7 月 15 日，具身智能创业企业星尘智能发布第二代具身基础模子 Lumo-2，以及面向耐久东谈主机共处的物理 AI 智能体 Philia。

在星尘智能的时期框架中，这两项发布分别对应「AI 模子」与「具身 OS」，再与其绳驱机器东谈主履行联接，组成公司所强调的「AI 模子—具身 OS —绳驱履行」三层体系。在这个体系中，具身基础模子 Lumo-2 试图改善机器东谈主表示物理变化、瞻望将来并生成动作的才智，物理 AI 智能体 Philia 则说明把模子、牵挂、交互、导航和多个机器东谈主组织成一套耐久运行的系统。

鉴于具身智能时期若干有点晦涩，这里不妨打个比喻：在动漫作品《海贼王》里，有一项才智叫「见闻色霸气」，这种才智不错匡助使用者感知其他的存在、情感与行动意图；更高等的使用者以致不错看到有顷的将来。

Lumo-2 这个模子的中枢不同，有点近似于「见闻色」，能够凭据现时的视觉不雅察，机器东谈主本人景况，谈话教导和昔日一段时辰的动作历史，来揣测动作诡计最可能出现的物理变化，作念概轻视的短期物理瞻望，进而匡助动作的彭胀。

在行动之前，先瞻望寰宇会怎么变化

星尘智能将 Lumo-2 称为「家庭隐式寰宇—动作模子」，英文为 Latent World-Action Model。

从履行展示来看，Lumo-2 袒护了卓绝 22 项家庭任务，包括接住滚落的球、将杯子放到旋转杯架上、煎鸡蛋并颠锅翻面、称取 500 克小米、磨粉制作咖啡、调制饮品、给礼盒打蝴蝶结、整理行李箱并拉上拉链、熨烫和吊挂衣着等。

这些任务看起来都属于「家务」，对机器东谈主才智的要求却并不沟通。

接球和握取滚动鸡蛋需要表示物体领路趋势；倒水、煎蛋和洗碗要求判断任务进行到了哪个阶段；行李装箱和制作咖啡包含较长的动作链条；蝴蝶结、拉链、茶包等任务，则对双手协统一缜密界限建议了更高要求。

传统 VLA 模子（视觉 -- 谈话 -- 动作模子）常常凭据视觉不雅察息兵话教导径直输搬动作。机器东谈主看到杯子，收到「把水倒进茶壶」的教导，模子便生成机械臂接下来的一段轨迹。

这种时期决议也相比闇练，不外也容易产生一种「反射式」局限：模子学习了某种视觉输入常常对应什么动作，却不一定明确表示，这个动作将令环境发生怎么的变化。

Lumo-2 会在不雅察与动作之间加入了一层「潜谢寰宇动态」，模子先在压缩的隐空间中瞻望与任务相关的将来变化，再凭据这份将来变化生成动作。

这个瞻望并非生成一段完好视频，因为完好的视频瞻望需要重建大都像素，其中包括配景、色泽、纹理等与界限关系有限的信息，需要的算力老本也相对较高。Lumo-2 试图保留的瞻望是与行动相关的物理变化，举例物体将向那儿搬动、容器是否仍在倾倒、手与物体将发生怎么的战役，以及任务行将干预哪个阶段。

不错把它表示为一份面向行动的「将来草稿」。

这让 Lumo-2 位于 VLA 和完好视频寰宇模子之间：它保留了寰宇模子「先瞻望后行动」的想路，又将瞻望抛弃在更轻量、更接近界限需求的潜在空间里，星尘智能发表的论文将这一过程称为 latent reasoning 隐式推理。

星尘智能的上一代 Lumo-1 更多依赖显式文本推理，将复杂任务拆成笔墨圭表。文本诡计便于讲解注解，不外笔墨有本人的局限性，许多信息无法通过笔墨精确态状，面临快速连气儿界限时却存在推理蔓延和抒发容量上的抛弃。Lumo-2 将这部分推理升沉到隐空间，但愿在减少 token 生成的同期，捕捉愈加连气儿的时空变化。

在倒水任务中，Lumo-2 的上风不错直不雅体现，因为透明的水倒出之前和倒完之后，单帧图像可能极端视似；机器东谈主只看现时画面，很难判断应该连续倾倒，如故将容器放回桌面。

Lumo-2 因此引入一段短期动作历史，让模子联接此前作念过什么，判断现时处于哪个阶段。这相称于为战略加多一种紧凑的「动作牵挂」，幸免单帧不雅察形成的景况混浊。

Lumo-2 的另一项关节变化，是再行处理动作表征。机器东谈主动作常常是一组连气儿信号，举例机械臂位姿、旋转角度、速率和夹爪开合进度。昔日不少模子会将这些信号压缩成动作 token，闇练诡计主如果尽可能准确地复原原始轨迹。

但星尘智能合计，动作复原得准确，并无谓然意味着履行界限效果更好。

一个动作编码器可能极端擅长保存低层信号细节，却莫得表示动作与物体、任务息兵话之间的关系。模子在闇练集上的重建罪戾很低，委果干预新环境后仍可能阐扬不褂讪。

这即是为什么一些具身智能机器东谈主在实验室或者固定场景的演示里阐扬优异，但干预到了委果家庭或者工场场景就不知所措的原因。

为此，Lumo-2 遴荐三阶段渐进式闇练。

第一阶段先让动作与视觉寰宇变化对皆。模子同期不雅察前后两个时刻的画面和对应动作，从视觉变化中筛选与物理领路相关的信息，并用动作反过来敛迹视觉示意。这么不错减少光照变化、配景扰动等无关要素对寰宇动态示意的影响。

第二阶段将动作进一步与视觉息兵话对皆。动作 token 除了记载位移、旋转和夹爪景况，还需要逐渐具有「提起杯子」「连续倾倒」「将物品放入背包」等语义关系。闇练任务包括动作态状、动作瞻望、寰宇动态瞻望，以及判断动作与现时视觉和教导是否匹配。

第三阶段再把视觉谈话数据、互联网视频、第一东谈主称东谈主类视频和机器东谈主数据放在一齐采集闇练，让模子同期学习寰宇学问、物理变化和动作生成。

这套历程背后的判断逻辑是：动作应当和图像、谈话相似，被行动基础模子中的一种中枢模态，而不是在视觉谈话模子终端临时加多的输出接口。

为中意及时界限需要，Lumo-2 还遴荐分块自回首生成，一次瞻望一组动作 token，而非一一生成。Lumo-2 的时期论文裸露，在单张 RTX 5090 上，其端到端蔓延由约 253.66 ms 降至 93.53 ms。

在实验中，团队将委果任务折柳为时序推理、物理表示、动态场景、长历程、高精度和机灵操作等类别。凭据论文数据，Lumo-2 在这些任务中举座优于 π 0.5 和 Fast-WAM 等基线；在未见谈话教导和未见物体要求下，也阐扬出更高的任务生效能。

具身智能驱动干预「系统工程」阶段

具身基础模子 Lumo-2 处分的是机器东谈主怎么完成任务，物理 AI 智能体 Philia 温煦的点是用户在使器用身智能机器东谈主时若何赢得细致的体验。

天然具身智能时期还在探索期，果然莫得什么 C 端用户，谈判用户体验还为时过早，但有恃毋恐嘛，先谈判的有先发上风。

当今多数机器东谈主仍然围绕单次手段调用想象，用户通过特定 App 或界限台下发敕令，一台机器东谈主对应一套软件和账户，彭胀扫尾后，系统对用户偏好、历史任务和其他机器东谈主常常莫得连气儿领会。

Philia 但愿将机器东谈主再行界说为一个智能助理能够调用的「物理彭胀者」。

用户不错触达的最表层是飞书、微信、语音和网页等用户界面；中间层是 Agent 界限平面，说明表示意图、调用牵挂、拆罢免务、取舍机器东谈主和匹配才智；底层则是每台机器东谈主的腹地运行时，说明感知、导航、模子推理、轨迹彭胀和安全界限。

在这个结构中，Agent 决定「作念什么」，机器东谈主腹地系统说明「怎么作念」。

连气儿两者的关节，是 Robot Gateway，也即是机器东谈主网关。每台机器东谈主通过网关公开一组表率才智，举例不雅察场景、彭胀操作、导航、播报、查询景况和取消任务。

这种想象与软件 API 近似：底层杀青不错接续替换，惟一双外接口保持褂讪，表层交互、牵挂和任务系统便不需要再行蛊惑。

举例，用户在飞书中说「把玩物装进书包」，智能体 Philia 不错先确信哪台机器东谈主具备对应才智，再调用腹地部署的 Lumo-2 背包装填战略。将来

模子升级后，只需替换底层战略，用户面临的助理身份和交互神志仍然保持连气儿。

耐久牵挂是 Philia 与往常机器东谈主界限系统的进军区别。比如说，用户此前告诉系统，我方早餐常常吃三明治和浓缩咖啡，之后用户只需说「把我平时早餐吃的食品放进托盘」，Philia 便不错从牵挂中找到关系偏好，再联接机器东谈主现时看到的桌面，取舍三明治作为诡计。

Philia 还辅助将多台机器东谈主组织在合并个助手身份下。用户不错同期下达「Alice 整理桌面，Bob 提起垃圾袋」这么的敕令，系统分别判辨机器东谈主称号、才智和任务，将教导发送给不同网关，并独处跟踪彭胀景况。

从用户视角看，我方弥远在和合并个助理交流；多台机器东谈主相称于这个助理能够调用的不同体魄。这种统孤苦份和多履行想象，比「每台机器东谈主领有一个独处 App」更接近将来家庭建立生态，也意味着智能体可能逐渐从单个硬件中脱离出来，成为跨建立存在的处事层。

Lumo-2 与 Philia 同期发布，呈现了两条互相补充的时期蹊径。

Lumo-2 连续向下深刻：议论机器东谈主如何通过隐式寰宇动态表示物理变化，诓骗更多数据，并生成更褂讪的动作。

Philia 则朝上扩展：议论怎么将操作模子、导航、牵挂、交互和多台机器东谈主整合为一个能够耐久处事用户的系统。

如果以智高手机为例的话，一部智高手机的使用体验，一方面是硬件水平，性能好不好，屏幕靓不靓，影像强不彊；另一方面是系统优化，怒放与否，省不省电，聪不解智等等。

星尘智能发布的两个时期驱散概况即是分别对应模子才智与系统体验，也即是说，起码在时期上，具身智能驱动干预「系统工程」阶段，机器东谈主干预家庭，一段漂亮的演示视频照旧远远不够打动东谈主了，一套不错接续升级、不错被打断、能够牵挂开云体育(中国)官方网站，也能够对委果寰宇说明的完好系统才是准初学槛。