小米开源 Xiaomi-Robotics-U0：具身领域首个“通吃”四类任务的统一生成模型

想了解更多开云官网相关内容，尽在开云。

7 月 15 日，小米推出了一款名为 Xiaomi-Robotics-U0 的全新模型。该模型拥有 380 亿参数，是一款多模态自回归具身生成基础模型。它被誉为具身智能领域的首个能够处理四种不同任务的统一生成模型，并且能够整合机器人相关的图像和视频数据的生成与编辑功能。

该模型的能力涵盖以下四个方面：

具身场景生成：能够根据文本描述，为指定的机器人生成多视角的初始场景。无论场景是桌面、厨房、仓库还是更复杂的开放世界，模型都可以通过语言指令生成相应的机器人观测视角。
具身迁移：允许将已有的机器人轨迹迁移至新的环境。例如，可以改变光照、背景、桌面材质、目标物体或工作区域的风格，同时保持原始轨迹中的机械臂姿态和场景布局。
机器人交互视频生成：基于初始观测和操作指令，能够生成连贯且符合物理规律的后续视频。该功能具备零样本泛化能力，可以应用于任何场景。
通用文生图和图像编辑：模型保留了通用的图像生成和编辑能力，使得互联网上的视觉知识可以被迁移到具身智能的任务中。

小米方面表示，该模型能够在保持几何一致性的前提下，对现有数据进行增强，例如更换物体、调整光照、改变背景或增加干扰，而无需重新采集数据。此外，它还可以从零开始生成全新的场景，覆盖真实机器人难以到达的危险、极端或长尾环境。通过采用 FlashAR+ 推理加速方案，模型的生成效率相比传统的自回归范式提升了约 83 倍，显著加快了工程应用的部署速度。这为规模化生成用于增强模型效果的具身训练数据提供了一个可控且高效的解决方案。

在 WorldArena 评测基准中，Xiaomi-Robotics-U0 在包含 126 个参赛模型的全球评测中获得了总分第一的成绩。在实际机器人测试中，使用 Xiaomi-Robotics-U0 扩充数据训练的策略，在未知光照和陌生背景等非分布（Out of Distribution）场景下的任务完成率平均提升超过 26%。

目前，该模型的相关代码和模型权重已全部开源。