9月10日,大晓机器人联合南洋理工大学S-Lab等机构发布并开源统一多模态世界模型框架Puffin-World,首次将物理、几何和外观定义为三种原生三维世界状态。
该框架同步开源代码、模型和含1500万组三元组的Puffin-16M数据集,并开放28个公开数据集约4450万张图像的绝对相机位姿标注。
模型可在单一框架内完成相机物理理解、自由视点仿真、三维生成重建及闭环自校准探索四类任务。
在四项Benchmark中均取得SOTA,其中Stanford2D3D横滚角、俯仰角中位误差仅0.29度和0.53度,Puffin-Cam-Bench上FID为75.93。
