P01 机器人操作中的视觉语言动作模型:系统综述
汇总模型、数据集、仿真平台与泛化评价,并提出数据集描述分数。 定性等级不是统一重跑;部分平台、频率和计数条目需回查一手论文。
LITERATURE NOTES
研究问题、核心方法、实验结果与局限,以及与其他工作的联系。
汇总模型、数据集、仿真平台与泛化评价,并提出数据集描述分数。 定性等级不是统一重跑;部分平台、频率和计数条目需回查一手论文。
用八类动作相关中间表示统一分析模型模块、数据来源与执行接口。 分类可重叠且 token 定义宽泛;组合架构是研究判断,没有统一对照实验。
从架构、数据、预训练、后训练与评估五个环节梳理具身操作 VLA。 部分方法和数据表存在转述不一致,成绩不是统一训练或统一硬件比较。
以动作、奖励、转移建模、在线/离线/推理时范式和真实部署构成 RL-VLA 系统分类与研究路线。 分类和结果来自异构原论文,未统一重跑;以官方同题名 PDF 补齐,原项目附件版本不可逐字节核验。
用慢速外层强化学习训练GRU,使其在新任务中仅依靠跨回合隐藏状态更新学习探索与利用。 外层训练成本高且长时域优化困难,快速适应依赖任务分布与trial边界,实验不支持任意任务的通用最优学习。
以运行统计归一化、残差前馈块和输出前 LayerNorm 改造网络骨干,使更大的 critic 在多个强化学习算法中提高样本与计算效率。 证据主要来自状态和符号输入的仿真任务;简洁性频谱是二维初始化代理且存在反例,尚未验证视觉 VLA、真实机器人或社会导航安全。
把 ALOHA 遥操作数据、CVAE 动作分块和时间集成结合,学习精细双臂操作。 真实任务表现不均衡;时间集成和潜变量的作用受数据与任务条件限制。
在视觉条件下联合去噪生成连续动作序列,并用滚动执行形成闭环。 多步采样、视觉条件与动作长度影响实时性;复杂双臂任务仍有较多失败。
用预训练视觉语言主干与流匹配动作专家,学习跨机器人和多任务的连续动作块。 广泛预训练与任务后训练的贡献需分开,控制频率不等于新视觉闭环频率。
用上下文库和 Meta-Action-Reasoner 支持统一 VLA 多任务协同训练并利用异构辅助示范。 主证据限于模拟任务适配,未证明新技能零样本适应或真实在线学习;默认最佳配置不使用随机潜变量。
用 Flow-Noise 与 Flow-SDE 构造可优化的随机生成过程,对流式 VLA 动作专家进行在线 RL 微调。 仿真与计算成本较高,训练随机过程与推理有差距;原文时间方向及 score 符号需结合实现核对。
冻结 VLA 与压缩表征,利用 RL token、参考动作和小型动作块 actor-critic 高效学习关键操作阶段。 仍依赖任务示范、人类接管与阶段管理,主要在少数精细操作任务验证,未解决整体 VLA 推理延迟。
用视觉、语义和执行三维 OOD 测试说明 PPO 的主要泛化收益在执行恢复,并给出共享价值头训练配方。 基于有限模型与规划器示范,优势并非覆盖所有语义和视觉测试;真实迁移仅有小规模验证。
按近期机器人动作幅度决定是否剪枝,并利用文本—视觉相关性保留输入token。 动作幅度只是视觉需求的代理;长任务精度下降,FLOPs加速不能等同端到端时延。
轻量草稿利用新图像生成动作,由复用旧视觉KV的动作专家并行验证连续前缀。 验证为启发式局部一致性检查,旧缓存与分布漂移可能造成共同错误,且需要额外训练。
用旧动作前缀和软掩码引导流式动作补全,在并行推理与执行时保持动作块连续。 单次推理因梯度引导变慢,冻结前缀期间仍无法立即利用突发环境变化,也无硬实时保证。
以CUDA Graph、代数折叠和Triton融合缩短π0前向,并提出视觉/动作专家重叠的流式设计。 完整流式与progressive chunking仍为设计草图,接笔仅为一维夹爪任务,不能据此宣称通用高速操控。
用当前图像配对未来机器人状态和动作进行微调,使动作生成适应异步执行起点。 依赖未来状态估计与偏移微调;未来本体状态不等于未来环境,量化加速可能损害精细控制。
结合430M多帧VLA、持续推理、过期动作丢弃及DOM动态操控数据,提高动态目标操作成功率。 旧观测后缀仍受延迟影响,扰动与运动理解较弱;v1存在频率和公式记号问题,需参照v2澄清。
构建117,000轨迹的DOMINO,并以历史光流和未来对象特征辅助监督训练PUMA。 主表成功率仅17.20%,采用接触停止自主运动简化,仿真尚未系统纳入真实推理延迟。
以根轨迹、姿态离散潜变量和智能控制基元实现低延迟多风格动作生成。 输出运动学参考动作,导航决策与物理跟踪仍需外部系统,完整训练管线未随预览全部公开。
用统一三维语义体素条件与关节热图扩散建模人—人、人—物、人—场景交互。 依赖给定交互上下文及未来轨迹,不直接解决因果在线预测、物理可执行性与人群导航。
从已知三维资产、视频先验和四维重建生成可经物理策略跟踪的机器人移动操作示范。 依赖已知场景几何、视频筛选及昂贵物理训练,不是任意现实视频的自动无误重建。
通过规模化仿真路径、RGB-D 扩散候选和特权几何监督的轨迹评估器,实现跨环境与跨机器人局部导航。 主要以静态场景规划数据训练,缺少完整社会规范与长期记忆;论文的部分 critic 与训练公式还存在符号不清或排版缺项。
以 NavDP 初始化的 Rectified Flow 和动态环境强化学习改进跨具身生成式局部导航,并提供 DynBench 六类动态场景任务。 部分奖励、概率比和社会指标定义不充分,距离阈值代理不等同物理碰撞,个别表项出现 SPL 高于成功率的内部不一致。
结合场景处理、人群根轨迹生成、AMP 全身控制和视觉 PPO,使物理驱动行人能用于并行导航数据与仿真到现实评测。 人群控制仍有较多跟踪失败;论文详细实验主要检验人体轨迹与吞吐量,公开 2.0 管线与论文 AMP 方案也需做版本区分。
以 nav2py 连接 Python 学习策略和 ROS 2 Nav2,结合语义场景、交互行为和多维指标开展可配置社交导航比较。 其成功率允许少于两次碰撞,不等同零碰撞到达;算法分类与部分指标单位有误,统计复现细节有限。
用五类架构梳理社交导航、训练与感知系统,并在六类场景中比较九种经典及学习式规划器实现。 统一实验对原方法有多项结构改造,缺乏充分等预算消融与精确数表;官方 benchmark 仓库本次核查仍为 Coming Soon 预告。
将按对象分解的语义 3DGS 与原网格的凸分解碰撞体组合,提供 InteriorGS-1k 和 SAGE-Bench 的连续导航数据与评估。 物理层依赖已有高质量三维网格,不是任意图像生成可靠碰撞几何;部分指标和表格存在定义或数值不一致。
通过逐帧几何检索、规范坐标对应和自增强历史条件延长视频世界探索,再将生成视图重建为 Gaussian 与网格。 当前主要生成静态场景,未验证严谨的机器人接触碰撞几何;未知区域为生成内容且训练、推理算力要求较高。
梯度估计、价值预测与替代目标景观的实证审查。
随机种子、网络结构、奖励尺度和代码实现如何改变算法比较。
区分经验驱动学习范式与 world model 这一模型机制。
以 MSPBE 和辅助变量连接 off-policy 稳定性与线性复杂度。
区分 SALE 表征目标、TD7 工程组件及实证结论的适用范围。
由 TD 残差构造优势,连接 reward-to-go、λ-return 和 critic 误差。
明确占据分布、兼容特征和函数逼近的理论条件。
通过 Q 值平移解释奖励塑形与初始化的路径等价条件。
从表格方法、函数逼近到探索与近似策略梯度的章节路线。
该主题暂无已发布笔记。