中文题目与文献信息

中文题目：面向高效视觉—语言—动作操控的动作感知动态剪枝。

  • **作者：**Xiaohuan Pei、Yuxing Chen、Yuheng Shi、Siyu Xu、Yunke Wang、Chang Xu；前两位共同第一作者。此顺序按上传的 ICLR 2026 终稿，官方仓库/arXiv 早期记录的中间作者顺序有所不同。
  • **年份与版本：**2025 年首次公开，ICLR 2026 会议论文；本总结以项目上传的 13478_Action_aware_Dynamic_Pru.pdf，共 20 页正文与附录，为主要依据。arXiv 编号为 2509.22093。
  • **核心贡献：**利用近期机器人动作的运动幅度判断下一动作窗口是否需要完整视觉信息，再以文本到视觉的相关性筛选保留 token，从而按操控阶段分配视觉计算量。
  • 阅读定位：这是一种无需重新训练的 VLA 推理剪枝方法。这里的“dynamic”首先指剪枝决策随机器人动作变化，不能直接等同于已经解决动态物体操控。[1][2]

1. 研究问题与方法边界

多视角 VLA 将场景相机、腕部相机、语言以及本体感知编码为长 token 序列，再由 Transformer 生成动作。视觉 token 数目较多，既增加注意力计算，也增加各层投影和前馈网络的计算。既有静态剪枝对各时刻采用相同保留比例，忽略了抓取、对齐、放置与大幅移动对视觉细节的需求可能不同。ADP 的经验假设是：粗粒度运动阶段通常更允许剪枝，细粒度操作阶段更需要完整视觉。[1，§1、§4]

这一假设是一种统计关联，不是可证明的任务阶段识别器。机器人运动幅度小，可能意味着精细对齐，也可能是等待；运动幅度大，可能是自由空间移动，也可能是在追赶快速运动的目标。因此，论文的贡献应理解为一种计算—成功率折中机制，而不是由动作直接推断视觉冗余的普适定理。对动态环境的适用性，需要另外检验动作幅度和环境风险是否仍然相关。

2. 输入、输出与形式化定义

设当前多模态 token 序列为

X=[XBOS,Xvis,Xprop,Xtxt,Xact],X=[X_{\mathrm{BOS}},X_{\mathrm{vis}},X_{\mathrm{prop}},X_{\mathrm{txt}},X_{\mathrm{act}}],

其中视觉 token 数为 LvL_v，文本 token 数为 LtL_t，隐藏维数为 DD。ADP 输出经过筛选的视觉序列，并交给原有 VLA 产生动作块。主要实验使用 OpenVLA-OFT，动作块长度为 8。为了避免原论文背景部分将离散动作 token 与 OFT 连续动作输出混在一起，本总结将动作统一写作连续向量

ai,u=[Δx,Δy,Δz,Δϕ,Δθ,Δψ,g]⊤,Ai∈Rω×7.a_{i,u}=[\Delta x,\Delta y,\Delta z,\Delta\phi,\Delta\theta,\Delta\psi,g]^\top, \quad A_i\in\mathbb R^{\omega\times7}.

这里 ii 为动作窗口，uu 为窗口内步骤，gg 为夹爪指令；动作的坐标系、归一化以及旋转参数化必须与基模型一致。ADP 主要改变输入计算量，不重新定义控制器的动作语义。[1，§2、§4.2]

3. 文本引导的视觉 token 选择

3.1 相关性不是单纯的视觉显著性

从某一层预训练权重取得查询与键投影，对文本和视觉隐藏表示计算

Q=HtxtWQ,K=HvisWK,A=QK⊤/d.Q=H_{\mathrm{txt}}W_Q,\qquad K=H_{\mathrm{vis}}W_K, \qquad A=QK^\top/\sqrt d.

对注意力头和文本位置平均，得到第 vv 个视觉 token 的分数

Φ(v)=1NhLt∑h=1Nh∑t=1LtAh,t,v.\Phi(v)=\frac1{N_hL_t}\sum_{h=1}^{N_h}\sum_{t=1}^{L_t}A_{h,t,v}.

按 Φ\Phi 排序保留 k=⌊ρLv⌋k=\lfloor\rho L_v\rfloor 个 token。其作用是保留与指令相关的区域，例如被操作物体及目标区域，而非仅按图像纹理强度选择 patch。论文公式给出的是缩放点积及平均，没有在上述公式中显式加入 softmax；复现时应核查实现中的归一化，不能自行替换评分方式后仍称为原方法。[1，§4.1，式7—10]

多视角输入另外设置配额：第 cc 个视角保留 kc=⌊αck⌋k_c=\lfloor\alpha_ck\rfloor，其中 ∑cαc=1\sum_c\alpha_c=1。主要仿真配置的场景相机与腕部相机配额为 4:6。这样可避免一个视角在全局排序中占据所有名额，但固定配额也可能在某个视角遮挡严重时分配失当。[1，式11—13、§5.1]

3.2 为何默认使用第 0 层权重

默认配置在进入完整 LLM 计算前，用第 0 层 Q/K 权重评分并删减输入，使后续所有 Transformer 层都在短序列上运行。不是先执行所有层，再从最终注意力图中删除 token。深层评分需要额外前向计算，可能抵消节省；论文的层数消融中，第 0、1、4 层对应平均成功率为 96.3%、95.5%、95.8%，FLOPs 分别为 6.43、6.57、6.89 T。[1，§6、表3及附录表5—9]

4. 动作感知的动态门控

4.1 从动作窗口构造运动统计量

论文把连续动作解释为相对位姿变化，用右乘累积末端位姿：

Tu=Tu−1[Ruvu0⊤1],Ru=Rx(Δϕu)Ry(Δθu)Rz(Δψu),T_{u}=T_{u-1}\begin{bmatrix}R_u&v_u\\0^\top&1\end{bmatrix}, \qquad R_u=R_x(\Delta\phi_u)R_y(\Delta\theta_u)R_z(\Delta\psi_u),

取 TuT_u 的平移部分为 pup_u，再以窗口路径长度

δi=∑t=biei−1∥pt+1−pt∥2\delta_i=\sum_{t=b_i}^{e_i-1}\|p_{t+1}-p_t\|_2

衡量运动幅度。作者称其为 “Windowed FK”，但这里主要是由末端相对位姿组合恢复轨迹；若原动作已是末端笛卡尔增量，这不同于输入机器人关节角、经机械链计算末端位置的通常关节正运动学。[1，§4.2，定义4.1、式14—15]

**公式层面的必要澄清。**对论文给出的刚体右乘与路径长度定义，pt+1−pt=Rtvtp_{t+1}-p_t=R_t v_t，因此 ∥pt+1−pt∥=∥vt∥\|p_{t+1}-p_t\|=\|v_t\|。所以该标量直接累计的是平移增量长度；纯旋转且平移为零时，δi=0\delta_i=0，夹爪开合也不进入该公式。历史旋转会改变世界坐标轨迹方向，但不会改变每步平移向量的范数。因而不能仅凭这条路径长度公式，声称门控独立、完整地度量了旋转和夹爪动态。这是对原公式的分析，不是作者新增的实验结论。

4.2 从统计量决定下一窗口是否剪枝

设 si=0s_i=0 表示完整视觉，si=1s_i=1 表示剪枝。论文给出累计均值规则

δˉi=1i∑j=1iδj,si+1=1[δi≥δˉi].\bar\delta_i=\frac1i\sum_{j=1}^{i}\delta_j,\qquad s_{i+1}=\mathbb 1[\delta_i\ge\bar\delta_i].

它不要求人为指定固定运动幅度阈值，但依然是采用数据自适应阈值的决策，不能称为数学意义上没有阈值。另一种 adjacent-extrema 规则，在最近 τ\tau 个窗口上计算最大值 UiU_i 与最小值 ViV_i：当前统计量达到最大值则剪枝，达到最小值则恢复完整视觉，处于中间则保持原状态。[1，式16—18]

实际主实验还有三条实现细节：前两个窗口完整视觉；连续剪枝三个窗口后强制一次完整视觉；中间区间直接把下一状态设为剪枝，而不是完全照式18继承旧状态。因此，实验配置与简化公式并不完全相同。附录表14还列出 delta_method=net，而正文式15写成路径长度求和；净位移与路径长度对往返运动的判断不同，必须在复现时确认仓库实际启用的定义。[1，§5.1、附录算法1及表14；2]

5. 计算节省来自哪里

论文把单层 Transformer 的主要 FLOPs 近似写为

F(S)≈2S2D+8SD2+6SDM,F(S)\approx2S^2D+8SD^2+6SDM,

分别对应注意力、投影和前馈部分。若共有 HH 层，剪枝后序列长度为 S′S'，则剪枝路径成本为 Fscore+HF(S′)F_{\rm score}+HF(S')。如果一个任务中仅 γ\gamma 比例的前向使用剪枝，平均成本是

E[F]=(1−γ)HF(S)+γ[Fscore+HF(S′)].\mathbb E[F]=(1-\gamma)HF(S)+\gamma[F_{\rm score}+HF(S')].

因此，ρ\rho 是启用剪枝时的保留比例，不能把它误认为整段任务平均保留比例。附录报告 LIBERO 约 44% 的窗口启用剪枝。以 ρ=0.5\rho=0.5 为例，平均删去的视觉比例约为 0.44×0.5=0.220.44\times0.5=0.22，这解释了表3的相关统计。[1，§4.3及附录计算分析]

还有一个证据口径问题：附录表5—9明确将 speedup 写作 “Orig/Exp.”，数值对应原始 FLOPs 除以期望 FLOPs。因此 LIBERO 表中的 1.35× 等数据应优先理解为论文报告的计算加速口径，不能自动当作机器人端到端实测延迟加速。实机表2另外直接报告了毫秒延迟，二者应分开引用。[1，表1—2、附录表5—9]

6. 实验设置与可核对的结果

6.1 LIBERO

实验覆盖 Spatial、Object、Goal、Long 四套任务，使用 OpenVLA-OFT 公共检查点与评估设置，RTX 4090，动作窗口 8，每个任务 50 次试验。下表为原论文数据；“计算量”单位为 T FLOPs。[1，§5、表1、附录表14]

方法/保留比例 Spatial Object Goal Long 平均成功率 计算量 表列加速比
OpenVLA-OFT 98.6% 98.2% 96.6% 94.8% 97.1% 7.91 1.00×
ADP，30% 97.6% 98.4% 97.4% 84.2% 94.4% 5.85 1.35×
ADP，40% 98.2% 97.2% 96.6% 87.2% 94.8% 6.14 1.29×
ADP，50% 99.4% 98.0% 96.4% 91.2% 96.3% 6.43 1.23×
ADP，70% 99.0% 98.2% 96.8% 91.2% 96.3% 7.03 1.13×

50% 保留时平均成功率相对基线下降 0.8 个百分点，Long 下降 3.6 个百分点。30% 保留时平均下降 2.7 个百分点，Long 下降 10.6 个百分点。只报告 Spatial 的 99.4% 会掩盖长任务的明显代价。附录还定位到“双杯分别摆放”等组合任务出现 30 个百分点下降，说明固定文本相关性难以随着已完成子目标重新分配有限视觉预算。[1，附录表10—13及案例分析]

6.2 实机与消融

实机为 Kinova Jaco2 六自由度机械臂、平行夹爪、固定 Sony AX53 相机，无腕部相机；RGB 为 640×480、30 FPS，笛卡尔速度控制为 10 Hz。每个任务采集约 100—150 条遥操作示范，分别微调 OFT；四个任务各做 30 次评估。平均成功率从 85.8% 到 88.3%，平均推理延迟由 76.9 ms 到 51.8 ms，约 1.49×。这些小样本成功率变化不能直接视为已经确证的普适精度提升。[1，§5.2、表2及附录实机设置]

动态门控的平均成功率为 96.3%；去除动态规则为 93.45%；论文的周期切换变体为 89.9%，但对应 FLOPs 也不同，不能把它们当作严格等预算比较。反向保留最低分 token 的实验更直接：50% 保留时，正常排序平均成功率 96.3%，逆序仅 34.6%；30% 保留时为 94.4% 对 22.1%。这支持相关性排序有效，但仍不能证明所有保留下来的 token 都是因果必要的。[1，§6、表3及附录表4]

7. 与项目中动作块变化、幅度和加速度方案的关系

以下是扩展分析，不是 ADP 原论文已经验证的方法。

第一，若比较连续两次预测的 action chunk，必须先在绝对执行时间上对齐重叠部分。直接比较 Ai[j]A_i[j] 与 Ai−1[j]A_{i-1}[j]，往往是在比较不同未来时刻的动作，差值混合了时间平移与真实策略修正。对齐后的差异才可用来度量新观测引起的计划变化。其优势是更直接反映重规划需求；不足是只有完成当前推理后才能得到差异，因此通常只能指导下一轮剪枝。

第二，动作幅度的相对统计量具有尺度适应性，但不能跨动作维度直接求范数：平移量、角度和夹爪状态的单位与语义不同。可分量建模，或使用有物理含义的旋转长度尺度，再检验对机器人尺寸和控制频率的敏感性。归一化空间中的大幅动作也未必对应真实空间的大幅运动。

第三，加速度信息可能识别刹停、急转和接触前调整，但差分阶次取决于动作语义。若动作是位置，二阶差分近似加速度；若动作是速度，一阶差分才对应加速度。差分会放大噪声，高加速度还可能来自不稳定预测；因此高加速度既可能要求保留更多视觉，也可能只是控制抖动，不能预设“高加速度就剪枝”。

第四，所谓“不设置阈值”可以采用在线分位数、排名、预算约束或可学习门控，但这些仍包含决策边界或优化偏好。更有意义的问题是：门控是否在给定计算预算下最小化任务风险，是否在突发视觉变化、接触或目标丢失时及时恢复完整观测。对动态目标，建议将机器人运动统计与环境变化统计联合评估，而不是仅用历史动作代理所有视觉需求。

8. 复现重点与结论边界

**一个有助于判断门控含义的例子（本总结推演）。**机械臂在同一窗口先向右移动，再等距离向左返回，净位移接近零，但路径长度不为零。若采用正文路径长度，它可能被归为允许剪枝的粗运动；若采用配置中的净位移，则可能被归为需要完整视觉的小运动。另一个窗口如果末端基本不平移，只旋转工具对准孔洞，正文标量也接近零。这说明统计量名称看似相近，实际选择会改变门控决策，必须先明确要识别的是移动距离、最终位姿改变，还是接触操作的复杂性。

还应区分“执行命令的运动统计”与“实际观测到的运动统计”。低层控制器可能因接触、速度限幅或跟踪误差而没有实现整段预测动作；此时依预测计算的大幅运动，不意味着机器人已经走过相同路径。若改用传感器测得的轨迹作为门控输入，可能减少这类偏差，但会改变原方法的输入可得时间和实现开销，需要独立消融，不能把这种改进直接记到论文的实验结果中。对动作块相对变化的替代方案，也应同时检查预测与实际执行之间是否存在这种差异。

官方仓库提供 run_libero_eval_prune_v2.py 及 JSON 配置；应固定 OFT 检查点、视角、动作归一化、评分层、保留比例、冷启动、强制恢复周期，以及路径长度/净位移定义。还应分别记录纯模型延迟、视觉编码延迟、动作更新周期和任务完成时间。仓库 README 的示例配置不是所有论文实验的唯一配置，尤其 qk_keep_ratio 应与对应表格一致。本总结核对了论文与公开仓库说明，没有执行训练或机器人评测。[1][2]

ADP 对本项目最有价值的是“按控制需求分配视觉计算”的思想。它可以与异步执行、动作流式输出结合；但异步机制解决推理与执行重叠，ADP 解决每次前向的视觉成本，两者作用不同。对于动态物体操控，应先验证快速运动阶段是否更需要新视觉，再决定是否沿用“大幅运动允许剪枝”的门控假设。

参考来源

[1] 上传原文：13478_Action_aware_Dynamic_Pru.pdf，ICLR 2026，PDF 第1—9页正文，第13—20页附录；核心定位：§4 方法、§5 实验、§6 消融、表1—3、附录表4—14。官方会议PDF：官方链接 。arXiv：官方链接 。

[2] 作者官方代码与项目页，网页核对日期：2026-10-09。官方链接 ；官方链接 。在线作者排序与配置示例可能与上传终稿不同，本文已分别说明。