# 什么任务



# 相关论文

## 机器人学习方法综述

 - 大多数元学习 方法只专注于教机器人从单一的示范领域学习。目前的元学习还局限于新任务的测试阶段, **明确机器人的训练环境和数据形式以及设计合适的元学习网络结构**, 是需要解决的关键问题。
 **尽管当前机器人学习领域已经取得诸多成果, 但在降低训练成本、提高学习效率、减弱对数据的 依赖性以及增强技能的鲁棒性与泛化性等方面仍然 存在一些亟待解决的问题。**
 
 - 基于小数据的学习：1、**如何从少量数据中形成有效归纳偏置？** 例如通过元学习、物理先验、结构化模型、运动基元、因果结构等方式缩小假设空间。；2、**如何最大化旧数据价值**？例如离线强化学习、经验重放、示范复用、模型学习等方法，本质上都是提高样本利用率。
 
 - 稀疏奖励问题：强化学习本身追求最大累计奖励，因此奖励函数设计直接影响最终策略。然而，很多机器人任务奖励稀疏，状态空间和动作空间组合庞大，导致学习困难。

 - 现实鸿沟问题：训练分布与部署分布不一致，策略就可能失效。
 曲威名,刘天林,林惟凯,等.机器人学习方法综述. 北京大学学报(自然科学版),2023,59(6):1069-1086.DOI:10.13209/j.0479-8023.2023.086.


## 元强化学习研究综述

元强化学习的特点是：**面向任务分布学习、强调快速适应、依赖任务表征、可学习策略之外的多个 RL 模块**。

其优点是：**提高新任务适应速度、增强任务族内泛化、适合动力学变化、适合 sim-to-real、可结合离线数据和示范数据**。

其缺点是：**依赖任务分布、元训练成本高、OOD 泛化不足、任务表征可能混淆、真实探索有风险、优化和理论仍不成熟**。

陈奕宇, 霍静, 丁天雨, 等. 元强化学习研究综述. 软件学报, 2023, 35(4): 1618-1650.


## 基于深度强化学习的机器人操作行为研究综述


==基于深度强化学习的机器人操作技能模型在面 对新环境和新任务时,适应性较差,往往需要大量 的微调工作,甚至需要被重新训练。 ==
**元强化学习的本质是利用少量样本数据微调模型以使行为策略匹配新环境和新任务。 其原理是将基础强化学习方法中手动设定的超参数设定为元参数,然后学习和调整元参数以指导底层强化学习。** 元强化学习的理念来源于元学习,元学习可以使机器人学习评价自己的行为,并且可以根据经验和少量样本使机器人快速适应新任务或新环境。

基于优化的元强化学习主要是 学习更新模型参数的方法,以便在新任务上实现更 好的泛化性能,其中包括元学习概率编码器、元学习参数化损失函数、元Q学习等。


机器人操作任务通常具有以下特点：
1. **状态高维**：常以 RGB、RGB-D、点云、力觉、触觉等形式输入。
2. **动作连续**：机械臂关节速度、末端位姿、夹爪开合程度一般是连续变量。
3. **奖励稀疏**：抓取成功、插入成功、堆叠成功通常只有任务完成时才有明确奖励。
4. **真实训练代价高**：实体机器人采样慢、设备磨损、安全风险高。
5. **泛化困难**：换物体、换光照、换机械臂、换末端执行器后策略性能可能显著下降。

### 挑战归纳为五类。

- **非刚性物体难以精确建模**：非刚性物体形状不断变化，导致状态表示、动力学建模、抓取点选择都很困难。论文提出多指灵巧手和非刚性物体开源模拟平台可能是解决方向。
- **模拟到真实迁移困难**：仿真训练高效，但真实部署受领域差异影响。论文认为，应在模拟环境中加入真实场景中的摩擦、光照、噪声等因素，以提高策略鲁棒性。
- **不同任务和环境之间可移植性差**：单任务训练出的策略通常只能适应该任务，换环境或任务后需要微调甚至重训。论文认为元强化学习和多任务学习是可能方向。
- **奖励函数难以设计**：稀疏奖励难学，塑性奖励难设计，多步骤任务尤其困难。论文提出逆强化学习、自监督奖励估计和人工辅助奖励作为可能路径。
- **采样效率低、学习速度慢**：真实机器人试错成本高，DRL 又通常需要大量交互样本。论文认为示范数据、模仿学习、自动生成示范等方式可以缓解该问题。

元强化学习可根据经验和少量样本数据,改进行为策略适应新任务、新环境。 



陈佳盼,郑敏华.基于深度强化学习的机器人操作行为研究综述.机器人,2022,44(2):236-256.DOI:10.13973/j.cnki.robot.210008.

---
# 现有方法缺陷

## sample efficiency problem

- need accelerate the learning process
- 普通强化学习算法通常需要大量轨迹才能估计动作对长期回报的影响。机器人真实执行每一步动作都有成本，不能像 Atari 或仿真游戏一样无限采样。

## Hyperparameter fine tunnig


## reward design

- 机器人任务经常是稀疏奖励。例如机械臂只有真正抓到物体才获得奖励，中间大量动作奖励为零。这会导致探索困难。奖励过稀疏时，机器人很难知道哪些中间动作对最终成功有贡献。



## local optimal

- 策略搜索空间巨大，奖励反馈延迟且噪声大，策略容易收敛到某种看似可行但并非最优的行为模式。


## Generalization ability



## 缺陷量化






# 所用方法的特性

基于深度强化学习的机器人操作技能模型在面 对新环境和新任务时,适应性较差,往往需要大量 的微调工作,甚至需要被重新训练。 元强化学习的本质是利用少量样本数据微调模型以使行为策略 匹配新环境和新任务。 其原理是将基础强化学习方法中手动设定的超参数设定为元参数,然后学习和调整元参数以指导底层强化学习。


# 改进点






# 对比方法（顶刊顶会）





# 实验方法

## 实验环境


### Robot Simulator
- **IsaacLab** 
-  **Gym**



### Reinforcement Learning Benchmark

- **MuJoCo Playground**
- **ManiSkill3**
- **Genesis**
- **DeepMind Control Suite**
- **HumanoidBench**
- **MyoSuite**
- **DMControl Visual**



## 仿真任务类型

**机器人操作任务（manipulation）及运动控制任务（locomotion）**

- gripper manipulation
- quadruped locomotion
- dexterous manipulation
- humanoid locomotion

高维、连续的控制任务
长流程操作任务

## 评估方法


### ==任务完成度/最终性能/渐进性能==

- **success rate**
		rollout 中任务成功的比例
- **episode return/Average Return**
		一个 episode 内环境奖励的累计和/多个 episode、多个随机种子取平均。
	该 metric 直接反映策略执行任务的质量。对于 locomotion，return 通常由速度跟踪、稳定性、能耗、姿态、动作平滑等 reward 项共同决定；对于 manipulation，return 通常反映接近目标、抓取、重定向、成功完成任务等。

- **Train Return**
		训练过程中 rollout 得到的 episode return
- **Final Train/Eval Return**
		训练结束后统计最终策略的训练/评估表现
- **Episode Length**
		任务可持续时间，更长 episode length⇒更强的稳定性 / 更少提前终止

### ==训练稳定性（stability）==

- **learning curve**
		曲线平稳训练稳定性好
- **不同seed设置下的Return方差**

### ==样本效率（Sample Efficiency Curves）/训练效率==

- **Average Normalized Return /Wall-clock time（算法从训练开始到结束实际流逝的绝对时间）**
		在更短Wall-clock time取得更高归一化回报
- **Return per Time Steps**
		更短的训练时间达到更高的回报->学习效率

### ==Sim to real==

部署到本体上，看是否能完成任务