A latent space control policy learning method based on identifiable latent dynamic models

复杂的空间操作任务要求智能航天器能在非结构化环境下基于高维信息进行规划与控制. 目前基于模仿学习或强化学习的控制策略能够实现端到端控制, 但通常可解释性较差, 从而难以讨论系统的稳定性和鲁棒性. 这限制了其应用于航空航天等安全性要求极高的领域. 为了得到可解释的端到端控制策略, 本文利用可辨识表示学习可以有理论保障地提取高维观察中能控隐变量的特点, 提出了一种基于可辨识隐动态模型的隐空间控制策略学习方法. 首先利用开环数据（高维观察变量和输入变量）训练一个可辨识开环隐动态模型, 以还原隐动态系统的动力学机制. 开环隐动态模型中的表示函数可以将专家控制过程中的闭环数据（高维观察变量的轨迹）映射到隐空间以得到估计隐变量的轨迹. 在此基础上, 利用估计隐变量的轨迹来训练目标编码器和控制器模型以分别还原专家的规划和控制过程, 并构建最终的隐空间控制策略. 理论分析和仿真结果表明, 学到的隐空间控制策略可以控制隐动态系统依次到达专家控制过程中规划出的隐空间期望状态. 此外, 如果使用人工设计的控制器来代替学到的控制器模型, 则可以在保留专家规划结果的同时, 获得优于专家控制器的控制效果. 本文为提高端到端控制策略的可解释性提供了一种新的思路, 也为未来实现更安全可靠的航天器智能决策与控制提供了一定的理论基础.