43、反馈运动规划：离散状态空间下的探索

反馈运动规划：离散状态空间下的探索

在运动规划领域，反馈运动规划是一个重要的研究方向。它在机器人技术的解耦方法中作为一个模块，其作用至少与之前技术计算出的路径相当，并且在一般情况下，反馈解决方案比传统运动规划算法计算出的开环路径更可靠。

1. 离散状态空间概述

离散状态空间的讨论主要是为后续章节中类似概念的解释做铺垫。离散空间相对更容易表述和理解，之后可以将相关概念扩展到配置空间和其他连续状态空间。同时，这部分内容也是后续反馈规划概念的相关背景。

2. 定义反馈计划

考虑一个离散规划问题，与之前的规划问题不同的是，这里不给出初始状态。因此，成本泛函不能仅表示为计划的函数，而是根据状态历史和动作历史来定义。

在阶段 $k$ 时，状态历史 $\tilde{x}_k$ 和动作历史 $\tilde{u}_k$ 分别定义为：
$\tilde{x}_k = (x_1, x_2, \ldots, x_k)$ (8.1)
$\tilde{u}_k = (u_1, u_2, \ldots, u_k)$ (8.2)

有时候，也可以将 $\tilde{x}_k$ 视为状态轨迹。

由此得到离散最优反馈规划的定义：
1. 一个有限且非空的状态空间 $X$。
2. 对于每个状态 $x \in X$，有一个有限的动作空间 $U(x)$。
3. 一个状态转移函数 $f$，对于每个 $x \in X$ 和 $u \in U(x)$，能产生一个状态 $f(x, u) \in X$。设 $U$ 为所有 $x \in X$ 对应的 $U(x)$ 的并集。
4. 一组阶段，每个阶