标签： #行为克隆

行为克隆（BC）是'照葫芦画瓢'——把专家的每个动作都回归下来。但它有两个硬伤：演示里夹带的噪声会被一并背进策略，且它从不理解专家'为什么'这么做。生成对抗模仿学习（GAIL, Ho & Ermon 2016）换了个思路：不复制动作，而是训练一个判别器去分辨'这是专家轨迹还是我的轨迹'，再用判别器的输出当奖励去训练策略，形成生成器与判别器的对抗博弈，等价于在匹配专家的状态-动作占用分布。本文用纯 numpy 从零实现一个带 dropout 的小 MLP 版 GAIL，诚实给出三个结论：GAIL 能从随机策略经对抗训练把真实回报从 -2.93 拉到 -1.65、判别器最终被'骗到分不清'（准确率 0.49→0.50，奖赏信号耗尽）、动作分布还原出贴近专家的形态；但也诚实标注——在单步 iid 模仿里 BC 直接回归更高效（BC -0.28 vs GAIL -1.70），GAIL 的真正优势场在序贯/误差累积场景。附完整 Python 与四张真实计算图。

在线 RL 在交易里等于拿真金白银探索，几乎不可用。Offline RL 只用历史数据学策略、不与环境交互，但朴素离线 Q 因分布偏移给未支持动作虚高估值、策略幻想、收益崩塌。本文用可复现 Python 演示这一失败，并给出行为克隆 / 保守 Q 学习(CQL)解法与落地清单。