标签： #策略梯度

要卖掉 100 万股，一次性砸下去会把价格砸穿；TWAP 均分又扛着最大的库存风险。经典 Almgren-Chriss(AC) 用闭式解给出「前重后轻」的最优拆单，但它假设连续时间、平滑冲击。本文用 REINFORCE 策略梯度直接在离散环境里学拆单：30 步、临时冲击 ε=0.01、波动 σ=0.05、风险厌恶 λ=9。结果——REINFORCE 期望总成本 0.00367(3.67bps)，远低于 TWAP 的 0.01082(10.82bps, 降 66%)，也比 naive 离散化的 AC 闭式(0.00583)更低；实现短fall 标准差从 TWAP 的 0.032 压到 0.005(约 1/6)。图表显示它学到与 AC 一致的「前重后轻」，且因为端到端优化真实离散成本，落在 AC 公式之下。附完整 numpy 实现与四张真实计算图。

监督学习只能回答『下一期涨还是跌』，回答不了『该持多少仓』——仓位是个连续决策，且换手有成本、决策有惯性，这天然是强化学习问题。PPO 是策略梯度的工程化版本：用概率比 r(θ) 度量新旧策略偏移，clip 目标把更新钉死在信任域 [1-ε,1+ε] 内，防止一次大步毁掉整个策略。本文纯 numpy 实现线性高斯策略 PPO（tanh 均值头 + 可学习 σ + GAE 优势估计），在 OU 均值回复合成市场上训练 200 轮：episode 奖励从 -8.9 爬到 +7.0，agent 自己学会『涨多了做空、跌多了做多』的平滑连续仓位函数。样本外对比揭示连续动作的真正价值：PPO Sharpe 1.57 与硬规则 ±1 满仓反转的 1.75 接近，但最大回撤只有其 1/5（-3.5% vs -17.2%）、换手只有其 1/5——它学到的不是更强的信号，而是更聪明的仓位。拆穿 reward=收益率就够了/训练曲线涨=真学会了/RL 免疫过拟合/σ 收敛=策略成熟四类陷阱（中阶）。