回测过拟合概率(PBO)：你的好策略可能只是运气

“我测了 100 组参数，最优那组年化 Sharpe 3.0！“——这句话在量化圈每天都被说无数遍。但很少有人接着问一句：这 3.0，到底是真本事，还是从 100 次抽签里抽中的那个幸运儿？ 本文要讲的工具，就是专门给这个问题一个概率答案的：回测过拟合概率（Probability of Backtest Overfitting, PBO）。

PBO 由 Bailey 与 López de Prado 在 2014 年正式提出。它的核心思想极其朴素：你所谓的”最佳策略”，是在样本内（IS）挑出来的；那它在样本外（OOS）到底排第几，才是真章。 如果挑出来的冠军，样本外表现竟然落在全部候选策略的后 50%（底部半数），那这次回测就判为”过拟合”——你挑中的，只是个运气好的侥幸者。PBO 就是：重复很多次试验，过拟合的试验占多少比例。

结论先放这里：在一个没有真实优势、纯噪声的世界里，你挑出的”最佳”策略，有整整 50% 的概率样本外垫底。 也就是说，不做任何防过拟合处理时，“最佳回测”的含金量，和抛硬币没两样。而一旦你开始”过拟合”或市场”机制切换”，PBO 只会更糟。

一、PBO 的精确定义#

给定一次回测试验，假设我们测试了 S 个参数配置（比如均线周期 5/10/15/…/250）。对每一个配置 k：

• 在样本内（IS）算出它的表现指标 f_IS(k)（可以是 Sharpe、收益、信息系数等）；
• 在样本外（OOS）算出 f_OOS(k)。

我们在 IS 上选出冠军：k* = argmax_k f_IS(k)。然后看它的 OOS 表现 f_OOS(k*) 在全部 S 个配置的 OOS 分布里排第几：

如果 f_OOS(k*) 落在全部 OOS 的后 50%（即排名在底部半数）:
    本次试验 = 过拟合
否则:
    本次试验 = 未过拟合

PBO = (过拟合试验次数) / (总试验次数)

注意三个要点：(1) 比较的是同一次试验内所有配置的 OOS，不是跨试验；(2) “后 50%” 用的是 OOS 分布本身的中位数，所以 PBO 的天然基准就是 0.50——纯随机挑选也该有 50% 概率垫底；(3) PBO 衡量的是”选出来的那个”泛化失败的概率，这正是多重检验（multiple testing）最该担心的东西。

二、Python：从零实现 PBO 蒙特卡洛#

下面这段代码就是 PBO 的完整引擎。我们生成一批配置的表现矩阵，切分 IS/OOS，在 IS 上选冠军，再用排名判断它是否样本外垫底。为了可复现，用 numpy 向量化一次性跑完所有试验：

import numpy as np

def pbo(S, N, b, sigma_theta, sigma_r, T_trials, seed):
    """回测过拟合概率的蒙特卡洛估计。
    S           : 测试的参数配置数量
    N           : 每个配置的样本长度(交易日)
    b           : 过拟合强度(IS 被曲线拟合噪声污染的程度)
    sigma_theta : 各配置"真实能力"的异质性
    sigma_r     : 单期收益波动
    T_trials    : 蒙特卡洛试验次数
    返回 (PBO, 冠军OOS分位序列)
    """
    rng = np.random.default_rng(seed)
    theta = rng.normal(0.0, sigma_theta, size=(T_trials, S))   # (T,S) 真实能力
    n_half = max(1, N // 2)
    se = sigma_r / np.sqrt(n_half)                              # 每个配置均值的标准误
    omega = rng.normal(0.0, 1.0, size=(T_trials, S))           # 仅样本内存在的过拟合偏误
    u = rng.normal(0.0, 1.0, size=(T_trials, S)) * se          # IS 估计噪声
    v = rng.normal(0.0, 1.0, size=(T_trials, S)) * se          # OOS 估计噪声
    IS = theta + b * omega + u          # 样本内: 真实能力 + 过拟合偏误 + 噪声
    OOS = theta + v                    # 样本外: 真实能力 + 噪声(不含过拟合偏误)
    champ = np.argmax(IS, axis=1)                               # 在 IS 上选冠军
    ranks = OOS.argsort(axis=1).argsort(axis=1)                # 0 = 最小(OOS最差)
    champ_rank = ranks[np.arange(T_trials), champ]
    overfit = champ_rank < (S / 2.0)                           # 冠军 OOS 落入底部半数
    return overfit.mean(), champ_rank / (S - 1.0)

这段代码里藏着一个关键的”诚实设定”：过拟合偏误 b*omega 只污染 IS，不进入 OOS。这正是过拟合的本质——你在样本内把噪声也”拟合”进了参数，但样本外的噪声是另一份，你拟合的那份对自己毫无帮助。下面三张图，就是用这个引擎跑出来的真相。

三、结果一：纯噪声世界，PBO 恰是 50%#

先做一个思想实验：假设市场根本没有任何可预测性（theta=0, b=0，所有配置的表现都是纯随机噪声）。我们跑了 4000 次试验，看被选中的”最佳”策略的样本外分位长什么样：

• 纯噪声基准：PBO = 0.499，冠军 OOS 分位均值 = 0.500。

也就是说，在没有真实优势的世界里，你精挑细选出的”最佳回测”，其样本外表现均匀散布在 0 到 1 之间，平均恰好在中位数。一半概率它样本外垫底，一半概率它样本外拔尖——和闭眼乱选没有任何区别。这就是 PBO 那条 0.50 的”运气线”（上图直方图）。任何回测防护做得不到家时，你的 PBO 都该以这条线为锚。

四、结果二：过拟合，把你的优势磨成硬币#

现在引入过拟合：让 IS 被一层与样本量无关的曲线拟合噪声 b*omega 污染（b 越大，过拟合越严重）。这里各配置仍有真实能力异质性（sigma_theta=0.30），我们扫一遍 b：

曲线非常直白：过拟合越重，PBO 从 0 一路爬升，封顶在 0.50。含义是——当你在样本内”拟合噪声”时，你选中的冠军越来越取决于那层噪声而非真实能力；它的样本外表现，也就越来越像随机抽签。你以为自己有 3.0 的 Sharpe，其实只是把运气包装成了信号。PBO 的上限是 0.50，因为它最多把你的”优势”磨回到纯运气——但光是这一下，就足以让一个看似惊艳的策略，长期预期收益归零。

五、结果三：PBO 的两副面孔（最反直觉的一节）#

真正危险的，还不是上面这种”温和”的过拟合。市场是会变脸的：一段时期有效的因子，下一段可能反转。我们把这种”非平稳 / 机制切换”单独建模——假设 IS 时段的最优参数位置，在 OOS 时段整个漂走了（比如动量类策略在趋势市和反转市里最优参数截然相反）。然后对比两种世界下 PBO 如何随样本长度 N 变化：

这两行揭示了一个反直觉到让人不安的真相：

• 平稳世界（真有优势、且优势稳定）：样本越长，噪声被平均掉，你越能精准选中那个真正最好的配置，PBO 一路降到 0.000。这是 reassuring 的一面——只要世界是平稳的，多积累数据确实有用。
• 机制切换世界（最优参数漂移了）：PBO 常年钉在 0.54 左右，稳稳站在 0.50 运气线之上，而且样本再长也救不回来（甚至略升）。为什么？因为在 IS 里你拟合的是”旧机制”的最优参数；OOS 机制一变，那个旧最优恰恰成了新机制里的差生。你数据越多，越是把旧机制拟合得更精准——也就把过拟合焊得更死。

一句话：在机制切换的市场里，“更长的回测”不等于”更可靠的回测”，它可能只是让你对一段已经死掉的历史，拟合得更彻底。 这正是很多”历史回测神准、实盘一触即溃”的策略，背后真正发生的事。

上图把赢家诅咒画得血淋淋：在机制切换下，IS 表现（横轴）和 OOS 表现（纵轴）整体是负相关的——你在样本内越强（越靠右）的配置，样本外往往越惨（越靠下）。被 IS 选中的那颗红星，OOS 直接垫底。

六、怎么把 PBO 压下去#

知道了 PBO 从哪来，对策就清楚了：

1. 少测一点，但要测得聪明。测试的 S 越多，多重检验越严重（尽管在我们的平稳模型里更多配置也给了你更多”找到真最优”的机会，但机制切换下它只会放大过拟合）。务必对”我试了多少组”保持清醒，并在报告时主动披露搜索空间大小。
2. 用样本外做最终裁决，而且只裁决一次。把数据切成 IS 训练 + 一个真正独立的 OOS hold-out，选好的策略只在 OOS 上打分一次。任何”看了 OOS 再回去调参”的动作，都会把 OOS 也污染成 IS。
3. 配合 Deflated Sharpe Ratio（DSR）。PBO 和 DSR 是同一问题的两面：DSR 回答”这个 Sharpe 在考虑了 N 次尝试后还显著吗”，PBO 回答”我选出的冠军泛化失败的概率多大”。两者一起看，才完整。
4. 用 Purged K-Fold 等防泄漏交叉验证，而不是普通 K-Fold——金融标签常向前看、相邻标签高度重叠，普通 CV 会靠抄邻居刷出虚假的样本外表现。
5. 缩短对单一历史机制的依赖：用滚动窗口、样本外 walk-forward，并且对”参数稳定性”本身做检验——如果一个参数的微小变动就让策略从神准变归零，它本就是过拟合的产物。

七、四类真实陷阱#

1. 基准错置陷阱：不拿 0.50 当锚，看到 PBO=0.4 就以为”还好”。在机制切换世界里，PBO 略高于 0.50 就已经是红色警报，因为它本该在平稳世界里趋近于 0。
2. IS/OOS 不独立的陷阱：上面的合成里 IS 和 OOS 是干净切分的；实盘里如果用重叠窗口、或用同一段数据既调参又验证，IS 和 OOS 的相关性被人为抬高，PBO 会被严重低估（你以为没过拟合，其实 OOS 早就”见过”数据了）。
3. 幸存者 / 标的选择偏差：回测只在”活到今天的股票”上做，等于只在赢家身上挑参数，PBO 天然偏低、虚高信心。
4. 把 PBO 当充分条件：PBO 低只说明”选出的冠军泛化了”，不说明它赚钱——一个在所有配置里都样本外垫底、但绝对值仍亏损的策略，PBO 也可以很低。PBO 管的是”相对泛化”，不是”绝对盈利”。

结论#

回测过拟合概率（PBO）把一句人人都懂又人人都忘的实话，量化成了数字：你在样本内挑出的”最佳”，有 50% 的概率只是运气，而在机制切换的市场里这个概率只会更高、且数据再长也救不回。 纯噪声世界 PBO 恰为 0.50；温和过拟合把它从 0 推到 0.50；非平稳的机制切换让它常年站在 0.50 之上。对付它的不是更长的回测，而是更克制的搜索、真正独立的样本外裁决、以及 DSR / Purged K-Fold 这类诚实的检验工具。下次有人拿”最优 Sharpe 3.0”来兴奋时，先问一句：这个 3.0，PBO 是多少？