- 相关矩阵去噪与去调:把市场模式从相关结构里剥出来再聚类
去噪(denoise)治采样噪声,去调(detone)治市场模式——后者是聚类场景里真正的杀手。N=40 四板块模拟(λ1 占迹 56%)实测:市场模式让所有股票对的相关都抬到 0.5 上下,簇内-簇间相关间距只剩 0.048,single/average linkage 聚类 ARI 直接归零(链式合并全灭);去调把第一特征成分整个剥掉后间距不变但均值归零,single linkage ARI 从 0.002 复活到 1.000。最反直觉的实测坑:板块特征值(约 2.0)恰好骑在 MP 上界 1.96 附近,标准 MP 去噪把板块信号当噪声压平,去噪+去调后 ARI 反而从 0.99 跌到 0.31——教科书流程『先去噪再去调』在信号贴边时是自毁操作。弱板块对照(尖峰数 1.0)更极端:去噪+去调 ARI −0.03 vs 只去调 0.89。诚实边界:去调后矩阵奇异(少一个秩)不能直接进优化器求逆,只服务聚类/距离场景;市场模式个数 k 的选择在多因子市场里不显然;Tracy-Widom 涨落让贴边特征值成灰色地带。
14 min Chinese - 随机矩阵理论去噪:用 Marchenko-Pastur 边界剪掉协方差里的噪声特征值
N=100 只资产、T=252 天,样本相关矩阵的特征值里只有 3 个尖峰是真信号,噪声体占了迹的 59%。Marchenko-Pastur 定律给出纯噪声特征值的精确活动范围 [λ⁻, λ⁺],越界的才配叫信号——把界内的噪声特征值压平成均值,尖峰原样保留,就是 RMT 去噪。实测最小方差组合:T=126 时样本协方差 OOS 波动率 24.1%,MP 裁剪直接砍到 12.6%,比 Ledoit-Wolf(14.5%)更狠,理论最优 11.1%。与 LW 收缩的本分工:数据极端稀缺时 MP 裁剪的谱手术更精准,数据充裕时两者殊途同归。附完整 Python 与裁剪保迹、相关口径、q>1 等工程细节(中阶)。
12 min Chinese - 随机矩阵理论(RMT):给样本协方差矩阵降噪,让组合优化不再被噪声牵着走
样本协方差大半是噪声:RMT 以马尔可夫-帕斯特上界 λ⁺ 为界,把噪声体特征值压平、只留信号尖峰;Frobenius 误差降 17%、最小方差 OOS 方差降到样本 60%,附完整 Python(高阶)。
12 min Chinese
返回