- 贝叶斯深度学习因子:用 MC Dropout 给神经网络预测配不确定性
深度学习因子模型给出的是“点预测”——下期收益 1.2%,却不说“我有多大把握”。真实市场里把握比点值更重要:低把握的预测不该和铁板钉钉的预测一样重仓。本文用纯 numpy 从零实现一个带 dropout 的小 MLP,证明 MC Dropout(推理时保持 dropout 开启、T 次随机前向取均值+方差)能在不重训、不换架构的前提下,给每个预测配一个 epistemic 不确定性。受控实验给出四个诚实结论:分布外样本不确定性显著抬升(OOD 分离 AUC 0.97)、按不确定性弃投 30% 最不确定样本后混合池 RMSE 降 40%、但 MC Dropout 只建模认知不确定性导致 90% 区间实际仅覆盖 50%(叠加 aleatoric 噪声后回到 89%)、且 iid 同方差下 epistemic σ 与单样本误差几乎无关(r=0.08)。附完整 Python 与四张真实计算图。
14 min Chinese - 稀疏专家路由因子:让门控网络动态挑选少量有效因子
因子池越铺越大,但同一时刻真正能预测收益的因子往往只有少数几个,而且会随市场状态切换。稀疏专家路由(Sparse Expert Routing)用一个小门控网络依据可观测市场上下文,动态给每个因子打路由权重、再只保留 top-k 个做预测——既压缩噪声又保留适应性。本文用纯 numpy 从零实现一个带负载均衡损失的 MoE 因子路由,在受控数据上证明:稀疏 top-3 路由 OOS IC 达到 0.315(Oracle 上界 0.678、无均衡的稠密门控仅 0.190),且负载均衡损失把门控塌缩风险压下去。附完整 Python 与四张真实计算图。
13 min Chinese
返回