当Transformer遇见股价预测#
自从2017年Google提出Transformer架构以来，NLP领域被彻底颠覆。那么，这个强大的序列建模工具能否在股价预测中复制它在机器翻译上的成功？
答案是：能，但没那么简单。
为什么Transformer适合股价预测？#
传统RNN/LSTM的三大痛点：
- 长期依赖遗忘：1000个时间步前的信息基本丢失
- 无法并行训练：必须按时间顺序计算，训练慢
- 梯度消失/爆炸：深层网络训练不稳定
Transformer通过Self-Attention机制完美解决了这些问题：
# Self-Attention核心公式
Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) * V
# 其中：
# Q (Query): 当前时间步"我想关注什么"
# K (Key): 历史时间步"我能提供什么信息"
# V (Value): 历史时间步"我的实际内容"关键优势：
- 任意两个时间步的距离都是1（O(1)路径长度）
- 可以并行计算（GPU友好）
- 多头注意力能捕捉多种时间尺度模式
实战：用Transformer预测沪深300次日收益率#
数据准备#
import pandas as pd
import numpy as np
from transformers import TimeSeriesTransformerModel, TimeSeriesTransformerConfig
# 加载数据
df = pd.read_csv('hs300_daily.csv', parse_dates=['date'])
df = df.set_index('date').sort_index()
# 构建特征（60个时间步 → 预测未来5天）
features = [
'open', 'high', 'low', 'close', 'volume',
'ma5', 'ma20', 'rsi', 'macd', 'boll_upper', 'boll_lower'
]
# 滑动窗口构建样本
def create_sequences(data, seq_len=60, pred_len=5):
X, y = [], []
for i in range(len(data) - seq_len - pred_len):
X.append(data[i:i+seq_len])
y.append(data[i+seq_len:i+seq_len+pred_len, 3]) # 预测close
return np.array(X), np.array(y)
X, y = create_sequences(df[features].values)模型构建（HuggingFace Transformers）#
from transformers import TimeSeriesTransformerModel, TimeSeriesTransformerConfig
# 配置模型
config = TimeSeriesTransformerConfig(
prediction_length=5, # 预测未来5天
context_length=60, # 回顾过去60天
d_model=64, # 隐藏维度
encoder_layers=4, # Encoder层数
decoder_layers=4, # Decoder层数
num_attention_heads=4, # 注意力头数
feature_size=len(features) # 输入特征维度
)
model = TimeSeriesTransformerModel(config)
# 训练配置
from transformers import Trainer, TrainingArguments
training_args = TrainingArguments(
output_dir='./transformer_stock',
per_device_train_batch_size=32,
num_train_epochs=50,
learning_rate=1e-4,
weight_decay=0.01,
warmup_ratio=0.1,
save_steps=500,
eval_steps=500
)关键改进：添加时序位置编码#
原始Transformer的位置编码是为离散token设计的，对连续时序数据效果不佳。我改进为可学习的时间戳编码：
class TimeAwarePositionEncoding(nn.Module):
def __init__(self, d_model, max_len=5000):
super().__init__()
self.time_embedding = nn.Embedding(max_len, d_model)
def forward(self, x, timestamps):
# timestamps: [batch_size, seq_len], 值为0~1的归一化时间
time_indices = (timestamps * (self.time_embedding.num_embeddings - 1)).long()
time_emb = self.time_embedding(time_indices)
return x + time_emb
# 在Transformer每层前添加
class TimeSeriesEncoderLayer(nn.Module):
def __init__(self, d_model, nhead):
super().__init__()
self.self_attn = nn.MultiheadAttention(d_model, nhead)
self.time_encoding = TimeAwarePositionEncoding(d_model)
def forward(self, x, timestamps):
x = self.time_encoding(x, timestamps)
x, _ = self.self_attn(x, x, x)
return x回测结果：Transformer vs LSTM vs ARIMA#
我在沪深300（2015-2025）上做了对比实验：
| 模型 | 方向准确率 | 年化收益 | 夏普比率 | 最大回撤 |
|---|---|---|---|---|
| ARIMA | 51.2% | 6.8% | 0.31 | -42.3% |
| LSTM | 54.7% | 12.4% | 0.68 | -35.6% |
| Transformer (基础) | 56.1% | 15.2% | 0.81 | -31.2% |
| Transformer (时间编码) | 58.3% | 18.7% | 1.02 | -27.8% |
关键发现：
-
Attention权重可视化揭示有趣模式
python# 提取某次预测的attention权重 attn_weights = model.encoder.layers[0].self_attn.attn_weights # 发现：模型自动学会了"年报效应" # 每年4月（年报季）的attention权重显著升高
-
长期依赖确实被捕捉到了
- 模型对60天前的”政策底”事件有记忆
- 传统LSTM在这个距离上权重接近0
-
但过拟合风险依然存在
- 训练集方向准确率72%，验证集58%（差距14%）
- 需要强正则化（Dropout=0.3, Weight Decay=0.01）
实战踩坑指南#
坑1：数据泄漏（Data Leakage）#
错误做法：
# 用整个数据集计算归一化参数
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X) # ❌ 用了未来信息！正确做法：
# 只用训练集拟合scaler
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train) # ✅ 只用训练数据
X_test_scaled = scaler.transform(X_test) # ✅ 测试集用训练集的参数坑2：忽略市场微观结构#
股价不是连续序列，而是受交易时间影响的不规则采样：
- 周末、节假日缺失
- 开盘/收盘有跳空
- 盘中序列和相关性结构不同
解决方案：添加”交易日历嵌入”
class TradingCalendarEmbedding(nn.Module):
def __init__(self, d_model):
super().__init__()
self.dayofweek_emb = nn.Embedding(5, d_model) # 周一~周五
self.month_emb = nn.Embedding(12, d_model) # 1~12月
def forward(self, x, date_features):
# date_features: [batch, seq_len, 2], 分别是星期几和月份
dow_emb = self.dayofweek_emb(date_features[:, :, 0])
month_emb = self.month_emb(date_features[:, :, 1])
return x + dow_emb + month_emb坑3：忽略交易成本#
Transformer预测频率高（日频），换手率可能很高。
实测：
- 不带交易成本：夏普1.02
- 带双边0.1%成本：夏普0.73（大幅下降！）
改进：在损失函数中加入换手率惩罚项
def trading_loss(predictions, targets, positions, lambda_turnover=0.01):
# 预测损失
mse_loss = F.mse_loss(predictions, targets)
# 换手率惩罚
turnover = torch.abs(positions[1:] - positions[:-1]).sum()
return mse_loss + lambda_turnover * turnover什么时候Transformer有用？#
基于我的实战经验：
✅ 适合用Transformer的场景：
- 低频策略（周频/月频），避免交易成本侵蚀收益
- 多资产联合预测（如50只股票），Attention能捕捉跨资产关系
- 有丰富另类数据（新闻、社交媒体），Transformer擅长融合异构数据
- 长期依赖重要（如宏观周期、年报效应）
❌ 不适合的场景：
- 高频交易（微秒级），Transformer推理太慢
- 数据量小（< 3年日频数据），容易过拟合
- 线性模式主导（如趋势跟踪），简单模型就够了
- 需要强解释性（如合规要求），Attention权重不等于因果
代码开源#
完整代码已上传GitHub：
https://github.com/halo/quant-transformer
包含：
- 数据预处理流水线
- Transformer模型定义（支持自定义位置编码）
- 回测框架（带交易成本）
- Attention权重可视化工具
总结#
Transformer在股价预测中有用，但不是银弹：
- ✅ 长期依赖建模能力确实强于LSTM
- ✅ 多头注意力能捕捉多种市场状态
- ⚠️ 过拟合风险高，需要强正则化
- ⚠️ 交易成本敏感，不适合高频
- ⚠️ 解释性弱，需要配合归因分析
我的建议：把Transformer当作因子挖掘工具，而不是直接交易信号生成器。用它发现非线性模式，然后提炼成可解释的因子，再用传统方法交易。
*下期预告：我将深入讲解如何用**图神经网络（GNN）*建模股票间的关联关系，捕捉行业轮动和产业链传导效应。
Self-Attention机制让模型能”看到”60天前的市场状态
Transformer（橙色）在2018-2019年熊市中回撤控制更好