- Transformer 旋转位置编码金融改进:让周期与相位进入注意力
绝对位置编码让 Transformer 把『第 20 天』和『第 21 天』当成两个毫不相干的坐标,完全丢掉金融序列最宝贵的周期与相位结构。RoPE(旋转位置编码)用旋转让注意力内积只依赖相对距离,而把 θ 设为 2π/P 后更把『相距 P 天 = 同相位』直接编码进注意力。本文 numpy 从零实现周期调制 RoPE,证明周期目标上的外推 RMSE 从 0.71(无位置)砸到 0.00,频率扫描在真实周期处呈 V 形谷,多周期信号多维 RoPE 训练区+外推区双零误差。附完整 Python 与四张真实计算图。
13 min Chinese - TimesNet 周期建模:把价格「折叠」成二维时间块,Transformer 才真正读得懂周期
Transformer 直接搬到时序常被简单线性吊打,病根是「逐点建模」——单个价格点没有语义。TimesNet(Wu et al. 2023)的破局点很巧:既然时间序列里最稳定的结构是「周期」,那就把一维序列按周期 P 折叠成二维「时间块」,让二维卷积去抓「同一相位跨周期」的相关性。本文用纯 numpy 从零实现 FFT 周期检测、1D→2D 折叠、2D 池化回 1D,在「三周期+趋势+脉冲噪声」合成序列上实测:2D 折叠把多周期结构的解释方差从 0% 抬到 31.7%,残差以噪声为主;并诚实拆穿「数据处理的不等式(线性头打不过线性基线)」、周期检测偏 bin、折叠引入伪相关、相位对齐泄漏、端点缺口五类真实陷阱(中阶)。
18 min Chinese
返回