Transformer 旋转位置编码金融改进:让周期与相位进入注意力
绝对位置编码让 Transformer 把『第 20 天』和『第 21 天』当成两个毫不相干的坐标,完全丢掉金融序列最宝贵的周期与相位结构。RoPE(旋转位置编码)用旋转让注意力内积只依赖相对距离,而把 θ 设为 2π/P 后更把『相距 P 天 = 同相位』直接编码进注意力。本文 numpy 从零实现周期调制 RoPE,证明周期目标上的外推 RMSE 从 0.71(无位置)砸到 0.00,频率扫描在真实周期处呈 V 形谷,多周期信号多维 RoPE 训练区+外推区双零误差。附完整 Python 与四张真实计算图。