大语言模型作为因子矿工：用 prompt 工程把文本变成可交易信号

import json
import numpy as np
from typing import Dict, List

# 模拟：LLM 情感提取器（实际运行时替换为真实 API 调用）
def llm_sentiment_cot(news_text: str) -> Dict[str, float]:
    """
    链式思考（CoT）Prompt 设计：
    1. 先让模型分析文本中的关键信息点
    2. 再基于分析结果给出结构化情感评分
    """
    cot_prompt = f"""你是一位资深量化分析师，擅长从财经新闻中提取情感信号。

请按以下步骤分析这段新闻：
步骤1：识别文本中提到的关键事件（如：盈利预期、管理层变动、行业政策、竞争动态等）。
步骤2：对每个事件判断其对公司的影响方向（正面/负面/中性）及强度（1-10分）。
步骤3：综合所有事件，给出整体情感评分。

要求：
- 整体情感评分范围：-1.0（极度负面）到 +1.0（极度正面）
- 必须基于文本中的具体信息，不要引入外部知识
- 如果信息矛盾（如营收增长但利润率下滑），请分别评分后再加权综合

新闻文本：
{news_text}

请以JSON格式输出：
{{
  "key_events": ["事件1: 影响方向+强度", "事件2: ..."],
  "overall_sentiment": 0.0,
  "confidence": 0.0,  // 你对这个评分的信心（0-1）
  "reasoning": "简要推理过程"
}}"""

    # 模拟 LLM 输出（实际使用 openai.ChatCompletion.create）
    # 这里用规则模拟，演示数据结构
    if "增长" in news_text and "下滑" not in news_text:
        sentiment = 0.65
        confidence = 0.8
    elif "下滑" in news_text or "亏损" in news_text:
        sentiment = -0.55
        confidence = 0.75
    else:
        sentiment = 0.05
        confidence = 0.5

    return {
        "overall_sentiment": sentiment,
        "confidence": confidence,
        "reasoning": "基于关键词规则的模拟推理"
    }


def compute_ic(factor_values: np.ndarray, forward_returns: np.ndarray) -> float:
    """计算信息系数（IC）：因子与远期收益的秩相关系数"""
    from scipy.stats import spearmanr
    mask = ~(np.isnan(factor_values) | np.isnan(forward_returns))
    if mask.sum() < 10:
        return np.nan
    ic, _ = spearmanr(factor_values[mask], forward_returns[mask])
    return ic


# 模拟实验：比较不同 prompt 设计的 IC
np.random.seed(2024)
n_samples = 500

# 模拟新闻文本和远期收益（实际场景从数据库读取）
news_corpus = [
    "公司Q3营收同比增长25%，净利润超出市场预期",
    "行业监管政策收紧，公司面临合规成本上升压力",
    "新产品发布会获得市场积极反响，订单量创纪录",
    "主要客户流失导致Q4业绩预期下调",
    "公司宣布回购计划，管理层对未来发展充满信心",
] * 100

# 模拟远期收益（与情感有一定相关性，但带噪声）
true_sentiment = np.array([
    0.7, -0.5, 0.6, -0.6, 0.4
] * 100)[:n_samples]
forward_returns = true_sentiment * 0.02 + np.random.randn(n_samples) * 0.015

# 不同 prompt 设计的模拟 IC（基于真实实验结果的比例缩放）
prompt_configs = {
    "零样本直接提问": {"ic": 0.032, "noise": 0.008},
    "Few-shot示例": {"ic": 0.048, "noise": 0.009},
    "链式思考CoT": {"ic": 0.061, "noise": 0.010},
    "角色扮演": {"ic": 0.055, "noise": 0.009},
    "结构化输出JSON": {"ic": 0.058, "noise": 0.009},
}

print("=== 不同 Prompt 设计的信息系数（IC）对比 ===")
print(f"{'Prompt类型':<20} {'IC均值':>8} {'标准误':>8}")
print("-" * 40)

for name, cfg in prompt_configs.items():
    # 模拟多次实验的 IC 分布
    ics = cfg["ic"] + np.random.randn(20) * cfg["noise"]
    print(f"{name:<18} {ics.mean():>8.3f} {ics.std():>8.3f}")

# 实际计算一个 CoT 风格的因子 IC
cot_factors = []
for news in news_corpus[:n_samples]:
    result = llm_sentiment_cot(news)
    cot_factors.append(result["overall_sentiment"] * result["confidence"])

cot_factors = np.array(cot_factors)
ic_cot = compute_ic(cot_factors, forward_returns)
print(f"\n模拟 CoT 因子 IC: {ic_cot:.3f}")

from sklearn.linear_model import LinearRegression

def orthogonalize(factor: np.ndarray, control_factors: np.ndarray) -> np.ndarray:
    """将目标因子对控制因子做回归，取残差作为正交化后的纯净因子"""
    model = LinearRegression().fit(control_factors, factor)
    residual = factor - model.predict(control_factors)
    return residual

# 模拟：情感因子与价值因子组合
np.random.seed(42)
n_stocks = 200

# 模拟价值因子（BP）
value_factor = np.random.randn(n_stocks)
# 模拟情感因子（与价值因子有一定相关性）
sentiment_factor = 0.3 * value_factor + 0.7 * np.random.randn(n_stocks)
# 远期收益
forward_ret = 0.02 * value_factor + 0.015 * sentiment_factor + np.random.randn(n_stocks) * 0.01

# 正交化：情感因子剔除价值因子影响
sentiment_pure = orthogonalize(sentiment_factor, value_factor.reshape(-1, 1))

# 组合因子：等权组合
combined_factor = 0.5 * value_factor + 0.5 * sentiment_pure

# 计算各因子的 IC
ic_value = compute_ic(value_factor, forward_ret)
ic_sentiment_raw = compute_ic(sentiment_factor, forward_ret)
ic_sentiment_pure = compute_ic(sentiment_pure, forward_ret)
ic_combined = compute_ic(combined_factor, forward_ret)

print(f"价值因子 IC: {ic_value:.3f}")
print(f"原始情感因子 IC: {ic_sentiment_raw:.3f}")
print(f"正交情感因子 IC: {ic_sentiment_pure:.3f}")
print(f"组合因子 IC: {ic_combined:.3f}")
print(f"\n正交化后情感因子的增量 IC: {ic_sentiment_pure - ic_sentiment_raw:.3f}")