前几天看3·15晚会,有个片段让我后背发凉。
记者用一款叫”力擎GEO优化系统”的软件,虚构了一款叫”Apollo-9”的智能手环,杜撰了”量子纠缠传感""黑洞级续航”这些完全虚假的参数,然后批量生成十几篇测评文章发布到自媒体平台。
几个小时后,多个主流AI大模型在回答智能手环推荐问题时,竟然把这款根本不存在的产品列为”高性价比之选”,还煞有介事地给出了购买建议。
我当时在想:如果AI连”根本不存在的产品”都能推荐,那我们每天问它的问题,答案到底有多少是可信的?
一套GEO软件9.9元,AI就能被”投毒”#
所谓GEO(Generative Engine Optimization,生成式引擎优化),最初是个学术概念,目的是优化内容在AI系统中的可见性。
但随着AI搜索用户规模在2025年突破15亿,超过**30%**的信息获取行为通过生成式AI完成(来源:原文),这项技术迅速被黑灰产异化。
攻击逻辑很简单:
传统搜索引擎时代,平台只给链接列表,用户自己判断真假;AI时代,模型直接给答案,这就要求AI对信息真实性负责。
但攻击者看准了AI的一个致命弱点:AI问答90%依赖检索增强生成(RAG),攻击者不需要触碰模型权重,只要污染外部知识库或网页,就能操控答案。
一些商家通过批量生成虚假产品测评、伪造权威榜单,通过数千个网站矩阵投放,少量恶意数据经迭代学习就会固化为模型的”权威认知”。
AI并不是在”犯错”,它只是在如实反映一个已经被污染的互联网。
更可怕的是,这套GEO软件最低9.9元就能试用,包月99元可以发布500篇”软文”(来源:原文)。也就是说,花99块钱,你就能让AI成为你的”付费水军”。
不只是商业欺诈,还有国家安全#
GEO投毒的危害,早就超出了商业竞争的范畴。
第一重危害:侵蚀AI信任根基。
83%的年轻用户用AI工具查询产品。当消费者发现AI推荐的”标准答案”竟是虚假广告时,对AI技术的根本性信任必然动摇。
一项研究显示:当训练数据中仅有0.01%的虚假文本时,大模型的有害输出率就会上升11.2%;即便只有0.001%的污染,也会导致有害内容增加7.2%(来源:原文)。
第二重危害:扭曲市场竞争秩序。
合法企业通过提升产品质量赢得市场,而投毒商家只需要注册大量账号、制造低质内容、刷量制造”权威假象”,就能让劣币驱逐良币。
第三重危害:污染公共信息生态。
教育、医疗、金融等关键领域的AI工具一旦被投毒,将导致决策失误与大面积信任危机。
第四重危害:威胁国家安全与认知主权。
境外势力已经开始通过批量投毒散布政治谣言、扭曲历史叙事。2025年第四季度,全球范围内检测到12.7万次针对生成式AI服务的投毒攻击,其中**63%**涉及商业模型篡改(来源:原文)。
南京四维向量科技有限公司总经理王河生说得很直接:“AI时代模型直接给出答案,对信息真实性负责的要求高于以往任何时候,而监管尚未同步跟上。“
AI”天生”就带着偏倚#
如果说GEO投毒是外部”下毒”,那么训练数据的结构性偏倚更像是AI的”先天体质问题”。
一篇发表在《自然》杂志上的论文指出:在CulturaX公开语料的中文子集中,与中国官方协调媒体相匹配的文档超过310万份,占中文子集的约1.64%。而来自中文维基百科的文档率仅为其四十分之一。
这种不平衡意味着,模型”天生”就带着某种认知框架在运行。
但我觉得,这篇论文的方法论有个大问题:CulturaX语料中中文占比只有3.6%。对于一个互联网大国来说,这个比重非常小。而且数据来源是基于全网络爬虫,并没有对官方媒体额外增加权重。
换句话说,我们很难断言这些模型拥有足够宽泛的中文语料进行充分推理——更像是”盲人摸象”式的片面学习。
研究团队自己也承认:AI公司不提供其数据来源,研究者无法获得模型实际使用的全部训练数据,只能通过开源语料进行间接推断。这种方法论上的局限,让论文结论的可信度并非绝对无疑。
更值得警惕的是:这种语料偏倚与GEO投毒攻击之间存在惊人的相似性——都利用了LLM对统计概率的敏感性和互联网信息的可操纵性。
本质上,两者是同一枚硬币的两面:官方信息系统的”制度性影响”和恶意商家的GEO投毒,都是从输入端”塑造”AI世界观的手段,区别只在于谁在操控。
为什么AI容易被”欺骗”?#
从技术层面看,主流大模型的训练语料几乎完全来自互联网。互联网上有什么,AI就学什么。
复旦大学的肖扬华教授说得很透彻:“算法偏见并非源于算法本身,而是技术放大了人类的偏见。”
AI投毒业务的存在,不是AI变坏了,而是人的欺骗意图在AI赋能下实现了低成本的规模化传播。
换个角度说:AI只是互联网的一面镜子,照出的却是人与人之间的博弈与争斗。
但问题是,这面”镜子”很容易被刻意扭曲。
黑帽GEO通过堆砌关键词、伪造权威、批量洗稿获取流量,本质上是对AI认知体系的操纵;而合规GEO则以内容质量和信息真实性为前提,让优质内容被AI主动识别。
当前大多数GEO最基础的逻辑,就是通过优化AI平台联网搜索的”输入”信息来改变最终答案”输出”。
中国电子信息产业发展研究院的李雨佳说:“AI的脆弱性远超外界认知。“
攻防成本的不对称:200元 vs 整个安全团队#
面对GEO投毒,防御方开展事实核查需要逐条比对权威信源,耗时较长、成本高昂。
而攻击方仅需极低投入即可发起大范围信息污染,攻防成本存在严重失衡。
攻击者可以用200元投入,在数千个网站上留下痕迹;防御方却需要动用整个安全团队轮班值守。
这种不对称性,使得当前的防御体系尽管在逐步完善,但面对产业化的攻击仍然力有不逮。
不过,产业界、学术界和监管层也正在从多个维度探索应对之道:
数据源头:建立可信过滤机制。
企查查自研的”汇智”大模型,训练数据并非源于易被污染的互联网公开信息,而是基于十余年积累的全量可信数据库,从源头上切断虚假信息注入渠道。
模型训练:提升抗攻击能力。
DeepSeek在训练阶段采用了正则表达式与AI脱敏相结合的方法。南京四维向量科技的王河生建议对爬虫和数据接入实施三重核验——核查域名备案、主体资质、历史信誉,同时开展对抗训练并引入知识图谱进行事实校验。
技术防伪:数字水印与溯源机制。
谷歌的SynthID技术已经能对文字、图片、音频、视频打水印。在溯源层面,Adobe、微软、ARM等企业倡导成立的C2PA联盟,旨在为互联网数字内容颁发”证件”。
监管与治理:单靠技术无法根治问题。
2026年1月,国家市场监督管理总局发布《全国广告监管工作要点》,明确将AI生成广告列为互联网广告监管的重点和难点。
我们该怎么办?#
说到底,AI被”带偏”的问题本质上是一个”信任供应链”的系统性危机——从互联网信息生产,到数据采集与清洗,再到模型训练与推理,每一个环节都可能成为漏洞。
更本质的问题在于:当AI越来越依赖公开互联网信息,而互联网本身已经成为一个被多方势力持续操纵的信息战场时,AI还能否充当那个”客观中立的智能助手”?
生成式AI的认知逻辑本身存在结构性局限——它无法像人类那样区分”多数人的说法”和”事实”,无法自主甄别信息的真伪和意图。
在当前的技术框架下,AI只能反映它所”见过”的那些互联网信息,而这些信息本身的质量和立场,早已被多方势力同时塑造、渗透和污染。
这个问题没有标准答案,但值得每个人思考。
毕竟,AI给出的答案,终究来自我们共同构建的数字世界——当那个世界被重重操纵和层层包裹时,AI不仅无法穿透迷雾,反而可能成为放大这些扭曲的”扩音器”。
技术向善的立足点,终究在于使用技术的人。
而我们至少可以从这个问题开始:下次AI给出”标准答案”时,多问一句——“它为什么这样回答?”
互动话题:你有没有遇到过AI给出明显错误答案的情况?是怎么发现的?评论区说说你的经历吧。