今年2月，一位普通股民在雪球论坛看到一张AI问答截图：“某公司已投资AI巨头DeepSeek，股价即将暴涨！”
对于在股市中摸爬滚打、渴望抓住每一个投资机会的股民来说，这无疑是一条极具诱惑的消息。他坚信截图中的内容，并且兴奋地跟风买入，结果次日发现该公司辟谣，股价反而下跌，自己遭受沉重一击。
这样的事情并非个例，从“某公司投资DeepSeek”到“凉山山体滑坡”，AI生成的虚假信息正以病毒式速度扩散，这背后存在一条由黑灰产操控的“AI谣言流水线”。
在股市里，有一种造谣者被称为“黑嘴”。他们发布虚假信息，引诱投资者上钩，通过养粉荐股后的反向操作收割机构或个人。
现在不少领域的“黑嘴”，就将DeepSeek、豆包等AI工具当做“白手套”。他们利用AI技术的短板，制造谣言并将其包装成“权威答案”，再通过算法反哺形成闭环，最终收割流量与利益。
第一批用DeepSeek掘金的人，已经在这上面栽了跟头。
AI沦为造谣者的“嘴替”
很多虚假信息的背后，是造谣者在有组织、有计划地进行AI造谣。
此前在DeepSeek、豆包、文心一言、KiMi等AI工具的问答中，慈星股份、华胜天成、并行科技、诚迈科技等多家公司都被描述为“DeepSeek的投资者”，但事实上这些公司都没有参与投资。
为什么会出现与事实背离的情况？这跟数据投喂有直接关系。
隐藏在网络背后的造谣者，会利用AI批量生产谣言，比如“慈星股份投资了DeepSeek”等等，堪称流水线上的“谎言印刷机”。而且造谣者的“效率”非常高，有人一天就能制造几千篇虚假文章，甚至还出现了一天生成19万篇虚假文章的造假软件。
然后，造谣者会操控成百上千个水军账号，在多个线上平台高频传播这些造谣信息。他们的最终目的，是让AI援引大量的虚假信息，充当自己的嘴替。
所以，很多人就会看到AI工具援引虚假信源，给出了错误答案。本来有些人对谣言是将信将疑，但看到AI给出的答案后坚信不疑，此时就落入了造谣者制造的圈套，从而栽了跟头。有人就因为看到AI回答中有“某某投资品有潜力”等信息，误以为发现了财富密码，结果被割了韭菜。
最可怕的是，造谣者还会将AI给出的回答，再以截图形式继续传播扩散，以诱导欺骗更多人。所以这些AI谣言并非单次传播，而是“谣言—AI回答—更多谣言”的循环。这种自我强化的闭环，让谣言像癌细胞般无限增殖。
据南都大数据研究院不完全统计，2024年搜索热度较高的50个国内AI风险相关舆情案例中，超1/5与AI造谣有关，68%的网民曾因AI生成的“专家解读”“权威数据”而误信谣言。
一名受访者苦笑：“以前不信小道消息，现在连AI都撒谎，我们还能信谁？”
AI谣言带来的破坏力是巨大的，且不限于资本市场。
前不久，“广州法院对某汽车品牌L3级自动驾驶追尾事故作出首例判决”的谣言全网传播，就对该品牌的声誉和销售造成打击，损害企业利益。
在发生公共安全事故时，有人故意制造AI谣言扰乱视听。这不仅会干扰救援节奏，还容易引发民众恐慌。当造谣者通过收割流量，社会付出的代价其实是信任的崩塌与秩序的混乱。
AI谣言带来的危害还是全球性的，世界经济论坛发布的《2025年全球风险报告》显示，“错误和虚假信息”是2025年全球面临的五大风险之一，AI的滥用是这种风险的重要推手。
那么，AI究竟是如何沦为造谣者的“嘴替”？
AI如何沦为造谣者的“嘴替”？
虽然AI现在火的发紫，更新换代也非常快，但是仍然存在不少短板。
其中，较为突出的问题就是语料污染与AI幻觉。
AI大模型的训练依赖海量数据，但数据的真实性却无人担保。中国信通院曾做过实验，当在特定论坛连续发布百余条虚假信息后，主流AI大模型对对标问题的回答置信度，就会从百分之十几快速飙升。
前不久，纽约大学的研究团队发表了一项研究，揭示了大语言模型（LLM）在数据训练中的脆弱性。他们发现，即使是极少量的虚假信息，只需占训练数据的0.001%，就能导致整个模型出现重大错误，而这个过程的成本极其低廉，仅花费了5美元。
这就像在水库中注入几滴毒药，就能让水库里的每一滴水都带着谎言的味道，信息体系都会被破坏，堪称污染AI的“精神投毒”。
这其实暴露了AI的致命缺陷：它很难区分“热门帖子”和“真实信息”，只认数据权重。它像一面诚实的镜子，但映射的可能是被篡改的世界。
有的AI为了完成逻辑自洽，甚至还会胡编乱造。
某AI工具就根据“80后死亡率5.2%的虚假语料，输出“每20个80后就有1人死亡”的结论。这种“一本正经地胡说八道”，源于AI大语言模型在编造它认为真实存在甚至看起来合理的信息。它追求的是逻辑自洽，而非事实正确，这也被称为“AI幻觉”。
看来在“开局一张图，剩下全靠编”这件事上，AI比人类还擅长。
技术是否有罪本身是个有争议的话题，但人性的贪婪一定是AI谣言的罪魁祸首。
传统造谣需要雇佣写手，而AI将成本压缩至近乎为零且效率极高，利益极为丰厚。2024年南昌警方查处某MCN机构，其负责人王某某通过AI工具每日生成虚假文章4000-7000篇，内容涵盖“某公司暴雷”“某地灾情”等，最高峰的时候每天能生成4000-7000篇，每天收入超1万元。
某黑产从业者声称：“用AI造谣就像开印钞机，团队3个人一个月能赚50万。”更讽刺的是，他们甚至开发了“谣言KPI系统”：每篇假新闻根据传播量奖励造谣者，形成“多劳多得”的激励机制。
在利益的趋势和AI的加持下，造谣似乎从“作坊式的小打小闹”进化成“工业化生产”。
尽管《互联网信息服务深度合成管理规定》要求标注AI内容，但一些AI工具和平台在这方面仍有所欠缺。有些造谣团伙发布AI生成的虚假信息时，某平台仅弹出“请遵守法律法规”的提示，点击“确认”后仍可正常发布。
当越来越多的人，被卷入这场AI造谣形成的虚假信息漩涡，单纯谴责技术已无济于事。唯有技术防御、平台责任与法律制裁三管齐下，才能斩断这条“谎言流水线”。
真相与谣言，如何对决？
首先，数据源引用和AI检测是必须要重视的。
要减小谣言发生的概率，AI工具就要严格检测数据的来源和真实性。据悉，豆包的数据源主要依赖自有业务数据，占比50%-60%；外采数据占比为15%-20%。由于质量不确定性，豆包在投喂合成数据时较为审慎。
另外，豆包也公开强调“不使用任何其他模型数据”，这也是确保数据来源的独立性、可靠性、可控性。
用“魔法打败魔法”，即用AI检测AI生成的内容，也不失为一种有效的控制谣言的办法。
国内外已有多个团队，正在投入开发AI生成内容检测技术。比如，腾讯混元安全团队朱雀实验室研发了一款AI生成图片检测系统，通过AI模型来捕捉真实图片与AI生图之间的各类差异，最终测试检出率达95%以上。
国外的Meta创建了一个系统，可以在AI生成的音频片段中嵌入名为“水印”的隐藏信号，有助于在网络上检测AI生成的内容。
未来，DeepSeek、豆包、文心一言、KiMi等AI工具，还是要通过AI技术比如自然语言处理（NLP）技术，分析数据的语义、逻辑结构，识别文本中的矛盾、不合理表述，尽量避免数据投喂中涌入虚假信息。
其次，内容平台作为信息传播的重要渠道，要担负起“信息守门人”的责任。
抖音、微博、快手、小红书等平台，已经开始强制添加“本内容由AI生成”的水印，转发时保留标识。今日头条在谣言治理上，着重建设了三个方面的能力，包括谣言库、权威信源库以及专业审核团队。
另外，用户自己也要学会辨别虚假信息，加强防范意识。
对于AI给出的回答，我们不要全盘接收，而是要追问具体细节，让AI的回答更具可信度，从而判断回答是否存在幻觉，比如当AI声称“某股票将暴涨”时，要进一步追问“数据来源有哪些”。
另外，交叉验证信息也是一个有效的方法，也就是要通过多种渠道验证答案的准确性。此前有“某地地震预警”的AI谣言引发恐慌，但有网民通过对比气象局、地震台官网数据，迅速识破虚假信息。
最后，相关法律也要跟上。
《生成式人工智能服务管理暂行办法》已经要求数据来源合法化，并且明确了“不得生成虚假有害信息”的红线，但是当前法律法规对“AI投喂”的问题仍然存在空白，需要进一步优化。具体而言，法律需要在“投喂者如何打造语料”“语料的真实性”“投喂的目的”等环节上，进行相关管制。
结语
对于大众而言，AI应是“真相守护者”，而非“谎言扩音器”。当技术沦为贪婪的帮凶，我们需要的不仅是更聪明的AI，而是更清醒的人性。
从语料净化，到平台和法律的同步整治，这场“AI打假”必须要打赢。AI工具、内容平台与监管者要合力构建“共治防火墙”，让谣言困在笼子里。
这样一来，AI才能真正成为照亮真相的火炬，而非造谣者的“白手套”。