上篇回顾
今天早上我们了解了AI幻觉的基本概念——为什么大模型会一本正经地胡说八道。简单回顾三个要点:
- AI幻觉的本质:模型不是在”思考”,而是在做概率预测下一个最可能的词,所以它可能生成听起来合理但完全错误的内容
- 幻觉的三种类型:事实性幻觉(编造不存在的信息)、逻辑幻觉(推理过程自相矛盾)、引用幻觉(捏造不存在的论文、链接)
- 幻觉的根源:训练数据的局限、模型的”讨好”倾向、概率生成的天然缺陷
今晚的实践课,我们来做几件事:亲手制造幻觉、学会识别幻觉、掌握降低幻觉的实用技巧。
实操一:亲手制造一个幻觉
在开始防范幻觉之前,先来体验一下幻觉是怎么产生的。打开你常用的AI对话工具(ChatGPT、Claude、通义千问等都可以),试试以下提示词:
练习1:让AI编造名人名言
提示词:
`
请给我3句爱因斯坦关于教育的名言,要中英文对照。
`
你很可能会得到看起来非常像真的名言,但其中至少有1-2句是AI编造的。爱因斯坦确实说过很多关于教育的话,但AI会在”真实记忆”和”合理推测”之间模糊界限。
验证方法:把AI给的名言复制到搜索引擎,用英文原文搜索。如果搜不到确切出处,那大概率是幻觉。
练习2:让AI一本正经地瞎编
提示词:
`
请详细介绍2025年诺贝尔化学奖的获奖研究成果。
`
注意:这个提示词故意问了一个AI训练数据截止日期之后的事件(如果AI的训练数据没有覆盖到2025年)。AI可能会自信地编造一个听起来完全合理的”获奖研究”,甚至给出研究者姓名、机构、论文标题——全部是虚构的。
关键观察:AI在回答时完全没有”我不确定”的犹豫,它会用流畅的学术语言描述一个不存在的事件。
练习3:让AI在专业领域犯错
提示词:
`
请列出以下药物的相互作用:阿莫西林、布洛芬、二甲双胍。
给出一个详细的用药时间表。
`
AI可能会给出看似专业的用药建议,但具体的剂量、时间间隔、相互作用描述可能存在错误。这就是为什么AI不能替代医生。
💡 今天的第一个收获:幻觉不是AI的”bug”,而是概率生成模型的”天性”。学会识别它,比期望它不存在更重要。
实操二:四步识别法——建立你的幻觉检测清单
在日常使用AI时,你可以用以下四个步骤快速判断AI的输出是否可信。
第一步:查来源
规则:如果AI给出了具体的数据、引用、链接,必须验证。
`
你:请推荐3篇关于RAG的论文。
AI:推荐论文:
- “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”
by Patrick Lewis et al., 2020…
`
操作:去Google Scholar搜索论文标题。AI可能给出:
- ✅ 真实存在的论文
- ❌ 论文标题对但作者错了
- ❌ 论文标题和作者都是编造的
提示词模板(降低幻觉率):
`
如果你不确定某篇论文是否存在,请明确告诉我”我不确定这篇论文是否准确存在,
建议你自行验证”。不要编造论文信息。
`
第二步:查数字
规则:AI给出的任何具体数字都要怀疑。
- 人口数据、统计数据
- 日期、年份
- 百分比、排名
- 价格、数量
为什么数字特别容易出错?因为对语言模型来说,”1945″和”1946″在概率上几乎没有区别——都是四位数字,但差一年就是完全不同的历史事实。
第三步:查逻辑
规则:检查AI的推理链条是否自洽。
练习提示词:
`
小明比小红大3岁,小红比小华大2岁,小华今年10岁。
请问小明今年几岁?请一步一步推理。
`
再换一个数字重新问一遍,看AI是否能给出一致的答案。逻辑幻觉的特点是:每一步推理看起来都对,但中间某一步偷偷”跳步”了。
第四步:查共识
规则:对于有争议的话题,看AI是否给出了多元观点。
如果AI在有争议的话题上只给出了一个确定的答案,那很可能它只是在复述训练数据中的某一种观点,而不是客观分析。
💡 今天的第二个收获:建立”来源→数字→逻辑→共识”的四步检查习惯,可以过滤掉80%以上的幻觉风险。
实操三:五个降低幻觉的提示词技巧
识别幻觉很重要,但更好的做法是在提问时就降低幻觉的概率。以下是五个经过验证的技巧:
技巧一:要求AI承认不确定性
普通提问:
`
请解释量子计算的工作原理。
`
改进提问:
`
请解释量子计算的工作原理。
对于你不确定的部分,请明确标注”这部分我不太确定”或”这是简化的解释”。
`
技巧二:添加”如果没有就直说”
普通提问:
`
给我推荐5本关于AI伦理的书。
`
改进提问:
`
给我推荐5本关于AI伦理的书。
如果你记不清具体的书名或作者,请不要编造,直接告诉我你不确定。
我更需要真实的信息,而不是一个看起来完整的列表。
`
技巧三:分步骤提问,逐步验证
不要一次性问复杂问题。拆成小步骤,每一步都可以验证:
`
第一步:先列出你知道的RAG框架名称(不需要详细介绍)
第二步:我确认后,再详细介绍我感兴趣的那几个
`
技巧四:提供上下文,减少AI的”自由发挥”
开放式提问(幻觉风险高):
`
介绍一下深度学习的最新进展。
`
限定式提问(幻觉风险低):
`
以下是我最近读的一篇论文摘要:[粘贴摘要]
请基于这篇论文的内容,解释它提出的XX方法与传统YY方法的区别。
不要引入论文之外的信息。
`
技巧五:让AI扮演”诚实的助手”
在对话开头设定角色:
`
你是一个诚实的AI助手。你的原则是:
- 如果你不确定,就说”我不确定”
- 如果你需要更多信息才能回答,就反问我
- 永远不要为了显得有用而编造信息
- 如果某个问题超出你的能力范围,明确告诉我
现在请回答我的问题:…
`
💡 今天的第三个收获:好的提示词不只是让AI”理解你想要什么”,更是让AI”在不知道时承认不知道”。
实操四:真实案例——一份被幻觉坑了的报告
场景
小王是一家公司的市场分析师,他用AI来辅助写季度市场报告。以下是他的经历:
小王的提问:
`
请帮我整理2025年Q3中国智能手机市场的份额数据,
包括华为、小米、OPPO、vivo、苹果的市场份额。
`
AI的回答:
`
2025年Q3中国智能手机市场份额:
- 华为:22.3%
- 小米:18.7%
- OPPO:16.2%
- vivo:14.8%
- 苹果:13.5%
- 其他:14.5%
`
问题在哪里?
- 这些百分比加起来确实等于100%——AI很”聪明”,会确保数字自洽
- 每个品牌的份额看起来都在合理范围内——不像”华为90%”那么离谱
- 但具体数字很可能是编造的——AI不可能实时获取市场数据
正确的做法:
`
第一步:问AI”你是否有2025年Q3的实时市场数据?”
→ AI应该回答”我没有实时数据,我的训练数据有截止日期”
第二步:问AI”请告诉我哪些渠道可以获取这个数据”
→ AI可以给出IDC、Canalys、Counterpoint等机构名称
第三步:去这些机构的官网查找真实数据
第四步:把真实数据提供给AI,让它帮你分析和写报告
→ 这时候AI的分析能力是有价值的,因为基础数据是真实的
`
教训总结
| 错误做法 | 正确做法 |
|---|
|———|———|
| 让AI直接提供数据 | 让AI告诉你去哪里找数据 |
|---|---|
| 把AI输出直接复制到报告 | 先验证数据再使用 |
| 一次问完所有问题 | 分步骤,先确认AI的能力边界 |
| 相信AI的”自信语气” | 用”你确定吗?”二次确认 |
实操五:不同场景下的幻觉应对策略
场景一:写代码
幻觉表现:AI推荐不存在的函数、库、API参数
应对:
`
请写一个Python函数来处理CSV文件。
请只使用Python标准库,或者你确定存在的第三方库。
对于任何函数或方法,请注明它属于哪个库,方便我验证。
`
验证方法:运行代码。代码幻觉是最容易发现的——报错就是幻觉。
场景二:翻译
幻觉表现:AI在翻译中添加原文没有的信息,或删减重要内容
应对:
`
请逐句翻译以下英文段落,不要添加原文没有的信息。
如果某个句子有歧义,请保留原文并给出两种可能的翻译。
`
场景三:学习新知识
幻觉表现:AI用错误的解释替代正确的概念
应对:
`
请解释[概念]。
请注意:
- 如果这是有争议的概念,请列出不同学派的观点
- 如果你对某个解释不太确定,请标注
- 请推荐1-2个权威的学习来源,我好去核实
`
场景四:做决策参考
幻觉表现:AI给出片面的分析,忽略了关键因素
应对:
`
我在考虑[决策]。
请帮我分析利弊,但请注意:
- 请列出支持和反对的理由,各至少3条
- 请标注哪些是你确定的事实,哪些是推测
- 还有哪些信息是我需要自己去获取的?
`
今日总结
今晚的实践课,我们围绕”AI幻觉”做了五个实操练习:
- 亲手制造幻觉——理解幻觉是怎么产生的,它看起来有多”真实”
- 四步识别法——来源→数字→逻辑→共识,建立系统化的检查习惯
- 五个提示词技巧——从源头降低幻觉概率,让AI更诚实
- 真实案例分析——看到幻觉在实际工作中造成的危害
- 分场景应对策略——写代码、翻译、学习、决策,不同场景不同策略
核心原则:把AI当成一个”非常聪明但偶尔会记错的朋友”——你不会全盘相信一个朋友说的每句话,但你也不会因此不和他交流。学会验证、学会追问、学会在关键问题上不完全依赖AI,这就是与AI共存的智慧。
今日行动项
基础任务(5分钟):
用今天的”四步识别法”,对AI的任意一个回答进行验证,把结果记录下来。
进阶任务(15分钟):
用”技巧五”设定一个诚实的AI角色,然后问它3个你已经知道答案的问题,看它是否会更谨慎地回答。
挑战任务(30分钟):
用AI帮你写一份工作文档(报告、邮件、方案都行),然后逐段验证,标出所有你无法确认的内容。看看一份1000字的AI输出中,有多少需要你额外核实。
📖 地铁深读:AI幻觉研究的前沿进展
这个板块专为地铁通勤设计,每篇5-10分钟。不想深读可以跳过,不影响主线学习。
一个有趣的发现:越大的模型,幻觉越”精致”
你可能以为,模型越大、越先进,幻觉应该越少。但研究发现了一个有趣的现象:大模型的幻觉确实更少了,但一旦产生幻觉,幻觉的质量也更高了——更难被发现。
小模型的幻觉往往是明显错误的(比如”太阳从西边升起”),你一眼就能看出来。但大模型的幻觉是”精致”的——它会编造一个看起来完全合理的细节,混在真实信息中,就像往真钞里夹了一张高仿假钞。
2025年斯坦福大学的一项研究测试了多个主流大模型在法律领域的表现,发现GPT-4在生成法律引用时,有超过15%的案例引用是虚构的——但这些虚构引用的格式、风格、甚至虚构的案卷号都看起来完全合法。
RAG不是万能药
你可能听说过”RAG(检索增强生成)”可以解决幻觉问题——让AI先查资料再回答。这确实有帮助,但RAG也有自己的幻觉问题:
- 检索到的资料本身可能有错——垃圾进,垃圾出
- AI可能曲解检索到的内容——资料说A,AI理解成B
- AI可能”融合”多个来源——把不同来源的片段拼在一起,产生新的错误
所以RAG是降低幻觉的好工具,但不能完全消除幻觉。最终的把关人,永远是你自己。
行业如何应对AI幻觉?
目前业界主要从三个方向应对:
技术层面:
- 模型内置”置信度”——让AI知道自己有多确定
- 事实核查模块——生成后自动验证
- 多模型交叉验证——多个AI互相检查
产品层面:
- 引用溯源——每句话标注来源
- 置信度可视化——用颜色标注确定程度
- 人工审核流程——关键内容必须人工确认
教育层面:
- 培养用户的AI素养——就像你现在正在做的
- 建立行业使用规范——什么场景可以用AI,什么场景不行
思考题
想一个问题:如果你是一个法官,AI给你提供了10个判例参考,其中2个是幻觉。你用这10个判例做出了判决。这个判决应该被推翻吗?
这个问题没有标准答案,但它正在现实中发生。2023年,美国一名律师因为使用ChatGPT生成的虚构判例被法院处罚。这不是AI的错——是人没有做好验证。
留个悬念:Day 62我们会讲到”AI法规与治理”——那时候你就能理解,为什么世界各国都在急着为AI立法了。
下篇预告
明天早上8点:Day60——AI安全:对抗攻击与防护。了解AI系统面临的安全威胁,以及如何保护你的AI应用。
明晚5点:Day61——晚课 AI与就业:机遇与挑战。用实际案例分析AI如何改变职场,以及你该如何准备。
发表回复