AI幻觉，简单来说，是指人工智能系统（自然语言处理模型）生成的内容与真实数据不符，或偏离用户指令的现象，就像人类说“梦话”一样~

　　那么AI幻觉有哪些？是什么原因产生的？我们该如何避免AI幻觉呢？

　　AI会产生什么样的幻觉？

　　可能有的小伙伴说：“我知道了！AI‘胡说八道’就是AI幻觉呗？”

　　其实也没这么简单，AI幻觉主要有两类。

　　A：事实不一致：AI生成的内容与现实世界事实相矛盾

　　当被问及“世界上最高的山峰是哪座？”，如果AI回答“深圳塘朗山是世界上最高的山峰。”

　　这就是一个事实不一致的例子，因为塘朗山坐落于广东省深圳市，海拔430米远低于珠穆朗玛峰8848.86米，这个回答与现实世界的事实相矛盾。

　　B：事实捏造：AI生成完全虚构的内容

　　如果AI描述说“2024年，考古学家在埃及金字塔内发现了一座隐藏的密室，里面藏有古代法老的宝藏和未知的高科技装置。”

　　这就是完全虚构的信息，截至目前没有考古发现或科学证据表明埃及金字塔内存在未被发现的密室，更不用说藏有古代法老的宝藏或未知的高科技装置了。

　　A：指令不一致：AI的回答偏离用户的要求

　　如果用户要求AI“讲解一下龙飞凤舞”，但AI回答了“老铁，我给你搜了几段舞蹈教学” ，这就完全偏离了原始的问题。

　　B：上下文不一致：AI生成的内容与提供的背景信息不符

　　假设在一个讨论中国传统节日的上下文中，用户问：“春节是什么时候？”AI回答：“春节是中国农历新年，通常在每年的1月或2月庆祝。”这个回答是正确的，符合春节的基本情况。

　　然而，如果AI接着说：“春节是纪念屈原的节日，人们会吃粽子和赛龙舟。”这就是上下文不一致的例子，因为AI的回答与春节的背景信息不符。

　　C. 逻辑不一致：AI的输出存在内在逻辑矛盾

　　开头的9.11大于9.9就是一个典型的数值计算逻辑混乱的例子……，AI把自己绕蒙了~

　　2AI幻觉有哪些特点

　　内容流畅性：尽管内容可能有误，AI生成的文本通常仍然连贯流畅。

　　表面合理性 ：生成的内容表面上看起来可信，给人以“这看起来很对”的第一印象，非专业人士难以辨别。

　　上下文相关 ：AI的幻觉内容并非凭空出现，它们通常与特定的上下文情境紧密相关。

　　不可预测性 ：很难预测AI何时会产生幻觉，可能幻觉也很难复现，就像人很难在今天做一个与昨天相同的梦。

　　3AI幻觉的“幕后黑手”

　　AI幻觉主要来自以下方面：

　　数据里的“坑”

　　训练数据局限：AI训练数据可能包含错误、偏见或过时信息。就像教小朋友学习，课本是错的，考试自然无法答对。

　　缺乏实时更新：AI通常基于静态数据训练，无法及时获取最新信息。考试要根据最新的资料复习，拿一本82年的教材是考不了24年的高考的~

　　训练过程的“小插曲”

　　过度泛化 ：模型可能过于依赖某些模式，导致在新情况下推导错误。就像我们学习时候只记住了公式，却不会灵活变通。

　　上下文理解不足：AI可能无法完全把握复杂的上下文关系。在处理多个复杂信息点，或者在推理时容易出错。就像我们的大脑有时也会短路一样。

　　模型本身的“小缺陷”

　　模型结构限制：AI通过统计模式预测，但可能无法真正理解信息。“你以为他真的懂你，其实也不过是基于复杂算法的数学而已~”

　　如何避免AI幻觉？

　　避免AI幻觉有以下几个“绝招”，各位少侠看“自身功力”，酌情修炼~

　　一. 提示工程有策略

　　提示工程通过优化AI的输入提示，使生成的内容更准确。

　　A. 检索增强生成（RAG）技术

　　RAG技术通过引入外部知识来帮助AI生成更准确的内容。主要方法包括：

　　生成前检索：在内容生成前，系统会预检索相关背景信息，为生成过程打下坚实的基础。

　　生成过程中检索：在生成过程中，系统实时检索并整合外部知识，确保内容的时效性和深度。

　　生成后检索 ：生成后，系统再次检索，与现有证据进行对比，验证生成内容的准确性。

　　例如，当AI被问到“2024年登月的宇航员有哪些？“时，RAG系统会先检索最新的新闻信息，然后基于检索到的准确信息生成回答。

　　B. 基于反馈和推理的自我改进机制

　　这种方法赋予AI自我反思的能力，使其能够不断优化生成的内容。

　　AI在生成答案后，会进行自我审视，提出疑问：“这个答案是否全面？是否有关键信息被忽略？”

　　C. 提示词的精细化调优

　　通过精心设计的提示词，引导AI生成更可靠、更精确的内容。

　　例如，在地图导航的AI应用中，使用“请根据最新的交通管制政策、路况信息、天气情况，提供明天上午九点到深圳湾公园的路线推荐，分别提供驾车与公共交通的路线信息，用时推荐等”具体提示，代替笼统的“如何去深圳湾公园”。

　　这种方法不仅提升了信息的全面性，也增强了AI回答的针对性。（这不仅是我们最容易实现的策略，也是最直观有效的方法，能够显著改善内容生成的质量和深度。）

　　二. 模型开发不能停

　　AI模型与训练过程的不断进化是减少幻觉产生的关键。

　　A. 创新解码技术

　　采用新的解码策略，以便更精准地处理语言上下文，例如上下文感知解码（CAD）。

　　这种方法通过在解码过程中引入上下文信息，鼓励模型更多地关注所提供的上下文，而不是仅仅依赖于模型在预训练阶段学到的知识。

　　例子：在翻译一部科幻小说时，传统模型可能会直译“Beam me up”为“把我光束上去”，而应用CAD的模型会理解这是一句要求传送的指令，正确翻译为“把我传送上去”。

　　B. 知识图谱的应用

　　通过知识图谱，我们能够丰富AI的知识库，让生成的内容更加准确和有深度。

　　想象一下，知识图谱就像一个巨大的、互联的“社交网络”，但它不是连接人，而是连接各种信息和概念。每个“用户”在这个网络中都是一个实体，比如人、地点、事物或者概念。

　　它们通过各种“关系”相互连接，就像社交软件上的好友关系一样。知识图谱通过这种方式组织信息，就像一个超级学霸帮助AI快速找到信息，并且理解不同信息之间的联系。

　　举个例子，如果你在知识图谱中查找“苹果”，它不仅会告诉你苹果是一种水果，还可能告诉你苹果公司是一家科技公司，甚至还会告诉你牛顿被苹果启发发现了万有引力。

　　C. 基于忠实度的损失函数

　　引入新的损失函数，对偏离原始数据的生成内容进行惩罚，以减少不准确的信息，从而把AI从幻觉中“掐醒”。

　　举个例子，AI在生成文章摘要时，如果回答中添加了原文中未提及的内容，损失函数会提高惩罚，确保模型学习到生成与原文相符的内容。

　　D. 监督微调

　　通过特定领域的数据进行微调，提升模型在特定任务上的准确性。

　　举个例子，一个通用的语言模型可能对通信术语理解有限。通过使用大量通信行业资料进行训练微调，可以显著提高模型在通信领域的准确性。比如，它可以更准确地区分相似通信术语的区别，如EBGP和IBGP。

　　三. AI Agent为模型加Buff

　　AI Agent有特定的能力可以提高模型的可靠性，通过这种方式，AI Agent能够更好地理解和处理复杂的任务，减少在生成文本时出现的错误或不准确的信息。

　　A. PAL（Program-Aided Language Models，程序辅助语言模型）：

　　PAL技术通过将程序化逻辑嵌入到语言模型中，使得AI能够执行特定的程序或算法来完成任务。

　　PAL技术像是一个“自动化工具”，它通过内置的程序逻辑来指导AI系统如何完成任务。这种技术的优势在于能够处理那些规则明确、步骤固定的任务。

　　举个例子，如果你告诉基于PAL技术的AI系统：“我需要在每天下午3点提醒我喝水。”系统会设置一个自动化的日程提醒，每天按时提醒你，而不需要进一步的交互。

　　B. ReAct（Reasoning and Acting，推理与行动）：

　　ReAct技术强调AI对上下文的理解，以及基于这种理解进行的推理和决策。

　　ReAct技术更像是一个“智能助手”，它不仅理解用户的请求，还能够根据请求的内容进行推理，并采取相应的行动。这种技术的优势在于能够处理那些需要灵活推理和决策的任务。

　　举个例子，如果你告诉基于ReAct算法的AI系统：“我明天有个会议，需要准备一份报告。”ReAct系统会理解你的请求，然后推理出你需要的信息类型，可能会询问你报告的具体内容和格式，然后根据这些信息来帮助你准备报告。

　　END

　　来源：中兴文档

　　编辑：Chocobo

　　转载内容仅代表作者观点

　　不代表中科院物理所立场

　　如需转载请联系原公众号