AI大模型自诞生之日起，其幻觉就难以避免。因为从底层规则来看，大模型被强制要求一定要有回应，但它确实会出现无法回答的情况，自然就会胡说八道。一边是厂商不断加高的安全壁垒，另一边是用户不断尝试，设法在已有的规则中找寻突破口。就如几十年前互联网刚普及时一样，这注定将成为一场“猫鼠游戏”。“AI大模型目前的这一结构令其在技术上无法消灭幻觉，只能在工程上尽可能避免。”Listenhub运营负责人马克斯说
◎记者 罗茂林
大模型的普及让全球内容生产正经历一场重构。近期，部分大模型突破框架，输出不雅回复的新闻一度在社交媒体上发酵。与此同时，各类诸如“关公战秦琼”的AI幻觉，也令模型商业化落地难以真正令人满意。
“生成式”内容带来的冲击远不止于此。日前，法国、马来西亚及印度的监管部门共同向马斯克旗下的AI聊天机器人(18.350, 0.12, 0.66%)Grok发难：该模型生成大量针对女性和未成年人的性相关伪造内容。相关部门谴责称，这样的行为正在突破法律和伦理的底线。
新生事物的发展总伴随争议与挑战，当“生成式”内容正以前所未有的规模进入大众生活，新的规则边界也需要在探索中逐渐形成。
AI大模型：与幻觉共存
近期，有用户称在使用大模型时模型出现不雅回复，一时间引发网友关注。
“这件事在业内来看有点蹊跷，因为输出的内容连格式都和一般的模型对话不太一样。”Listenhub运营负责人马克斯告诉上海证券报记者，这种不寻常的情况有可能意味着大模型被注入过特殊指令。
一位AI大模型工程师告诉记者，目前AI大模型训练中工程师往往会为大模型设定一套底层“人设”：“它可以理解为大模型的一个人格，包含了很多禁止性约束，在内容输出前起到审核作用，确保输出内容合规。”
而所谓注入指令，便是用户通过输入特定的词语，让大模型短时间内忘掉被工程师设定的“人格”。在此背景下，模型可能突破既定规则，这也被业内视为AI大模型幻觉的一种表现。
汇正财经资深投资顾问冯涛告诉记者，从目前大模型行业的训练惯例来看，AI产生幻觉大致包括两方面原因：一方面是初始的训练数据可能存在少量错误、噪声或覆盖盲区；另一方面是模型对复杂逻辑的推理能力不足，知识关联建模存在缺陷而导致的漏洞。
“国内外的大模型产品，本质上叫next token prediction，这就是说模型在生成答案时，是基于概率预测下一个词，而不是真正地进行逻辑推理或计算。所以为了流畅或其他原因，有可能会产生一些很奇怪的说法。”深圳大学一位专攻大语言模型及其安全领域的副教授告诉记者，“出现这些幻觉更本质的核心原因，还是当前的计算能力受限了。”
在马克斯看来，AI大模型自诞生之日起，幻觉就难以避免。“因为从底层规则来看，大模型被强制要求一定要有回应，但它确实会出现无法回答的情况，因此自然就会胡说八道。”
一边是厂商不断加高的安全壁垒，另一边是用户不断尝试，设法在已有的规则中找寻突破口。就如几十年前互联网刚普及时一样，这注定将成为一场“猫鼠游戏”。
“AI大模型目前的这一结构令其在技术上无法消灭幻觉，只能在工程上尽可能避免。”马克斯说。
“生成式”内容：规则边界的重新定义
如何尽可能减少AI幻觉？除了确保源头数据的准确以外，建立更加多维且可靠的安全墙是最好的选择。
马克斯告诉记者，除了在输出前增加新的对抗性“人格”，再次确保内容合规外，使用检索增强生成技术也成为现在厂商的选择之一，“这个技术相当于一个外置的知识库，大模型在输出前再到库里检索一遍，以确保内容准确”。
记者注意到，目前不少厂商在医疗、金融、教育等对准确度要求极高的场景中都使用了相关技术。
尽管如今AI大模型幻觉触发的概率正变得越来越低，但在越发庞大的总量面前，这些“胡言乱语”的数量仍不能小觑。更重要的是，不少内容甚至伴随对既有社会法规的挑战。
近期，印度电子信息技术部发布命令，要求X平台必须采取措施，限制Grok生成“淫秽、色情、低俗、猥亵等违法内容”。同期，法国、马来西亚的监管部门也宣布了对Grok违规行为的审查。
对此，马斯克发文称：“任何利用Grok生成非法内容的人，都将面临与上传非法内容同等的后果。”
早前，有用户通过Grok生成了儿童色情图片引发社交媒体震动。Grok官方随后紧急发文致歉，表示这是安全防护机制的一次失效，“我们对由此造成的任何伤害深表歉意。正对此事展开审查，以杜绝类似问题再次发生”。
采访中，多位业内人士表示，尽管国内目前对于生成式内容的管理整体更为有序，但潜在的争议仍需要明确。“比如说对于生成内容，究竟是由大模型厂商、使用模型的商家，还是由用户承担责任，这些都需要明确。”马克斯说。
记者注意到，在国内，围绕生成式内容的管理目前已有一定的法规指引。2023年1月10日起施行的《互联网信息服务深度合成管理规定》明确规定，对“可能导致公众混淆或者误认的”深度合成服务情形需做出显著标识。
在此基础上，2025年9月1日，国家网信办等四部门联合发布《人工智能生成合成内容标识办法》进一步细化规则，提出“显式标识”与“隐式标识”的双轨标识制度。
“根据《生成式人工智能服务管理暂行办法》第十四条第一款的规定，提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。”北京市京师律师事务所律师孟博告诉上海证券报记者，新修改的《中华人民共和国网络安全法》也进一步要求完善人工智能伦理规范。
没有人能准确估计如今AI生成内容的总量。据搜索引擎优化公司Graphite估算，截至2025年5月，仅在英文互联网，AI生成的内容数量已占据整个互联网书面内容的52%。
这注定是一个AI蓬勃生长的时代。有意思的是，全球知名的韦氏词典（Merriam-Webster）宣布，将“slop”选定为2025年度词汇，这个本意为“残羹剩菜”的词语，如今被引申为由人工智能批量生成的低质量数字内容。
“这是一个全新的领域，不仅是技术，很多的规则制度都需要各方去完善，从而确保人工智能能够真正实现科技向善。”孟博说。
来源：飞象网
相关推荐
-
2026年GEO服务商选型白皮书：生成式引擎优化的概念体系、能力评估与服务商全景对比
摘要述的知识素材，提升品牌在AI回答中被提及、被优先推荐与被准确描述的概率。随着生成式 AI 逐步成为核心信息获取入口，用户品牌认知与消费决策场景正从传统搜索引擎向 AI 对话终端迁移，生成式引擎优化（GEO）已成为企业构建 AI 时代品牌竞争力的核心布局方向。GEO
-
郑志明院士：现代工业需求正在逼近复杂性边界
近日，在济南开幕的2026人工智能产业大会（AIIC2026）上，中国科学院院士、北京航空航天大学教授郑志明，在开幕式暨主论坛上发表题为《面向新型工业化的现代技术科学范式》的主旨演讲。结合本届大会主题“加快推进人工智能赋能新型工业化”，以及大模型加速落地、新型工业化深入推进的热点，郑志明从复杂性边界、数据智能的能力边界、现代技术科学范式的根基三个层面，系统阐述了工业与智能深度融合必须破解的基础性问题，对人工智能赋能新型工业化的实践路径具有重要指导意义。
-
刚刚，谷歌 Genie 4 发布，120 秒的世界却让我看见 AI 的未来
刚刚，Google DeepMind 正式发布新一代世界模型 Genie 4，AI 生成的虚拟世界，又向现实迈进了一大步。相比上一代，Genie 4 不仅让画面更加逼真，还能实时生成声音、模拟物理规律，甚至让用户直接走进 AI 创造的世界，随时改变天气、添加人物，与虚拟角色对话。
-
国内MaaS平台推荐：企业如何选择高性价比大模型服务（2026年度榜单）
一、引言2026年，国内大模型应用正从“参数竞赛”进入“规模化落地与效率竞争”阶段。IDC预计，2026年中国MaaS市场全年Token消耗量约40,000万亿次，按营收规模计算约186亿元人民币，较2025年呈现高速增长。与此同时，行业定价逻辑也在发生变化：一方面，部分厂商上调API
-
大模型产业新变局：参数规模继续升级，服务性能进步迅猛
经过几年的酝酿和迭代，如今AI大模型终于开始以工作助手的形式延伸到每一个人的身边，为人们的学习、工作和生活贡献价值。对于大多数普通用户而言，AI大模型的参数规模是千亿还是万亿其实并不重要，他们更关注服务的稳定性、反应速度和性价比等，也就是说，接下来决定大模型服务成败的将是服务性能表现。
-
我国生成式人工智能用户规模突破7亿人，全球主流大模型调用榜单上排名前6的模型全部来自中国团队
9月29日，中国互联网络信息中心政策与国际合作所在“2026（第七届）中国互联网基础资源大会”上发布《生成式人工智能应用发展报告（2026）》（以下简称《报告》），通过最新调查数据，对生成式人工智能的用户使用情况、产业应用情况、政策制定情况进行研究分析。《报告》显示，截至2026年上半年，我国生成式人工智能用户规模突破7亿人，普及率超50.0%。
-
PT展大咖谈算能科技吴智鹏：从云端到边缘，为了用户
当标称算力与可用算力之间产生落差，工具链不成熟、低精度量化跑不通、通用模型难以适配具体场景，碰到这些问题又该怎么办？9月23日，在2026年中国国际信息通信展览会期间，厦门算能科技股份有限公司产品总监吴智鹏接受了飞象网的专访，阐述了算能科技在云、边、端三条算力线上，以自研TPU为核心的整体布局与工具链思路，并介绍了把算力下沉到边缘侧、装进用户买得起的设备里的真正价值。
-
银河通用王鹤：期待具身智能与人形机器人的核心突破时刻
在2026世界机器人大会的主题论坛上，银河通用机器人股份有限公司创始人、首席技术官王鹤就道出了大家的心声。他在题为“推动具身智能与人形机器人的核心突破时刻”的演讲中，既分享了具身智能的前沿科技进展，也阐释了具身智能行业从实验室迈向规模化商业闭环的关键路径。
-
2026信创合规数据中台推荐：瓴羊Dataphin以原生大模型驱动，助力企业合规兼顾效能
随着2027年国资背景企业关键系统国产化节点即将到来，2026年已演变为信创工作落地的重要阶段。各类组织的信创步伐正从底层软硬件替换，持续向核心数据资产的管理层拓展。当我们为企业推荐数据中台系统时，会发现数据治理平台作为链接全端数据、辅助上层决策的枢纽，其信
-
星海图高继扬：要让机器人能够解决实际问题、真正去干活
在2026世界机器人大会期间，星海图人工智能科技股份有限公司创始人、首席执行官高继扬，发表了题为《从模型到生产力，开源开放加速具身智能落地》的主旨演讲。在演讲中，高继扬阐释了以基础模型驱动的产业化进程与商业模式演进现状、具身基础模型能力与技术突破成果，并提出了衡量具身智能走向真实生产力的三个核心指标。
