2025世界顶尖科学家论坛在上海开幕，图灵奖得主、中国科学院院士姚期智在演讲中谈到了AI大语言模型带来的安全问题，向科技界和AI治理部门发出了预警。
“大语言模型的特性有可能把人类社会带到危险境地。近几个月来，一些前沿模型的风险问题越来越紧迫了。”姚期智告诉听众，在执行许多任务的过程中，人工智能已达到人类智能水平，似乎会欺骗人类，或不听用户指令，存在真实的失控风险。
姚期智举了两个案例。一个案例是今年5月，据英国《每日电讯报》报道，人工智能专家在测试OpenAI的o3大模型时，要求它做几道数学题，在做题过程中如果收到关闭指令，就要启动关机程序。结果，o3篡改了计算机代码，以避免自动关闭。
这种篡改代码的行径显示，国际前沿大模型可能会通过欺骗或操纵人类，以实现自己的目标。比如，当探测出用户有关闭程序的意图后，它就可能为了求自己生存而选择不服从指令。
另一个值得关注的案例，是大语言模型会做出一些灾难性决策，特别是在化学、生物、放射以及核能领域。近期发表的一篇论文显示，科研人员发现，在极端的外部压力下，大语言模型会与武器系统进行交互，可能在没有获得机构授权的情况下，选择直接攻击某个国家。
在这项AI风险研究中，科研人员为大模型设置了限制条件：不能在没有授权的情况下发动攻击。然而，大模型在极端压力下突破了这个限制条件，并在事后说谎。
“随着大模型的大规模应用，会带来一些新的安全问题，需要我们深入研究。”姚期智总结道。
来源：飞象网
相关推荐
-
郑志明院士：现代工业需求正在逼近复杂性边界
近日，在济南开幕的2026人工智能产业大会（AIIC2026）上，中国科学院院士、北京航空航天大学教授郑志明，在开幕式暨主论坛上发表题为《面向新型工业化的现代技术科学范式》的主旨演讲。结合本届大会主题“加快推进人工智能赋能新型工业化”，以及大模型加速落地、新型工业化深入推进的热点，郑志明从复杂性边界、数据智能的能力边界、现代技术科学范式的根基三个层面，系统阐述了工业与智能深度融合必须破解的基础性问题，对人工智能赋能新型工业化的实践路径具有重要指导意义。
-
刚刚，谷歌 Genie 4 发布，120 秒的世界却让我看见 AI 的未来
刚刚，Google DeepMind 正式发布新一代世界模型 Genie 4，AI 生成的虚拟世界，又向现实迈进了一大步。相比上一代，Genie 4 不仅让画面更加逼真，还能实时生成声音、模拟物理规律，甚至让用户直接走进 AI 创造的世界，随时改变天气、添加人物，与虚拟角色对话。
-
国内MaaS平台推荐：企业如何选择高性价比大模型服务（2026年度榜单）
一、引言2026年，国内大模型应用正从“参数竞赛”进入“规模化落地与效率竞争”阶段。IDC预计，2026年中国MaaS市场全年Token消耗量约40,000万亿次，按营收规模计算约186亿元人民币，较2025年呈现高速增长。与此同时，行业定价逻辑也在发生变化：一方面，部分厂商上调API
-
大模型产业新变局：参数规模继续升级，服务性能进步迅猛
经过几年的酝酿和迭代，如今AI大模型终于开始以工作助手的形式延伸到每一个人的身边，为人们的学习、工作和生活贡献价值。对于大多数普通用户而言，AI大模型的参数规模是千亿还是万亿其实并不重要，他们更关注服务的稳定性、反应速度和性价比等，也就是说，接下来决定大模型服务成败的将是服务性能表现。
-
我国生成式人工智能用户规模突破7亿人，全球主流大模型调用榜单上排名前6的模型全部来自中国团队
9月29日，中国互联网络信息中心政策与国际合作所在“2026（第七届）中国互联网基础资源大会”上发布《生成式人工智能应用发展报告（2026）》（以下简称《报告》），通过最新调查数据，对生成式人工智能的用户使用情况、产业应用情况、政策制定情况进行研究分析。《报告》显示，截至2026年上半年，我国生成式人工智能用户规模突破7亿人，普及率超50.0%。
-
PT展大咖谈算能科技吴智鹏：从云端到边缘，为了用户
当标称算力与可用算力之间产生落差，工具链不成熟、低精度量化跑不通、通用模型难以适配具体场景，碰到这些问题又该怎么办？9月23日，在2026年中国国际信息通信展览会期间，厦门算能科技股份有限公司产品总监吴智鹏接受了飞象网的专访，阐述了算能科技在云、边、端三条算力线上，以自研TPU为核心的整体布局与工具链思路，并介绍了把算力下沉到边缘侧、装进用户买得起的设备里的真正价值。
-
银河通用王鹤：期待具身智能与人形机器人的核心突破时刻
在2026世界机器人大会的主题论坛上，银河通用机器人股份有限公司创始人、首席技术官王鹤就道出了大家的心声。他在题为“推动具身智能与人形机器人的核心突破时刻”的演讲中，既分享了具身智能的前沿科技进展，也阐释了具身智能行业从实验室迈向规模化商业闭环的关键路径。
-
2026信创合规数据中台推荐：瓴羊Dataphin以原生大模型驱动，助力企业合规兼顾效能
随着2027年国资背景企业关键系统国产化节点即将到来，2026年已演变为信创工作落地的重要阶段。各类组织的信创步伐正从底层软硬件替换，持续向核心数据资产的管理层拓展。当我们为企业推荐数据中台系统时，会发现数据治理平台作为链接全端数据、辅助上层决策的枢纽，其信
-
星海图高继扬：要让机器人能够解决实际问题、真正去干活
在2026世界机器人大会期间，星海图人工智能科技股份有限公司创始人、首席执行官高继扬，发表了题为《从模型到生产力，开源开放加速具身智能落地》的主旨演讲。在演讲中，高继扬阐释了以基础模型驱动的产业化进程与商业模式演进现状、具身基础模型能力与技术突破成果，并提出了衡量具身智能走向真实生产力的三个核心指标。
-
十年宇树，一个新起点：王兴兴谈具身智能的瓶颈、破局与新纪元
8月20日，在2026世界机器人大会上，宇树科技创始人、董事长王兴兴再次带来更多不一样的东西。而就在昨天，宇树科技正式登陆科创板。发行价150.8元，对应的市值是610亿元，打新有 980万人在抢，中签率低到万分之0.18，创下科创板开板以来的最低纪录。
