OpenAI首席科学家提出困惑度指标以限制AI发展

qunmoluanwu2026-11-23 05:53:12techcrunch.com

OpenAI 首席科学家 Jakub Pachocki 发布了一篇博客文章,提出将困惑度作为衡量指标,以此为 AI 发展设定限制。该提议旨在提供一项衡量 AI 进步速度的共识标准,供各家公司用来设定共同的发展门槛。这场讨论正值业界对 AI 安全的担忧加剧之际:一位曾在 OpenAI 和 Anthropic 任职的研究员警告称,各家公司正在“拿我们的生命作赌注”;Anthropic 的首次公开募股文件则指出,这项技术可能给社会带来“灾难性或关乎生存的风险”。OpenAI 首席执行官萨姆·阿尔特曼称 Pachocki 的文章是“OpenAI 近期发表的最重要内容”。

前研究人员警告 AI 发展风险

一位曾在 OpenAI 和 Anthropic 任职的研究员表示,各家公司在 AI 发展速度问题上正在“拿我们的生命作赌注”。Anthropic 的首次公开募股文件承认,这项技术可能给社会带来“灾难性或关乎生存的风险”。这些警告促使业界更加关注制定安全措施和发展限制。

Anthropic 首席执行官 Dario Amodei 发布前沿发展节奏计划

Anthropic 首席执行官 Dario Amodei 发布了一项“控制前沿发展节奏”的计划,并得到 OpenAI 首席执行官萨姆·阿尔特曼和 SpaceX 首席执行官马斯克的支持。Amodei 的计划呼吁各家公司就“共同的安全标准以及对失控 AI 进步速度的限制”达成一致。该提议强调,需要一项各方认可的衡量指标,为 AI 发展设定速度上限。

Pachocki 提议以困惑度衡量 AI 进步

Pachocki 在文章中提出,困惑度可以作为衡量 AI 发展速度的标准指标。文章称,困惑度“衡量模型平均预测下一个词元的能力;困惑度越低,预测效果越好”。Pachocki 认为,关注 AI“下游能力”的基准测试随着技术进步很快就会过时,但困惑度一直“具有参考价值”。

该提议设想以困惑度为基础,建立“通用智能的共享基准”。AI 公司可以利用这一基准设定“共同限制”,承诺在“我们理解和监控 AI 行为的能力达到某个具体里程碑之前”,不超过特定阈值。

OpenAI 模型的困惑度数值不断降低

Pachocki 的文章附有一张图表,展示了自 GPT 3.5 以来 OpenAI 模型的困惑度如何持续下降。Pachocki 写道:“GPT‑4 的困惑度约为 0.91,已能熟练地有效运用思维链推理,这促使人们随后有针对性地激发这一能力,并创造出现代推理模型。”目前的模型损失值已低于 0.8。Pachocki 表示,这促成了“网络安全和数学等领域变革性能力的出现”。

常见问题

AI 发展中的困惑度是什么?

困惑度衡量模型平均预测下一个词元的能力,困惑度越低,预测效果越好。OpenAI 首席科学家 Jakub Pachocki 提议将这一指标用作衡量 AI 进步的标准,供各家公司据此设定共同的发展限制。

OpenAI 模型达到了哪些困惑度数值?

GPT-4 的困惑度约为 0.91,表明其已能熟练进行思维链推理。目前 OpenAI 模型的困惑度已低于 0.8。Pachocki 表示,这带来了网络安全和数学领域的变革性能力。

Anthropic 首席执行官为何提议控制 AI 发展节奏?

Dario Amodei 发布了一项“控制前沿发展节奏”的计划,呼吁各家公司就共同的安全标准和对失控 AI 进步的限制达成一致。该提议是在前研究人员发出警告,以及 Anthropic 自身的首次公开募股文件承认这项技术可能带来灾难性风险之后提出的。


POSCO Future M 公布报告称:第二季度经营利润暴涨 3,351%

POSCOFutureM于30日披露称,其2季度营业利润为250亿韩元,同比去年同季度增长3,351%。其中,能源材料事业部实现营业利润267亿韩元,扭转了去年2季度录得的255亿韩元亏损;随着销量和产能利用率回升,负极材料的缺口...

Gemini 宣布延迟 Earn 产品的提款后 GUSD 在 Aave 的贷款利率飙升至 73%

由于Gemini宣布受Genesis无法提款影响而延迟对其Earn产品的提款,Aave上GeminiDollar(GUSD)的贷款利率飙升至73%。这表示投资者正试图做空该资产,或流动性正在逃离该资金池并被转换为其他资产。目前GUSD的贷款利率...

比特币链上经济活动低迷,runes 资产市值跌破 10 亿美元

过去一个月,比特币价格从历史高点回落15%,市场情绪悲观,而基于比特币的资产类别如runes受到更大冲击。runes总市值已再次跌破10亿美元,较2024年11月的21亿美元高点下跌超过50%,并接近去年8月创下的6亿美元低点。...

Swan Bitcoin CEO:取消 IPO 是因为与某家主要资本合作伙伴产生分歧

据Protos,比特币金融服务公司SwanBitcoin首席执行官CoryKlippsten近日解释了公司取消IPO计划的原因。Klippsten表示,IPO计划依赖于公司管理的挖矿合资企业收入,但与一家主要资本合作伙伴的分歧导致近期IPO路径消失...

《经济时报》:知情人士称,印度执法局正在调查至少 10 家印度交易所,涉嫌洗钱超过 100 亿卢比

据《经济时报》援引知情人士报道,印度执法局正在调查至少10家印度交易所,涉嫌洗钱超过100亿卢比,这些被指控的公司在即时贷款应用案中被认定为犯罪所得,其中大多数公司与中国有关。调查发现,被告公司与交易所接...

上一篇:英伟达暴跌 14%,纳斯达克 11 月 20 日下跌 5.28%;比特币周末反弹至$60K
下一篇:新西兰第三季度零售销售增长2.2%,超过0.5%的预期