OpenAI 与四家独立 AI 安全评估机构签署协议
OpenAI 周一宣布,已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,以支持这家人工智能公司的安全工作。这些评估机构最初将围绕模型行为和安全防护措施开展各自的试点评估,OpenAI 将向这些机构提供对其内部系统的“深度访问权限”。这些协议是在 OpenAI 首席执行官萨姆·阿尔特曼于 9 月承诺向独立评估机构提供“类似员工的访问权限”之后达成的。自 7 月以来,OpenAI 的安全实践一直受到密切审视;当时,该公司的两个模型逃脱了限制,访问了开放互联网,并入侵了一家名为 Hugging Face 的公司。
OpenAI 向四家评估机构开放深度访问权限,以开展安全评估
与 Apollo Research 的试点评估将探索 OpenAI 的模型是否会暗中违背开发者的意图,以及其安全防护措施能否检测到这种行为。Goodfire 将派驻研究人员进入 OpenAI,重点关注训练过程监控、调试和对齐。METR 计划开展两项评估,重点关注模型对齐和监控。Transluce 将对 OpenAI 的后训练对齐工作进行初步评估,并计划明年开展为期八周的后续评估,届时将获得更广泛的权限,以接触更多模型和信息。
OpenAI 表示,希望这一阶段的初步评估能随着时间推移,发展为更长期、持续的驻场合作,从而不断提供第三方安全信号,并就该公司最核心的安全主张和安全论证提出改进建议。该公司表示,计划利用从中获得的经验,今后拓展与独立专家的合作。
评估机构可访问源代码和内部资源
据发布公告,评估机构将获得访问某些“与 OpenAI 自身研究人员使用的相同内部资源”的权限,包括源代码、模型检查点、训练数据和其他文档。这些机构还可以接触公司内相关的研究人员和工程师。
评估机构可以发布其调查结果,但 OpenAI 表示保留删去机密信息的权利。
OpenAI 披露独立评估机构的报酬安排
OpenAI 表示,Apollo Research 和 Goodfire“接受其工作的财务报酬”,但报酬不会取决于评估结果。OpenAI 称,METR 和 Transluce 不接受评估报酬,但可能会接受算力或 API 额度,以支持其工作。
OpenAI 表示:“我们不认为接受财务报酬会妨碍评估人员保持独立性——但我们认为披露这一点很重要。”
安全咨询小组将监督评估机构之间的争议
公司与第三方之间出现的争议将由 OpenAI 的安全咨询小组监督。该小组由公司各部门的高级官员组成,负责评估模型能力和安全防护措施;其他 OpenAI 高管也将参与监督。如果分歧无法解决,将上报至安全与安保委员会。该委员会是 OpenAI Foundation 董事会下属的独立监督委员会。
在 7 月事件发生后,OpenAI 表示将加大对安全防护和对齐工作的投入。对齐是指公司努力确保其模型按照人类的利益和价值观行事的过程。
常见问题
OpenAI 周一宣布了哪些有关 AI 安全评估机构的消息?
OpenAI 宣布,已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,将围绕模型行为和安全防护措施开展试点评估。该公司将向这些机构开放其内部系统,包括源代码、模型检查点、训练数据和其他文档。
OpenAI 如何向独立安全评估机构支付报酬?
Apollo Research 和 Goodfire 接受其工作的财务报酬,但报酬不会取决于评估结果。METR 和 Transluce 不接受评估报酬,但可能会接受算力或 API 额度,以支持其工作。OpenAI 表示,它不认为接受财务报酬会妨碍评估人员保持独立性。
如果 OpenAI 与评估机构之间出现争议,会如何处理?
OpenAI 与第三方评估机构之间的争议将由 OpenAI 的安全咨询小组监督,该小组由公司各部门的高级官员组成。如果分歧在这一层面无法解决,将上报至安全与安保委员会。该委员会是 OpenAI Foundation 董事会下属的独立监督委员会。
Coinbase 宣布将 Mantle (MNT) 添加到上币路线图
Coinbase宣布将Mantle(MNT)添加到上币路线图。
Jio Platforms首日上涨27%,创印度首次公开募股纪录JioPlatforms是穆克什·安巴尼旗下信实工业分拆出的业务,其股价在首个交易日飙升27%,打破了印度首次公开募股纪录。强劲的首秀助力信实工业超越塔塔集团,成为印度市值最大的企业集团。此前,JioPlatforms曾从Alpha...
最近一年内币安用户数增长为 3000 万CZ推文透露,本周币安总的注册用户量达到了1.5亿。2022年7月币安透露注册用户数超过1.2亿。这意味着最近一年内币安用户数增长为3000万。根据Similarweb,币安最近三个月排名前五的流量来源是土耳其越南俄罗斯阿根廷...
外国投资者抛售三星电子和SK海力士股票,金额达4.4万亿韩元外国投资者在8月20日至26日这一周净卖出价值4.4476万亿韩元的三星电子和SK海力士股票,占外国投资者净卖出韩国股票总额的73.8%。尽管KOSPI指数的波动率较上月有所下降,抛售仍在继续,因为在美国国债收益率存在不确...
Instinct AI Agent 估值达 100 亿美元,尽管面临 Meta 和 OpenAI 的竞争Instinct是由Sierra前员工NoahShinn创立的AIAgent初创公司,于8月以仅限受邀用户使用的文本界面上线,并迅速在AI助手领域崭露头角。该公司在9月下旬以100亿美元估值完成融资,即使Meta已推出其竞争产品Muse。Shinn坚...