OpenAI 提议制定聚焦于对齐和相对强弱指数的全球 AI 安全标准
OpenAI 周一发布了一系列关于前沿人工智能开发过程中安全与保障的提案,重点关注对齐研究和递归自我改进(RSI)。该公司表示,要安全地应对人工智能转型,就需要让对齐研究跟上能力发展的步伐,从而确保系统始终与人类价值观保持一致,并处于人类控制之下。OpenAI 呼吁开展国际合作,以制定前沿标准,并建议在全球现有人工智能安全研究机构工作的基础上推进相关工作,同时制定重点关注前沿人工智能模型、开发者以及开展自动化人工智能研究的研究人员的风险—收益管理技术标准。
OpenAI 提议制定前沿人工智能模型的技术标准
这家 ChatGPT 开发商在一篇博客文章中表示,技术标准应重点关注前沿人工智能模型和开发者,以及开展自动化人工智能研究的研究人员的风险—收益管理,其中包括递归自我改进(RSI)。“要安全地应对这一转型,就需要让对齐研究跟上这些能力的发展步伐,从而确保我们及其他人构建的系统始终与人类价值观保持一致,并处于人类控制之下,”该公司表示。OpenAI 建议通过国际合作,在全球现有人工智能安全研究机构工作的基础上制定这些前沿标准。
OpenAI 警告不要在缺乏安全措施的情况下进行完全自主的递归自我改进
递归自我改进凭借其能够创建无需人类参与即可自我升级的基础模型的潜力,令人工智能开发者兴奋不已。递归自我改进领域的进展引发了一些技术专家的担忧:随着人工智能系统变得更加复杂,并在整个互联网中得到更广泛的应用,基础模型开发商可能会失去对底层技术的控制,或无法考虑潜在的非预期后果。“完全自主的递归自我改进目前尚未实现。在能够确保其安全之前,我们不应推动这项技术,”OpenAI 在博客文章中表示。“如果在缺乏足够重视和谨慎的情况下进行,递归自我改进可能导致人类失去对人工智能开发的实际控制,无法监督自己已不再理解的研究流程。”
Anthropic 及前研究人员提出人工智能安全担忧
上周,竞争对手 Anthropic 发布了其关于安全开发前沿人工智能模型的构想,以回应业内研究人员近期接连发出的关于人工智能对人类构成威胁的警告。曾在 Anthropic 和 OpenAI 工作过的 Jacob Coxon 近两周前宣布辞职,并表示这些公司正在“拿我们的生命赌博”,由此引发了全球范围内的争论。
常见问题
OpenAI 周一就人工智能安全提出了什么建议?
OpenAI 周一发布了关于前沿人工智能开发过程中安全与保障的提案,重点关注对齐研究和递归自我改进(RSI)。该公司呼吁开展国际合作,以制定前沿标准,并建议在全球现有人工智能安全研究机构工作的基础上推进相关工作,同时制定重点关注前沿人工智能模型、开发者以及开展自动化人工智能研究的研究人员的风险—收益管理技术标准。
OpenAI 为什么警告不要进行完全自主的递归自我改进?
OpenAI 警告称,完全自主的递归自我改进目前尚未实现。在能够确保其安全之前,不应推动这项技术。该公司表示,如果在缺乏足够重视和谨慎的情况下进行,递归自我改进可能导致人类失去对人工智能开发的实际控制,无法监督自己已不再理解的研究流程。一些技术专家担心,基础模型开发商可能会失去对底层技术的控制,或无法考虑潜在的非预期后果。
业内研究人员提出了哪些近期人工智能安全担忧?
上周,Anthropic 发布了其关于安全开发前沿人工智能模型的构想,以回应业内研究人员近期发出的关于人工智能对人类构成威胁的警告。曾在 Anthropic 和 OpenAI 工作过的 Jacob Coxon 近两周前宣布辞职,并表示这些公司正在“拿我们的生命赌博”,从而引发了全球范围内关于人工智能安全的争论。
索罗斯基金 CEO:气候问题下,以太坊可能会比比特币更具吸引力;区块链会有伟大的应用,加密货币仍会存在
索罗斯基金CEO在接受采访时表示,在气候影响将越来越成为一个焦点的情况下,以太坊可能会获得比比特币更多的吸引力;区块链技术会有一些伟大的应用,加密货币仍将会存在。(Blockworks)...
慢雾余弦:若仍然使用 Safe 或其他多签钱包,最好搭配硬件钱包多重验证慢雾创始人余弦在X上发文,提醒Safe多签及其他多签用户注意安全:一是签名步骤需可验证,若无法确认应保持怀疑;二是建议搭配硬件钱包,优先选择能解析复杂签名并提示异常风险的设备。他强调,钱包安全不易实现,多...
香港特区政府宣布已在政府绿色债券计划下成功发售 8 亿港元的代币化绿色债券据香港01,香港特区政府宣布已在政府绿色债券计划下成功发售8亿港元的代币化绿色债券,这是全球首批由政府发行的代币化绿色债券,收益率为4.05%,使用高盛的代币化平台GSDAPTM。香港财经事务及库务局局长许正宇表示...
Arkham:Tesla 目前仍持有约 1.15 万枚 BTCArkham表示,Tesla目前仍持有约1.15万枚BTC,其在2022年LUNA崩盘期间已出售大部分比特币,仅保留最初购入量约20%。Arkham还称已识别出SpaceX的相关BTC钱包,过去4个月内Tesla与SpaceX合计账面亏损约11.5亿美元,约占...
Framework Ventures 筹集 $400M 第四支基金,扩展至人工智能和机器人领域FrameworkVentures是一家成立于2019年、专注于加密货币的风险投资公司,为其第四支基金FVIV筹集了4亿美元。联合创始人MichaelAnderson和VanceSpencer表示,该基金已获得超额认购,并已部署约一半的资金。新资金将用...
金色趋势丨BTC距离下一轮主升行情还有多久?
图中可以看到,红色线距离通道下轨仍有一段距离,通过历史走势能看到,2014年和2018年熊市均是收线收至下轨...
获 Paradigm 和 Coinbase Ventures 投资的中东最大加密交易所之一的 Rain Financial 已在近期行情低迷时裁减了数十名员工
据知情人士透露,中东最大的加密货币交易所之一RainFinancialInc.已经在近期加密货币的低迷中解雇了数十名...
金色趋势丨来回画门 市场酝酿大级别单边行情
上图看BTC日线近期在做一个三角收敛,这两天反弹多次打到前顶48200反压趋势线遇阻回落,今日最高也是刚好位...
为什么CPI历史新高而行情反弹?
CPI数据破历史新高。有消息说美联储加息100基点的概率上调至81%,75基点的概率变成了19%。传到市场当然是一...