MIT Kaiming He 的团队发布 ELF 语言扩散模型,使用 450 亿训练代币

sihuifuran2026-05-13 13:36:26theblockbeats

根据 Beating,MIT Kaiming He 的团队最近发布了 ELF(Embedded Language Flows),一种语言扩散模型,它不同于 GPT 类模型所使用的自回归“预测下一个 token”方法。相反,ELF 在连续嵌入空间中进行文本生成,并仅在最后一步转换为离散 token。

在 OpenWebText 的无条件生成基准中,参数量为 105M 的 ELF-B 在 32 步采样下实现了约 24.1 的生成困惑度(Gen. PPL),优于多种离散与连续扩散语言模型基线。值得注意的是,ELF-B 仅需要约 450 亿训练 token,大约比可比方法少一个数量级,而这些方法通常超过 5000 亿 token。

美国股指期货走高:标普500 E-MINI上涨0.61%,道琼斯上涨0.57%,纳斯达克100上涨0.8%

4月22日,美国股指期货今日走高。标普500E-MINI期货(该基准的美国股票指数期货合约)上涨0.61%;道琼斯期货(该大型股美国股票指数期货)累计上涨0.57%;纳斯达克100期货(以科技股为主的美国股票指数期货)上涨0.8%。...

受其全球贸易业务推动,FTX 去年创造了超过 10 亿美元的收入

根据CNBC的一份新报告,FTX的收入从2020年的不到9000万美元增加到去年的超过10亿美元,期间实现了1,000%的增长。报告援引内部文件称,这一增长是由其全球贸易业务推动的,而美国国内的业务仅占其收入的不到5%。首席...

Ripple 获迪拜金融服务管理局支付牌照

Ripple宣布已获得迪拜金融服务管理局(DFSA)批准,可在阿联酋提供受监管的加密货币支付和服务,成为首家获得该机构许可的区块链支付提供商。RippleCEOBradGarlinghouse表示:“在全球监管环境日益明朗和机构采用率提...

Strategy CEO:不存在“无法支付股息”问题

比特币财库公司StrategyCEOPhongLe接受CNBC采访时表示,公司不存在无法支付股息的问题,近期有人散播“无法履行股息义务”的谣言,导致市场出现做空比特币的行为。PhongLe表示,公司用8天募集14.4亿美元设立股息储备...

Exactly Protocol:已取消暂停,用户可以执行所有操作

DeFi借贷协议ExactlyProtocol发推称,DebtManager合约被操纵,攻击者绕过许可检查,盗取用户存款,损失约730万美元。团队正在努力追回被盗资产,并与安全专家合作确定攻击者身份。目前,协议已取消暂停,用户可以执...

上一篇:黄金和布伦特原油在 5 月 12 日的成交量和持仓量上升,CME 数据显示
下一篇:MegaETH 终端点应用程序 Wave 4 启动,新增 7 个应用