DeepSeek V4 架构已验证:4项预测命中3项,缺少 Engram 模块
4月24日,DeepSeek 今天发布了 V4 模型卡,证实了此前通过对昨日发布的 TileKernels 内核库进行分析所做的架构预测 (4月23日)。根据 Beating 的监测,已确认三个核心组件:mHC (Manifold-Constrained Hyper-Connections) 取代字节跳动原始的 HyperConnection,采用带 Top-k 专家路由的 MoE 架构,以及 FP4+FP8 混合精度权重存储。预测的 Engram 条件记忆模块未出现在模型卡中。
模型卡还揭示了 TileKernels 未覆盖的新组件:混合注意力机制 (CSA + HCA) 推动了 V4 的长上下文效率提升,将在 1M 上下文窗口下的推理 FLOPs 降至仅为 V3.2 水平的 27%,并将 KV 缓存降至 10%。训练现在使用 Muon 优化器。
该验证展示了生产级内核实现如何在官方规范发布之前揭示底层模型架构。
Grayscale 将价值约 1.16 亿美元 BTC 转移至 Coinbase Prime Deposit 地址据Arkham数据,在2月6日22:08UTC+8,Grayscale将2725.1枚BTC转移至CoinbasePrimeDeposit的地址,价值约1.16亿美元;将899.9枚BTC转移至新地址,疑似是Grayscale的新托管地址。...
币安宣布其铭文市场已集成 Atomicals(ARC-20)代币币安宣布其铭文市场已集成Atomicals(ARC-20)代币,用户可在其铭文市场以零费用交易Atomicals(ARC-20代币)。此前币安铭文市场已支持BRC-20代币等铭文代币。...
某地址从 Kraken 热钱包收到 329,444 枚 ETH,价值约 14.8 亿美元据OnchainLens监测,一个仅创建一周的钱包地址已从Kraken热钱包接收了329,444枚以太坊(约14.8亿美元)。该钱包尚未确认归属,可能仍属于Kraken自身。
SEC 推迟批准灰度数字大盘基金转换为现货 ETF 的规则变更据官方公告,美国证券交易委员会(SEC)推迟批准Grayscale数字大盘基金(DigitalLargeCapFund)转换为现货ETF的规则变更。该提案最初于2024年10月15日提交,然而,由于涉及重要的法律和市场监管问题,SEC于2024年12...
Bithumb 将上线 SXT 韩元交易对韩国第二大加密交易所Bithumb将上线SpaceandTime(SXT)韩元交易对。交易开放时间为当地时间下午6:00。SpaceandTime(SXT)为微软支持的区块链项目,专注于零知识证明数据。...
Immutable X 在 ApeCoin 论坛上发布 AIP Idea:成为ApeCoin DAO 的 Layer 2 扩展合作伙伴
以太坊L2ImmutableX于5月27日在ApeCoin论坛上发布AIPIdea:希望ImmutableX成为ApeCoinDAO的Layer2扩展合作...
韩金融监督院对 PG 企业虚拟资产持有情况的调查:拥有虚拟资产的有 6 家,Do Kwon 旗下 Chai Corporation 零持有
据韩媒MoneyToday报道,韩国金融监督院最近对电子支付结算代理(PG)企业的虚拟资产(加密货币)持有情况进...
Kaiko 研究:Coinbase 在 LUNA 崩溃期间交易量创下其历史次高;FTX 5 月市场份额首次超过 Coinbase
据Kaiko研究,Coinbase在Terra的UST崩盘后的抛售中的交易量为其历史次高,仅次于519期间;FTX的市场份额在5...
获 Paradigm 和 Coinbase Ventures 投资的中东最大加密交易所之一的 Rain Financial 已在近期行情低迷时裁减了数十名员工
据知情人士透露,中东最大的加密货币交易所之一RainFinancialInc.已经在近期加密货币的低迷中解雇了数十名...