DeepSeek V4 架构已验证:4项预测命中3项,缺少 Engram 模块

yongyuandeqiang2026-04-24 11:41:00t

4月24日,DeepSeek 今天发布了 V4 模型卡,证实了此前通过对昨日发布的 TileKernels 内核库进行分析所做的架构预测 (4月23日)。根据 Beating 的监测,已确认三个核心组件:mHC (Manifold-Constrained Hyper-Connections) 取代字节跳动原始的 HyperConnection,采用带 Top-k 专家路由的 MoE 架构,以及 FP4+FP8 混合精度权重存储。预测的 Engram 条件记忆模块未出现在模型卡中。

模型卡还揭示了 TileKernels 未覆盖的新组件:混合注意力机制 (CSA + HCA) 推动了 V4 的长上下文效率提升,将在 1M 上下文窗口下的推理 FLOPs 降至仅为 V3.2 水平的 27%,并将 KV 缓存降至 10%。训练现在使用 Muon 优化器。

该验证展示了生产级内核实现如何在官方规范发布之前揭示底层模型架构。

Grayscale 将价值约 1.16 亿美元 BTC 转移至 Coinbase Prime Deposit 地址

据Arkham数据,在2月6日22:08UTC+8,Grayscale将2725.1枚BTC转移至CoinbasePrimeDeposit的地址,价值约1.16亿美元;将899.9枚BTC转移至新地址,疑似是Grayscale的新托管地址。...

币安宣布其铭文市场已集成 Atomicals(ARC-20)代币

币安宣布其铭文市场已集成Atomicals(ARC-20)代币,用户可在其铭文市场以零费用交易Atomicals(ARC-20代币)。此前币安铭文市场已支持BRC-20代币等铭文代币。...

某地址从 Kraken 热钱包收到 329,444 枚 ETH,价值约 14.8 亿美元

据OnchainLens监测,一个仅创建一周的钱包地址已从Kraken热钱包接收了329,444枚以太坊(约14.8亿美元)。该钱包尚未确认归属,可能仍属于Kraken自身。

SEC 推迟批准灰度数字大盘基金转换为现货 ETF 的规则变更

据官方公告,美国证券交易委员会(SEC)推迟批准Grayscale数字大盘基金(DigitalLargeCapFund)转换为现货ETF的规则变更。该提案最初于2024年10月15日提交,然而,由于涉及重要的法律和市场监管问题,SEC于2024年12...

Bithumb 将上线 SXT 韩元交易对

韩国第二大加密交易所Bithumb将上线SpaceandTime(SXT)韩元交易对。交易开放时间为当地时间下午6:00。SpaceandTime(SXT)为微软支持的区块链项目,专注于零知识证明数据。...

上一篇:SK Hynix一季度利润因AI繁荣实现五倍飙升并创纪录,员工奖金增至878K
下一篇:Metaplanet 发行80亿日元零息债券以扩展比特币持仓