三张二手英伟达 V100 显卡在一套 1,042 美元的家庭实验室配置中运行 Qwen 3.6 35B,达到每秒 100 个词元,性能超越售价 5,399 美元的 M5 Max Mac Studio

sishui2026-11-19 19:36:02tomshardware.com
据 Tom's Hardware 报道,一位家庭实验室搭建者最近用三块二手英伟达 V100 GPU 搭建了一套自定义配置,运行 Qwen 3.6 350 亿参数模型,吞吐量达到每秒 100.8 个词元,整套配置耗资 1,042 美元。在较长上下文长度下,这套由已退役 GPU 组成的配置性能超过了售价 5,399 美元、配备 40 核 GPU 和 128GB 内存的 Apple M5 Max Mac Studio:在 12.8 万上下文长度下,前者达到每秒 72.7 个词元,而 Mac 的速度为每秒 61.3 个词元。搭建者使用 llama.cpp 测试了这套配置,测试范围涵盖多种上下文长度(4 千至 12.8 万)和量化等级;该 V100 集群的能耗约为同等 P100 系统的一半。
亚马逊警告工程师不要为了 AI 使用量指标而过度消耗 Token

亚马逊于10月27日发布了更新后的工程指南,警告开发者停止“代币刷量”——人为增加AI代币用量,让自己在内部仪表盘上显得更有效率。公司表示,如果AI采用率和代币消耗量等指标与实际成果脱节,这些指标就会变得“严...

中国外交部长王毅在马尼拉举行的东盟会议上会见美国国务卿卢比奥

据CGTN报道,中国外交部长王毅于7月22日下午在马尼拉会见了美国国务卿马可·鲁比奥,双方会面地点为第59届东盟地区论坛部长级会议期间。东盟各国外长会议系列活动于7月19日至24日在菲律宾举行。...

花旗:“急性去杠杆阶段”现在已经结束,稳定币外流已被遏制

花旗的一份研究报告显示,质押的以太坊和以太坊的折价已经缩小,这表明一些流动性压力可能已经过去;此外鉴于该行业的许多大型经纪商和做市商已经披露了他们的风险敞口,“急性去杠杆阶段”现在已经结束。花旗还表示...

以色列定居者渗透入黎巴嫩,8月5日有10人被拘留

据以色列国防军称,8月5日下午,约有10名以色列定居者从以色列境内越境进入黎巴嫩。以色列国防军找到了该团体的大多数成员,并护送他们返回以色列境内,同时继续搜寻其余人员。所有涉事人员将被移交给以色列警方作进...

Solana 与 The Luxury Closet 合作,将 Birkin 包代币化

Solana于2026年9月3日宣布与TheLuxuryCloset达成合作,将经过认证的Birkin包代币化,标志着该区块链平台进军奢侈品市场。此次合作旨在通过认证和链上验证,将高价值实体商品与基于区块链的数字资产连接起来。该计划...

上一篇:特朗普在以色列施压下,权衡对伊朗发动新一轮大规模军事打击
下一篇:Hyperliquid 地址持有 1,324.302 BTC 的空头仓位,价值 8438 万美元