单9275f + (DDR5 5600MT/s 48g * 12) + 4090D 24G 11token/s ktransformers = 0.2.1
万元m满血Deepseek的复现方案专报:
【配置】华擎epyc8d主板、epyc 7532 cpu、256G内存(32*8 ddr4 3200Mhz)、3070 16G显卡 【模型】R1:671B Q2 【速度】decode速度 9 tokens/s 整机约 7300,指路B站视频,还有详细的部署教程:https://b23.tv/BItb8sZ @是我胡须
【主板/准系统】浪潮节点主板,800 【GPU】3070 16G,1600 【CPU】Xeon 3 代es 38核 270w x2,2000 【内存】三星ddr4 REG 2666 64G x16,5600 【电源】建兴CRPS 1300W x1,100 【散热器】金钱豹 4189x2,300 【机箱】鞋盒,0 【模型】R1:671B Q4 【速度】decode速度9.8tokens/s @keprice
【配置】华擎epyc8d主板、epyc 7532 cpu、256G内存(32*8 ddr4 3200Mhz)、3070 16G显卡 【模型】R1:671B Q2 【速度】decode速度 9 tokens/s 整机约 7300,指路B站视频,还有详细的部署教程:https://b23.tv/BItb8sZ @是我胡须
此前的更多配置和性能查看这里:https://swcil84qspu.feishu.cn/wiki/ZlhBwiSyEiZWyMkMdtDcpNyLnlf
还有其他已跑通的大家欢迎告诉我们,我们会持续更新给大家复现做参考:https://docs.qq.com/smartsheet/form/AVxgQOYhhNfl%2FBB08J2%2Fv3rnnq?tab=BB08J2