你论坛有无AI大手子

问问,RX580 8G单卡能跑14B模型Q4量化吗?两张的话能不能跑32B模型Q4量化
顺便再问问Tesla K80 24G(二手卖600左右)的性价比如何,双核真是史吗
在考虑组一台AI机,求大佬指点

Last edited by @Ankahia 2025-04-15T02:24:58Z

不太懂,给你个参考,3080ti 12g显存跑32b的模型问题不大,但速度比较慢

580二手是不好多矿渣

那很对了

有玩过cpu推理的大佬吗?我在考虑改用至强E5+四通道DDR4跑AI,不知道效果怎么样