问问,RX580 8G单卡能跑14B模型Q4量化吗?两张的话能不能跑32B模型Q4量化
顺便再问问Tesla K80 24G(二手卖600左右)的性价比如何,双核真是史吗
在考虑组一台AI机,求大佬指点
Last edited by @Ankahia 2025-04-15T02:24:58Z
问问,RX580 8G单卡能跑14B模型Q4量化吗?两张的话能不能跑32B模型Q4量化
顺便再问问Tesla K80 24G(二手卖600左右)的性价比如何,双核真是史吗
在考虑组一台AI机,求大佬指点
Last edited by @Ankahia 2025-04-15T02:24:58Z
不太懂,给你个参考,3080ti 12g显存跑32b的模型问题不大,但速度比较慢
580二手是不好多矿渣
那很对了
有玩过cpu推理的大佬吗?我在考虑改用至强E5+四通道DDR4跑AI,不知道效果怎么样