# 本地大模型開玩，手機大模型不遠矣⋯⋯

**URL:** <https://forum.rdfzer.com/t/topic/787>\
**Category:** 卮言\
**Tags:** 大模型\
**Created:** [2024 年4 月 22 日 06:41 UTC](https://forum.rdfzer.com/t/topic/787 "2024-04-22T06:41:01Z")\
**Posts on this page:** 7\
**Page:** 1

<div class="post-metadata">

作者： ![suen](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/suen/32/2665_2.png) [@suen](https://forum.rdfzer.com/u/suen)\
发布日期： [2024 年4 月 22 日 06:41 UTC](https://forum.rdfzer.com/t/topic/787/1 "2024-04-22T06:41:01Z")

</div>

> **[LM Studio - Download and run LLMs on your computer](https://lmstudio.ai/)**
>
> Run gpt-oss, Llama, Gemma, Qwen, and DeepSeek locally and privately.

這是一個買更好電腦的最佳理由了。  
但其實還是更隱私使用大模型更重要。  
Have Fun⋯⋯

> Last edited by @suen 2024-04-22T06:41:01Z

---

<div class="post-metadata">

作者： ![Zihuanana](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/zihuanana/32/633_2.png) [@Zihuanana](https://forum.rdfzer.com/u/Zihuanana)\
发布日期： [2024 年4 月 22 日 07:26 UTC](https://forum.rdfzer.com/t/topic/787/2 "2024-04-22T07:26:45Z")

</div>

语言模型是占u还是占显 🤔

---

<div class="post-metadata">

作者： ![suen](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/suen/32/2665_2.png) [@suen](https://forum.rdfzer.com/u/suen)\
发布日期： [2024 年4 月 22 日 08:49 UTC](https://forum.rdfzer.com/t/topic/787/3 "2024-04-22T08:49:57Z")

</div>

大型语言模型在本地运行通常对计算机的CPU（中央处理器）和GPU（图形处理器）都有较高的需求。具体来说：

1. **CPU占用** ：CPU主要负责模型的加载、数据的预处理、以及非并行部分的计算。对于没有优化为并行处理的任务，CPU的作用尤为重要。

2. **GPU占用** ：GPU在处理大型语言模型时尤为关键，因为它适合进行大量的并行运算。大部分现代的深度学习库和框架（如TensorFlow、PyTorch）都会利用GPU来加速计算过程，特别是在模型训练和执行大规模矩阵计算时。

简而言之，如果你在本机运行大型语言模型，主要的计算负担会落在GPU上，特别是在模型训练和大规模数据处理时。但CPU的作用也不可忽视，尤其是在处理不适合并行化的任务或数据预处理时。如果没有足够强大的GPU，大型模型可能会回落到CPU上运行，这将大大降低运算效率和速度。

---

<div class="post-metadata">

作者： ![DGHPQ](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/dghpq/32/39400_2.png) [@DGHPQ](https://forum.rdfzer.com/u/DGHPQ)\
发布日期： [2024 年4 月 23 日 11:26 UTC](https://forum.rdfzer.com/t/topic/787/4 "2024-04-23T11:26:26Z")

</div>

跑ai竟然还得有好显卡  
那些大公司做模型训练也往服务器上插显卡吗

---

<div class="post-metadata">

作者： ![suen](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/suen/32/2665_2.png) [@suen](https://forum.rdfzer.com/u/suen)\
发布日期： [2024 年4 月 23 日 15:37 UTC](https://forum.rdfzer.com/t/topic/787/5 "2024-04-23T15:37:00Z")

</div>

[https://www.zhihu.com/question/590321265](https://www.zhihu.com/question/590321265)  
用GPT-4的話說是：

是的，游戏产业确实在很大程度上推动了显卡技术的发展，这反过来也对人工智能产业产生了重要影响。这两个领域之间的相互推动可以从几个方面来看：

1. **显卡性能的提升** ：为了满足游戏对高分辨率和复杂图形处理的需求，显卡制造商（如NVIDIA和AMD）不断推出更加强大的GPU。这些技术进步也使得显卡更加适合执行机器学习和深度学习任务，因为这些任务同样需要大量的并行处理能力。

2. **技术创新和应用扩展** ：游戏产业的需求促使显卡厂商开发了许多创新技术，比如实时光线追踪（Ray Tracing）等。这些技术不仅提升了游戏的视觉效果，也为其他应用，包括人工智能，在图形处理和数据处理上提供了新的可能性。

3. **资金和研发投入** ：游戏产业对高性能显卡的大量需求带来了显著的经济效益，这使得显卡制造商能够再投资于研发。这些投入不仅用于开发更高性能的游戏显卡，也推动了专门针对AI计算的硬件产品的开发。

4. **普及化和教育** ：随着游戏显卡在家庭和个人计算机中的普及，更多的开发者和研究者可以利用现有的硬件资源来开展AI相关的实验和研究。这降低了进入门槛，加速了AI技术的普及和教育。

因此，可以说游戏产业不仅推动了显卡技术的快速发展，也间接地推动了人工智能领域的创新和扩展，两者之间存在着密切且互利的关系。

---

<div class="post-metadata">

作者： ![suen](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/suen/32/2665_2.png) [@suen](https://forum.rdfzer.com/u/suen)\
发布日期： [2024 年4 月 24 日 07:22 UTC](https://forum.rdfzer.com/t/topic/787/6 "2024-04-24T07:22:43Z")

</div>

> **[Can You Run It? LLM version - a Hugging Face Space by Vokturz](https://huggingface.co/spaces/Vokturz/can-it-run-llm)**
>
> This app helps you determine the number of GPUs needed to run large language models (LLMs) for inference, full training, and LoRa fine-tuning. You input the model name and GPU specifications, and i...

你電腦能否跑大模型，自己看

---

<div class="post-metadata">

作者： ![suen](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/suen/32/2665_2.png) [@suen](https://forum.rdfzer.com/u/suen)\
发布日期： [2024 年4 月 25 日 12:03 UTC](https://forum.rdfzer.com/t/topic/787/7 "2024-04-25T12:03:57Z")

</div>

[https://playground.ai.cloudflare.com/](https://playground.ai.cloudflare.com/)  
模型自己選，活菩薩出品。

 ![image](https://files.rdfzer.com/original/1X/27d17c39cce013e249126e270398d975ba734665.jpeg)
