高性能硬件如14B模型适合硬件水平较高的用户,32B模型则适合旗舰级硬件。
然而,70B及以上模型不建议个人用户使用,在线版DeepSeek更为稳定。以上内容由腾讯混元大模型生成,仅供参考
如今AI实在是太火了,特别是DeepSeek破圈之后,我身边不关心科技数码的朋友都和我聊起DeepSeek,并在手机上下载了APP。不过相信用过DeepSeek的朋友也发现了,目前DeepSeek对于用户的响应并不是特别完美,经常遇到“服务器暂时不可用”的情况。已经有不少网友将DeepSeek部署到本地,避免经常遇到这类情况。那么,个人想要在本地运行DeepSeek,或者类似的大语言模型,到底需要什么样的配置。
7B和8B中小模型对于硬件的要求,相比1.5B还是高很多。显卡方面,最好是6GB显存以上的显卡,比如RTX 2060、RTX3060,最好是8GB显存,比如RTX 4060或RTX 3070;内存的线GB容量就可以;处理器的线年的主流处理器都没问题;硬盘的线B中小模型能够满足诸如会议摘要、逻辑推理等场景。
14B也是中小模型,不过它对于硬件的要求要大一些。显卡方面,最好有10GB以上显存,当然,6GB和8GB显存也可以,不过速度会慢。产品推荐RTX4070这样的显卡,另外RTX 3060 12GB也是可以的;内存的线GB容量也可以,最好是32GB;处理器的线核心以上,也就是近三四年的中高端处理器,比如i7-12700、i5-13490F等;硬盘的线B模型的能力已经很不错的,可以处理长文本。
70B大模型就比较夸张了,毕竟70B模型的智能水平,可以满足商用领域。显卡方面,最好直接上专业卡,当然魔改后的RTX 4090也是可以的,最好2张;内存的线GB以上,处理器的话,最新一代旗舰处理器,比如Ultra 7或Ultra 9;硬盘的线B大模型已经很好用了,一些企业也是用的70B大模型。
671B模型就不用多说了,基本需要企业级硬件,比如多张A100或H100,或者多张RTX 4090魔改或RTX 5090也行,内存也奔着128GB以上去了,最好在400GB以上,处理器最好是服务器型号,比如至强。硬盘的线B模型模型的用途就不用多说了,可以满足超大规模的生成任务。
事实上对于普通用户来说,我其实最建议的,还是使用在线B的模型,同时联网搜索也方便。官方服务不稳定的话,可以看看其他已经接入DeepSeek的在线模型,实际用起来很少遇到服务器问题。避免广告嫌疑,这里就不推荐了,搜一下就能找到。