：大模型通常需要强大的 GPU 来加速计算，如 NVIDIA GPU，具有至少 8GB VRAM 的 GPU 通常被认为是运行大模型的最低要求。
：大模型需要大量的内存来存储模型参数和中间结果。例如，Llama3.1的8B模型至少需要16GB内存，而70B模型至少需要64GB或更多内存。
不同的大模型和应用场景可能会有不同的硬件要求。在实际应用中，需要根据具体情况进行评估和选择合适的硬件配置。同时，随着技术的不断发展，硬件要求也可能会发生变化。
来源：环球时报 韩国政府将通过公私合作的方式在今年内确保供应一万个高性能GPU。图为韩国三星公司总部员工在数据中心内操作。（法新社）人工智能（AI）的技术能力以及前景正在推动不少国家加大对于相关硬件的投入，以跟上世界竞争的步伐。
界面新闻记者 伍洋宇界面新闻编辑 文姝琪在经过2023年“百模大战”的初步洗礼后，AI大模型行业已经在2024年开始摸索如何让技术商业化落地。一片AI应用层可能迎来爆发的议论声中，智能硬件也被推出来承接大模型们的技术成果。
如何计算大模型到底需要多少显存，是常常被问起的问题，现从实用角度再介绍一个简单公式和一个工具方便大家工作中使用。1）估算公式（该公式来自于Sam Stoelinga简化[1]）符号描述M用千兆字节 (GB) 表示的 GPU 内存P模型中的参数数量。
《科创板日报》1月28日讯（编辑 宋子乔）刚刚过去的CES 2025让更多人了解了AI硬件的新品类——AI玩具。其中，日本公司Groove X生产的AI陪伴机器人LOVOT在本届消费电子展上获得了“创新奖”。
“生成式AI是一个跨越式的技术，和原来的技术有了非常大的变革，可以说是划时代的技术。它最大的特点就是模型大，过去几年以每年10倍参数量的速度在增长。之前AI应用里，很多训练的任务都是单卡或单机就能完成，但在大模型时代，需要千卡、万卡来完成一个任务。