一文读懂:接触DeepSeek等AI大模型时常接触到的7B/32B/671B、Q2/Q4/Q8、AWQ、Zero、Distill等名词或代码的含义
文章目录
一、大模型的参数量
二、大模型的量化
三、Q2/Q4/Q8分别什么意思
四、Zero
四、大模型蒸馏
一、大模型的参数量我们经常会看到大模型后面,会跟一个奇怪的后缀,如:
DeepSeek-R1 - 1.5b DeepSeek-R1 - 7b DeepSeek-R1 - 8b DeepSeek-R1 - 14b