CUDA OUT OF MEMORY
这是在训练/推理模型的时候经常看到的字样，训练/推理模型前怎么科学评估一个模型的大概需要多少显存？
在开始计划之前预估需要准备的机器数量，这大约的确是一个很重要的问题
参考文章:
古法计算花费的内存
采用手工法来计算显存的占用
- 深度学习的数据类型
- fp16
- bf16
- fp32
- bf32
全精度 和 半精度
使用三方工具来计算
什么年代了还在采用古法方式来计算需要的内存大小
使用 hugging face 的 **accelerate **工具来评估显存占用