pytorch_dtypes_and_optimizers

ML deeplearn pytroch basic
发布时间 :
字数:47 阅读 :
  1. 深度学习常见数据类型
  2. pytorch优化器
    1. adam
    2. adamw
    3. sdg

深度学习常见数据类型

  • FP32
  • TF32
    • NVIDIA Ampere 架构 GPU（如 A100、RTX 30/40 系列）专用的混合精度计算格式。
  • BF16
  • FP16
    • 半精度混合

image-20250730110815497

pytorch优化器

adam

adamw

sdg

©2024 Akabane71

Built with Hexo and 3-hexo theme

github