搭建深度学习环境
服务器环境下推荐使用 uv 或者 conda 来下载包
uv/conda
- uv
下载各各种包的速度非常非常快，
官方文档: uv
Linux/mac 下直接这样使用
curl -LsSf https://astral.sh/uv/install.sh | sh
- miniconda
可以管理编译环境，但是环境会稍大
Linux下
cuda-tookit
cuda-tookit安装
官方教程: CUDA Toolkit 12.9 Update 1 Downloads | NVIDIA Developer
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
# 此处可以选择适配的版本
sudo apt-get -y install cuda-toolkit-12-8
然后将cuda导入环境，一台机器上是可以有多个cuda环境
# 临时
export CUDA_HOME=/usr/local/cuda-12.8
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
# 永久
sudo vi ~/.bashrc
# 在最后写上这些
export CUDA_HOME=/usr/local/cuda-12.8
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
# 保存退出后刷新环境
source ~/.bashrc
cudnn
cudnn和cuda存在版本依赖关系
如何下载并使用？
官方教学文档：
pytorch-cuda
下载pytorch-cu12.8
官方地址: PyTorch
# or uv，速度会快很多
uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
flash-attention
github 项目地址:
Dao-AILab/flash-attention: Fast and memory-efficient exact attention
源码编译
预编译 [推荐使用]
官方预编译版本