文章目录
- （零）在线体验
- （一）本地部署
- （1.1）克隆仓库
- （1.2）安装依赖
- （1.2.1）安装 flash-attention
- （1.2.2）重新安装依赖
- （1.2.3）替换pytorch成CUDA版本
- （1.3）下载模型
- （1.4）CUDA和CUDNN
- （1.4.1）CUDA Toolkit 12.8 和 Visual Studio 2022 v17.13.0 冲突
- （二）本地生成
- （2.1）官方例子
- （2.2）执行过程
- （2.3）执行结果
- （2.3.1）默认文件名无法保存
- （2.3.2）成功
