文章目录
- (零)在线体验
- (一)本地部署
- (1.1)克隆仓库
- (1.2)安装依赖
- (1.2.1)安装 flash-attention
- (1.2.2)重新安装依赖
- (1.2.3)替换pytorch成CUDA版本
- (1.3)下载模型
- (1.4)CUDA和CUDNN
- (1.4.1)CUDA Toolkit 12.8 和 Visual Studio 2022 v17.13.0 冲突
- (二)本地生成
- (2.1)官方例子
- (2.2)执行过程
- (2.3)执行结果
- (2.3.1)默认文件名无法保存
- (2.3.2)成功