万商惠网站建设系统开发云盘网站建设
引子
最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错，那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建&推理_python部署大模型yi-34b-chat-CSDN博客，感兴趣的童鞋可以移步。我个人始终觉得大模型发展之路，还是要走小而精之路，即模型小但能力强，所以这篇就部署下6B的模型吧（好吧，也许最重要原因是我显卡不够。。。）。OK，让我们开始吧。
一、环境搭建
1、模型下载
git clone 魔搭社区
2、代码下载
git clone https://github.com/01-ai/Yi.git
3、安装环境
docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash
cd /workspace/Yi-vl/Yi/VL
pip install -r requirements.txt -i Simple Index
二、代码运行
1、接口运行
python single_inference.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg --question "Describe the cats and what they are doing in detail."
报错，显卡不支持格式，修改如下：
继续运行
2、命令行交互
python cli.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg
报错，显卡不支持格式，修改如下：
