建设电子元器件网站快速建站框架
使用conda 管理环境时加载大模型会遇到bitsandbytes无法识别cuda的情况:
 此处windows系统:
pip install bitsandbytes-windows
 
linux 系统:
 将bitsandbytes版本降低至0.39.0
pip install bitsandbytes==0.39.0
使用conda 管理环境时加载大模型会遇到bitsandbytes无法识别cuda的情况:
 此处windows系统:
pip install bitsandbytes-windows
 
linux 系统:
 将bitsandbytes版本降低至0.39.0
pip install bitsandbytes==0.39.0