在线注册网站阜宁网站建设
vLLM 是一个 Python 库，支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明：
Intel/AMD x86
vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务，支持的数据类型包括 FP32、FP16 和 BF16。
注意
此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。
1. 要求
Python 版本 3.9 至 3.12"
Intel/AMD x86
操作系统: Linux
编译器: gcc/g++ >= 12.3.0（可选，推荐）
指令集架构（ISA）: AVX512（可选，推荐）
提示
Intel Extension for PyTorch (IPEX) 为 PyTorch 扩展了最新的功能优化，以在 Intel 硬件上提供额外的性能提升。