广州开发区建设局网站国内购物网站案例分析

chatglm量化推理指标对比，单卡显存32G, 保持batchsize为64不变。通过不同的量化可以节省显存进而提升提升batch size，加快全量数据的推理速度。当然通过量化可以降低大模型的显存使用门槛。