docker+vllm 快速上手 以部署Qwen2.5通义千问为例
在开始部署操作之前,请务必检查以下CheckList中的条件是否满足
CheckList适合阅读人群
有需要做本地化方案的人群
AI开发者
新手建议直接上手线上API
运维硬件
首先你得有显卡(nvidia),没有可以去租
显存>= 24g
软件
操作系统为Linux, 本次以Ubuntu 22.04 为例
正确得安装了