人工智能

Pytorch 模型部署方案

Torchserve Torchserve 是 AWS 和 Facebook 推出的 pytorch 模型服务库,整体架构如下 torchserve架构图.png 特点 提供Management API和 Inference API,用户通过API进行模型管理和模型推理 支持多模型,多GPU部署 Inference API支持批量推理 支持模型版本控制 提供日志服务,默认情况下,To