问题现象

部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME=’/usr/local/cuda’。

原因分析

从日志报错信息No CUDA runtime is found分析，是cuda runtime没有找到。

处理方法

建议您按以下步骤排查处理：

确认部署在线服务时是否选择了GPU规格。
在customize_service.py中添加一行代码os.system(‘nvcc -V)查看该镜像的cuda版本（customize_service.py编写指导请见模型推理代码编写说明）。
确认该cuda版本与您安装的mmcv版本是否匹配。

部署时是否需要使用GPU，取决于的模型需要用到CPU还是GPU，以及推理脚本如何编写。

父主题： 服务部署

同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家