tensorRT方案
tensorRT转化的形式
.onnx,.uff ——-> .trt
- 官方推荐：
- 第三方：
- cpp硬写
cpp —-> trt 【使用cpp来硬写】
之前这样写是因为 onnx 部分的缺失，是由于之前不够完善导致的，现在推荐的方式还是直接使用onnx
- 这个相当于手动挡
- pytorch 模型到 tensorRT [只能用python]
python硬代码 —-> trt
相对好用一点，缺点是 engine 和 设备绑定
- 基于 onnx [第三方]
pytorch 对 onnx的支持还是可以的 【onnx算子由pytorch官方维护，tensorRT的算子也由NV官方维护】