avatar
文章
430
标签
334
分类
29
主页
归档
标签
分类
关于
J. Xu
搜索
主页
归档
标签
分类
关于

使用 tensorrt 加速 pytorch 模型推理

发表于2024-07-09|更新于2026-09-13|researchdeep learning
|字数总计:8|阅读时长:1分钟|阅读量:
文章作者: Jinzhong Xu
文章链接: https://xujinzh.github.io/2024/07/09/ai-pytorch-model-infer-acc-onnx-tensorrt/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 J. Xu！
pythonlinuxtensorrtpytorchonnxtorch-tensorrt
cover of previous post
上一篇
使用 trickle 限制 linux 上应用程序的下载和上传速度
cover of next post
下一篇
Ubuntu 上安装 vlc 并使用 root 用户播放
相关推荐
cover
2021-11-06
服务器开机或IP改变自动发送通知邮件
cover
2021-11-29
服务器关机自动发送通知邮件
cover
2022-10-29
Ubuntu 上编译安装官网 Python
cover
2021-08-02
CNN 模型计算力 FLOPs
cover
2023-02-24
MMClassification 图像分类使用
cover
2023-02-26
MMDetection 目标检测使用
评论
avatar
Jinzhong Xu
众妙之门
文章
430
标签
334
分类
29
Follow Me
公告
日本核污染水强排入海！
目录
  1. 1. TensorRT 简介
  2. 2. 环境配置
  3. 3. pytorch 原生推理
  4. 4. torch_tensorrt 推理
    1. 4.1. torch_tensorrt compile 时推理
    2. 4.2. torch_tensorrt export 后推理
      1. 4.2.1. 单精度推理
      2. 4.2.2. 半精度推理
  5. 5. onnxruntime 推理
    1. 5.1. 简单的 onnx 导出和 onnxruntime 推理
    2. 5.2. 动态多输入输出导出 onnx
  6. 6. tensorrt 推理
    1. 6.1. 简单的 onnx 转 trt 并推理
    2. 6.2. 动态多输入输出的 onnx 转 trt 并推理
      1. 6.2.1. 从 onnx 导出动态、多输入输出 engine
      2. 6.2.2. 动态、多输入输出推理（numpy）
    3. 6.3. 动态、多输入输出推理（torch.tensor gpu）
  7. 7. 结论
  8. 8. 可能遇到的问题
  9. 9. 参考文献
最新文章
Go 语言微版本平滑升级指南：从 go1.26.5 到 go1.26.7
Go 语言微版本平滑升级指南：从 go1.26.5 到 go1.26.72026-09-03
Linux 下使用 7z 进行带密码压缩与解压的完整指南
Linux 下使用 7z 进行带密码压缩与解压的完整指南2026-09-03
Systemd Journal 日志暴增？Ubuntu 日志管理与清理实战
Systemd Journal 日志暴增？Ubuntu 日志管理与清理实战2026-09-02
用单网口让台式机和笔记本同时上网
用单网口让台式机和笔记本同时上网2026-09-01
指定源多播发送与抓包
指定源多播发送与抓包2026-08-25
©2019 - 2026 By Jinzhong Xu
框架 Hexo|主题 Butterfly
搜索
数据库加载中