win c++ paddleocr gpu tensorrt识别速度异常

[SangerY]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

win11编译paddleOCR 2.10版本cpp infer，运行文本识别，耗时很长，180ms左右。模型为官方下载的ch_PP-OCRv4_rec_infer。另外开启了tensorrt，是否有在线转换tensorrt模型的过程，可否保存下来，后续运行不用在线转换。

🏃‍♂️ Environment (运行环境)

OS: WIN11
显卡：nvidia4090
paddle inference: 2.6.2.post116
paddleocr: 2.10.0
cuda: 11.6
cudnn: 8.2.4
tensorrt: 8.6.1.6
opencv:4.7.0

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

.\build\Release\ppocr.exe system --rec_model_dir=D:\models\paddle\ch_PP-OCRv4_rec_infer --image_dir=D:\work\data\test\2 --use_angle_cls=false --det=false --rec=true --cls=false --use_tensorrt=true --precision=fp16 --benchmark=true --use_gpu=true

[SangerY]

CPU是68ms
.\build\Release\ppocr.exe system --rec_model_dir=D:\models\paddle\ch_PP-OCRv4_rec_infer --image_dir=D:\work\menkong\data\test\2 --use_angle_cls=false --det=false --rec=true --cls=false --benchmark=true