import

onnx的模型加载，需要用到onnx runtime。 推理代码： import torch import onnxruntime as rt from transformers import Lla...

因项目需要，把PyTorch模型转为onnx。 Huggingface的模型无法直接转为onnx（仅有部分支持），如果是huggingface的模型，需要先转成PyTorch，详见文章《Hugging...