加载onnx模型进行推理

点击查看原文

原文作者：老杨 | 来源：老杨说话的地方

onnx的模型加载，需要用到onnx runtime。

推理代码：

import torchimport onnxruntime as rtfrom transformers import LlamaTokenizer def generate_prompt(text): return f