有什么加速的方案吗？
#7
by
hanswang1973
- opened
有什么加速的方案吗？reranker比embedding还是慢了很多
可以在推理的时候使用fp16
请问找到了吗？
请问找到了吗？
可以在推理的时候使用fp16
这个onnx怎么用呢，有示例脚本吗
可以在推理的时候使用fp16
model = AutoModelForSequenceClassification.from_pretrained(model_name, torch_dtype=torch.float16)
为什么我用了fp16速度慢了很多倍，用GPU时也没看见优势