Spaces:
Runtime error
Runtime error
Create app_streaming
#1
by
SASAKI28
- opened
No description provided.
非同期エンジン(vllm.AsyncLLMEngine)を使って1トークン生成のたびに出力するようにしました。ストリーミング出力に成功しており、体感GPT 4oより少し早いくらいです。
stardust-eques
changed pull request status to
merged