Create app_streaming (#1)

- Create app_streaming (b5f8948369ead9d2faf1347e09c5b5acaa82e3ce)


Co-authored-by: Sasaki Shunsuke <SASAKI28@users.noreply.huggingface.co>

app_streaming

@@ -0,0 +1,71 @@
+import asyncio
+import uuid
+from vllm import AsyncLLMEngine, AsyncEngineArgs, SamplingParams
+import gradio as gr
+
+# モジュールレベルで一度だけイベントループを作成
+_loop = asyncio.new_event_loop()
+asyncio.set_event_loop(_loop)
+
+# 非同期エンジンの初期化
+en_args = AsyncEngineArgs(
+    model="EQUES/JPharmatron-7B",
+    enforce_eager=True
+)
+model = AsyncLLMEngine.from_engine_args(en_args)
+
+# 非同期でトークン生成をストリーミングするジェネレータ
+async def astream_generate(prompt: str):
+    previous_text = ""
+    async for request_output in model.generate(
+        prompt,
+        SamplingParams(temperature=0.0, max_tokens=512),
+        request_id=str(uuid.uuid4())
+    ):
+        full_text = request_output.outputs[0].text
+        new_chunk = full_text[len(previous_text):]
+        previous_text = full_text
+        yield new_chunk
+
+# Gradio 用の応答関数（同期ジェネレータ）
+def respond(user_input, history):
+    history = history or []
+    # システムプロンプトと過去履歴を組み立て
+    base_prompt = "以下は親切で何でも答えてくれるAIアシスタントとの会話です。\n"
+    for u, b in history:
+        base_prompt += f"ユーザー: {u}\nアシスタント: {b}\n"
+    base_prompt += f"ユーザー: {user_input}\nアシスタント:"
+
+    # ユーザー発話と空応答を履歴に追加
+    history.append((user_input, ""))
+
+    # 単一のイベントループを使ってストリーミング
+    agen = astream_generate(base_prompt)
+    try:
+        while True:
+            chunk = _loop.run_until_complete(agen.__anext__())
+            # 最新の履歴にトークンを追加
+            history[-1] = (user_input, history[-1][1] + chunk)
+            yield history, history
+    except StopAsyncIteration:
+        return
+
+# Gradio UI 定義
+with gr.Blocks() as demo:
+    gr.Markdown("# 💊 製薬に関する質問をしてみてください。")
+    gr.Markdown("※ ストリーミングデモ用コードです。")
+
+    chatbot = gr.Chatbot()
+    msg = gr.Textbox(label="あなたのメッセージ")
+    clear = gr.Button("チャット履歴をクリア")
+    state = gr.State([])
+
+    msg.submit(respond, [msg, state], [chatbot, state])
+    clear.click(lambda: ([], []), None, [chatbot, state])
+
+# エントリポイント
+def main():
+    demo.launch()
+
+if __name__ == "__main__":
+    main()