Enhance app.py by adding tokenizer initialization and refining response handling in the chat function

app.py

@@ -2,15 +2,20 @@ import gradio as gr
 from huggingface_hub import InferenceClient
 from dotenv import load_dotenv
 import os
+from transformers import AutoTokenizer
 
 # โหลดตัวแปรจาก .env
 load_dotenv()
 
+
 # ดึง token จาก environment variable
 HF_TOKEN = os.getenv("HF_TOKEN")
 
 # สร้าง InferenceClient ด้วย token
 client = InferenceClient("iapp/chinda-qwen3-4b", token=HF_TOKEN)
+# โหลด tokenizer สำหรับ apply_chat_template
+model_name = "iapp/chinda-qwen3-4b"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
 
 # ฟังก์ชันสำหรับประมวลผลข้อความสนทนา
 def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p):
@@ -23,18 +28,29 @@ def respond(message, history: list[tuple[str, str]], system_message, max_tokens,
             messages.append({"role": "assistant", "content": bot_msg})
     messages.append({"role": "user", "content": message})
 
+    # ใช้ tokenizer.apply_chat_template เพื่อเตรียม prompt (optional, เฉพาะถ้าต้องการปรับ prompt)
+    # text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True)
+    # แต่ InferenceClient รองรับ messages โดยตรง
+
     response = ""
     # เรียกใช้งานแบบ streaming
-    for message in client.chat_completion(
+    for msg in client.chat_completion(
         messages,
         max_tokens=max_tokens,
         stream=True,
         temperature=temperature,
         top_p=top_p,
     ):
-        token = message.choices[0].delta.content
+        token = msg.choices[0].delta.content
         response += token
-        yield response
+        # แยก 🧠 Thinking กับ 💬 Response ถ้ามี </think>
+        if "</think>" in response:
+            think_split = response.split("</think>", 1)
+            thinking = think_split[0].replace("<think>", "").strip()
+            content = think_split[1].strip()
+            yield f"🧠 Thinking: {thinking}\n\n💬 Response: {content}"
+        else:
+            yield response
 
 # สร้าง UI ด้วย Gradio
 demo = gr.ChatInterface(