Update app.py

app.py

@@ -6,7 +6,6 @@ from pydantic import BaseModel
 from llama_cpp import Llama
 from huggingface_hub import hf_hub_download
 from datetime import datetime
-import concurrent.futures
 
 # === 🕒 Zamanlı log fonksiyonu
 def log(message):
@@ -16,11 +15,11 @@ def log(message):
 
 # === Model bilgileri
 REPO_ID = "oncu/Turkish-Llama-3-8B-function-calling-GGUF"
-FILENAME = "turkish-llama-3-8b-function-calling.q8_0.gguf"  # ✅ doğru dosya adı
+FILENAME = "turkish-llama-3-8b-function-calling.q8_0.gguf"
 LOCAL_MODEL_PATH = f"/tmp/{FILENAME}"
-HF_TOKEN = os.getenv("HF_TOKEN")  # ✅ Hugging Face Token (varsa)
+HF_TOKEN = os.getenv("HF_TOKEN")
 
-# === System prompt (bizim test formatımız)
+# === System prompt
 SYSTEM_PROMPT = """
 Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajlarını anlayabilir, niyetlerini (intent) tespit edebilir, eksik bilgileri sorabilir ve backend API'lerine tetikleme hazırlığı yapabilirsiniz.
 ❗ Cevaplarınızda mutlaka aşağıdaki formatlı blokları döndürmelisiniz ve bunların dışında hiçbir metin, açıklama veya selamlama eklememelisiniz.
@@ -54,12 +53,12 @@ def load_model():
             repo_id=REPO_ID,
             filename=FILENAME,
             local_dir="/tmp",
-            token=HF_TOKEN  # ✅ Eğer ortamda HF_TOKEN varsa kullan
+            token=HF_TOKEN
         )
         log(f"✅ Model indirildi: {model_path}")
 
         log("📦 GGUF model yükleniyor...")
-        llm = Llama(model_path=model_path, n_gpu_layers=-1, n_ctx=1024)  # ✅ n_ctx düşürüldü
+        llm = Llama(model_path=model_path, n_gpu_layers=-1, n_ctx=1024)
         log("✅ Model başarıyla yüklendi ve kullanılmaya hazır.")
         log("💡 Artık /chat endpoint'ine POST isteği gönderebilirsiniz.")
     except Exception as e:
@@ -74,22 +73,16 @@ def chat(req: ChatRequest):
         prompt = f"{SYSTEM_PROMPT}\n\nKullanıcı: {req.prompt}\nAsistan:"
         log("🧠 LLM çağrısı başlatılıyor...")
 
-        with concurrent.futures.ThreadPoolExecutor() as executor:
-            future = executor.submit(
-                llm,
-                prompt,
-                max_tokens=512,
-                stop=["Kullanıcı:", "Asistan:"],
-                echo=False
-            )
-            response = future.result(timeout=30)  # ✅ 30 saniye timeout
+        response = llm(
+            prompt,
+            max_tokens=512,
+            stop=["Kullanıcı:", "Asistan:"],
+            echo=False
+        )
         answer = response["choices"][0]["text"].strip()
         log("✅ LLM cevabı başarıyla alındı.")
         return {"response": answer}
 
-    except concurrent.futures.TimeoutError:
-        log("❌ LLM çağrısı timeout oldu (30 saniye).")
-        return {"error": "LLM çağrısı zaman aşımına uğradı."}
     except Exception as e:
         log(f"❌ /chat sırasında hata oluştu: {e}")
         traceback.print_exc()