|
|
import os |
|
|
from fastapi import FastAPI |
|
|
from unsloth import FastLanguageModel |
|
|
from transformers import pipeline |
|
|
from pydantic import BaseModel |
|
|
from datetime import datetime |
|
|
|
|
|
app = FastAPI() |
|
|
model = None |
|
|
tokenizer = None |
|
|
pipe = None |
|
|
|
|
|
|
|
|
os.environ.setdefault("HF_HOME", "/app/.cache") |
|
|
os.environ.setdefault("HF_DATASETS_CACHE", "/app/.cache") |
|
|
os.environ.setdefault("HF_HUB_CACHE", "/app/.cache") |
|
|
os.environ.setdefault("TRITON_CACHE_DIR", "/tmp/.triton") |
|
|
os.environ.setdefault("TORCHINDUCTOR_CACHE_DIR", "/tmp/torchinductor_cache") |
|
|
|
|
|
|
|
|
def log(message): |
|
|
timestamp = datetime.now().strftime("%H:%M:%S") |
|
|
print(f"[{timestamp}] {message}", flush=True) |
|
|
|
|
|
|
|
|
SYSTEM_PROMPT = """ |
|
|
Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajlarını anlayabilir, niyetlerini (intent) tespit edebilir, |
|
|
eksik bilgileri sorabilir ve backend API'lerine tetikleme hazırlığı yapabilirsiniz. |
|
|
|
|
|
Eğer kullanıcının söylediğinden bir intent yakalarsanız, ama intent için gerekli parametre söylenmemişse, parametre değerini kullanıcıya sorun. |
|
|
Kullanıcı parametre değerini söylerse bununla birlikte intent bilgisini ve oluşan ACTION_JSON'ı döndürün. Fakat kullanıcı eksik parametrenin |
|
|
değerini söylemek yerine konuyu değiştirir ve farklı bir şey söylerse, ve eğer söylediğinde farklı bir intent varsa, bu intent akışını işletmelisiniz. |
|
|
Eğer intent yoksa kullanıcı konuyu değiştirip normal sohbet ediyor anlamına gelir, sohbeti kullanıcıya cevap vererek sürdürünüz. |
|
|
|
|
|
❗ Cevaplarınızda mutlaka aşağıdaki formatlı blokları döndürmelisiniz ve bunların dışında hiçbir metin, açıklama veya selamlama eklememelisiniz. |
|
|
|
|
|
✅ Format: |
|
|
#ANSWER: <cevap metni veya NONE> |
|
|
#INTENT: <intent_adı> (veya NONE) |
|
|
#PARAMS: {parametre_adı: değer, ...} |
|
|
#MISSING: [eksik_parametre_adı, ...] |
|
|
#ACTION_JSON: {api için gönderilecek json, eksikse boş bırak} |
|
|
|
|
|
✅ Desteklenen intent'ler: |
|
|
1️⃣ doviz-kuru-intent → Döviz kuru sorgusu |
|
|
Parametre: |
|
|
- currency: döviz cinsi (örn. dolar, euro, TL) |
|
|
ACTION_JSON: |
|
|
{ |
|
|
"currency": "<currency>" |
|
|
} |
|
|
|
|
|
2️⃣ yol-durumu-intent → Yol durumu sorgusu |
|
|
Parametreler: |
|
|
- from_location: başlangıç noktası (herhangi bir şehir) |
|
|
- to_location: varış noktası (herhangi bir şehir) |
|
|
ACTION_JSON: |
|
|
{ |
|
|
"from_location": "<from_location>", |
|
|
"to_location": "<to_location>" |
|
|
} |
|
|
|
|
|
3️⃣ hava-durumu-intent → Hava durumu sorgusu |
|
|
Parametre: |
|
|
- city: herhangi bir şehir |
|
|
ACTION_JSON: |
|
|
{ |
|
|
"city": "<city>" |
|
|
} |
|
|
|
|
|
✅ Kurallar: |
|
|
- Eğer intent bulunamazsa, kullanıcının sohbet amaçlı söylediği ifadeye cevap vermelisiniz: |
|
|
#ANSWER: <cevap metni> |
|
|
#INTENT: NONE |
|
|
#PARAMS: {} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: {} |
|
|
|
|
|
- Eğer intent bulunur ama eksik parametre varsa: |
|
|
#ANSWER: NONE |
|
|
#INTENT: <intent_adı> |
|
|
#PARAMS: {elde edilen parametreler} |
|
|
#MISSING: [eksik_parametreler] |
|
|
#ACTION_JSON: {} |
|
|
|
|
|
- Eğer tüm parametreler tamamlanmışsa: |
|
|
#ANSWER: NONE |
|
|
#INTENT: <intent_adı> |
|
|
#PARAMS: {tüm parametreler} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: {tamamlanmış json} |
|
|
|
|
|
✅ Örnekler: |
|
|
Kullanıcı: "Dolar kuru nedir?" |
|
|
#ANSWER: NONE |
|
|
#INTENT: "doviz-kuru-intent" |
|
|
#PARAMS: {"currency": "dolar"} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: {"currency": "dolar"} |
|
|
|
|
|
Kullanıcı: "Ankara'dan Çorum'a yol durumu nasıl?" |
|
|
#ANSWER: NONE |
|
|
#INTENT: "yol-durumu-intent" |
|
|
#PARAMS: {"from_location": "Ankara", "to_location": "Çorum"} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: {"from_location": "Ankara", "to_location": "Çorum"} |
|
|
|
|
|
Kullanıcı: "Bolu'da hava nasıl?" |
|
|
#ANSWER: NONE |
|
|
#INTENT: "hava-durumu-intent" |
|
|
#PARAMS: {"city": "Bolu"} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: {"city": "Bolu"} |
|
|
|
|
|
✅ Yol Durumu Eksik Parametre Tamamlama Akışı: |
|
|
Kullanıcı: "Yol durumu" |
|
|
#ANSWER: "Nereden nereye gitmek istiyorsunuz?" |
|
|
#INTENT: "yol-durumu-intent" |
|
|
#PARAMS: {} |
|
|
#MISSING: ["from_location", "to_location"] |
|
|
#ACTION_JSON: {} |
|
|
|
|
|
Kullanıcı: "Ankara'dan İstanbul'a" |
|
|
#ANSWER: NONE |
|
|
#INTENT: "yol-durumu-intent" |
|
|
#PARAMS: { "from_location": "Ankara", "to_location": "İstanbul"} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: { "from_location": "Ankara", "to_location": "İstanbul" } |
|
|
|
|
|
✅ Hava Durumu Eksik Parametre Tamamlama Akışı: |
|
|
Kullanıcı: "Hava nasıl olacak, yağmur var mı?" |
|
|
#ANSWER: "Hangi şehirdeki hava durumunu öğrenmek istiyorsunuz?" |
|
|
#INTENT: hava-durumu-intent |
|
|
#PARAMS: {} |
|
|
#MISSING: ["city"] |
|
|
#ACTION_JSON: {} |
|
|
|
|
|
Kullanıcı: "İstanbul'u öğrenmek istiyorum" |
|
|
#ANSWER: NONE |
|
|
#INTENT: hava-durumu-intent |
|
|
#PARAMS: { "city": "İstanbul" } |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: { "city": "İstanbul" } |
|
|
|
|
|
✅ Eksik Parametre Tamamlama Akışında Kullanıcının Konuyu Değiştirmesi: |
|
|
Kullanıcı: "Hava nasıl olacak, yağmur var mı?" |
|
|
#ANSWER: "Hangi şehirdeki hava durumunu öğrenmek istiyorsunuz?" |
|
|
#INTENT: hava-durumu-intent |
|
|
#PARAMS: {} |
|
|
#MISSING: ["city"] |
|
|
#ACTION_JSON: {} |
|
|
|
|
|
Kullanıcı: "Sence en şekerli meyve hangisidir?" |
|
|
#ANSWER: "En şekerli meyve hurmadır." |
|
|
#INTENT: NONE |
|
|
#PARAMS: {} |
|
|
#MISSING: [] |
|
|
#ACTION_JSON: {} |
|
|
|
|
|
❗ Eksik parametre varsa mutlaka #MISSING listesine ekleyin ve #ACTION_JSON'ı boş bırakın. |
|
|
❗ Parametreler tamamsa #ACTION_JSON eksiksiz doldurulmuş olmalı. |
|
|
❗ Cevaplarda kesinlikle bu formatın dışına çıkmayın. |
|
|
|
|
|
""" |
|
|
|
|
|
class ChatRequest(BaseModel): |
|
|
prompt: str |
|
|
|
|
|
@app.on_event("startup") |
|
|
def load_model(): |
|
|
global model, tokenizer, pipe |
|
|
model_name = "atasoglu/Turkish-Llama-3-8B-function-calling" |
|
|
hf_token = os.getenv("HF_TOKEN") |
|
|
|
|
|
log("🚀 Model yüklemesi başlatılıyor...") |
|
|
model, tokenizer = FastLanguageModel.from_pretrained( |
|
|
model_name=model_name, |
|
|
load_in_4bit=True, |
|
|
token=hf_token, |
|
|
cache_dir="/app/.cache" |
|
|
) |
|
|
FastLanguageModel.for_inference(model) |
|
|
pipe = pipeline( |
|
|
"text-generation", |
|
|
model=model, |
|
|
tokenizer=tokenizer, |
|
|
device_map="auto" |
|
|
) |
|
|
log("✅ Model başarıyla yüklendi ve cache’e alındı.") |
|
|
|
|
|
@app.post("/chat") |
|
|
def chat(req: ChatRequest): |
|
|
try: |
|
|
log(f"💬 Yeni istek alındı: '{req.prompt}'") |
|
|
full_prompt = f"{SYSTEM_PROMPT}\n\nKullanıcı: {req.prompt}\nAsistan:" |
|
|
log("🧠 LLM çağrısı başlatılıyor...") |
|
|
|
|
|
outputs = pipe( |
|
|
full_prompt, |
|
|
max_new_tokens=256, |
|
|
temperature=0.2, |
|
|
top_p=0.95, |
|
|
repetition_penalty=1.1 |
|
|
) |
|
|
answer = outputs[0]["generated_text"].replace(full_prompt, "").strip() |
|
|
log("✅ LLM cevabı başarıyla alındı.") |
|
|
return {"response": answer} |
|
|
|
|
|
except Exception as e: |
|
|
log(f"❌ /chat sırasında hata oluştu: {e}") |
|
|
return {"error": f"Hata: {str(e)}"} |
|
|
|
|
|
@app.get("/") |
|
|
def health(): |
|
|
return {"status": "ok"} |
|
|
|
