Update app.py
Browse files
app.py
CHANGED
@@ -10,12 +10,19 @@ model = None
|
|
10 |
tokenizer = None
|
11 |
pipe = None
|
12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
13 |
# === Log fonksiyonu
|
14 |
def log(message):
|
15 |
timestamp = datetime.now().strftime("%H:%M:%S")
|
16 |
print(f"[{timestamp}] {message}", flush=True)
|
17 |
|
18 |
-
# === System prompt (intent yapısı)
|
19 |
SYSTEM_PROMPT = """
|
20 |
Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajlarını anlayabilir, niyetlerini (intent) tespit edebilir, eksik bilgileri sorabilir ve backend API'lerine tetikleme hazırlığı yapabilirsiniz.
|
21 |
|
@@ -30,49 +37,26 @@ Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajla
|
|
30 |
|
31 |
✅ Desteklenen intent'ler ve ACTION_JSON formatları:
|
32 |
1️⃣ doviz-kuru-intent → Döviz kuru sorgusu
|
33 |
-
|
34 |
-
- currency (dolar, euro, TL)
|
35 |
-
ACTION_JSON formatı:
|
36 |
{
|
37 |
"currency": "<currency>"
|
38 |
}
|
39 |
|
40 |
2️⃣ yol-durumu-intent → Yol durumu sorgusu
|
41 |
-
|
42 |
-
- from_location (Ankara, İstanbul, İzmir)
|
43 |
-
- to_location (Ankara, İstanbul, İzmir)
|
44 |
-
ACTION_JSON formatı:
|
45 |
{
|
46 |
"from_location": "<from_location>",
|
47 |
"to_location": "<to_location>"
|
48 |
}
|
49 |
|
50 |
3️⃣ hava-durumu-intent → Hava durumu sorgusu
|
51 |
-
|
52 |
-
- city (Ankara, İstanbul, İzmir)
|
53 |
-
ACTION_JSON formatı:
|
54 |
{
|
55 |
"city": "<city>"
|
56 |
}
|
57 |
|
58 |
❗ Eksik parametre varsa, sadece eksik olanları #MISSING listesine ekleyiniz ve #ACTION_JSON boş döndürünüz.
|
59 |
❗ Parametreler tamamsa, ilgili ACTION_JSON formatına uygun json hazırlayınız.
|
60 |
-
|
61 |
-
✅ Örnekler:
|
62 |
-
Kullanıcı: "Dolar kuru nedir?"
|
63 |
-
#ANSWER: NONE
|
64 |
-
#INTENT: doviz-kuru-intent
|
65 |
-
#PARAMS: {"currency": "dolar"}
|
66 |
-
#MISSING: []
|
67 |
-
#ACTION_JSON: {"currency": "dolar"}
|
68 |
-
|
69 |
-
Kullanıcı: "Yol durumu"
|
70 |
-
#ANSWER: Lütfen from_location ve to_location bilgisini belirtir misiniz?
|
71 |
-
#INTENT: yol-durumu-intent
|
72 |
-
#PARAMS: {}
|
73 |
-
#MISSING: ["from_location", "to_location"]
|
74 |
-
#ACTION_JSON: {}
|
75 |
-
|
76 |
❗ Kullanıcıya hitap ederken formal bir dil kullanınız, sadece bu formatlı blokları döndürünüz.
|
77 |
"""
|
78 |
|
@@ -82,13 +66,6 @@ class ChatRequest(BaseModel):
|
|
82 |
@app.on_event("startup")
|
83 |
def load_model():
|
84 |
global model, tokenizer, pipe
|
85 |
-
|
86 |
-
# Ortam değişkenleri
|
87 |
-
os.environ["HF_HOME"] = "/app/.cache"
|
88 |
-
os.environ["HF_DATASETS_CACHE"] = "/app/.cache"
|
89 |
-
os.environ["HF_HUB_CACHE"] = "/app/.cache"
|
90 |
-
os.environ["TRITON_CACHE_DIR"] = "/tmp/.triton"
|
91 |
-
|
92 |
model_name = "atasoglu/Turkish-Llama-3-8B-function-calling"
|
93 |
hf_token = os.getenv("HF_TOKEN")
|
94 |
|
|
|
10 |
tokenizer = None
|
11 |
pipe = None
|
12 |
|
13 |
+
# === Ortam değişkenlerini ayarla (fallback)
|
14 |
+
os.environ.setdefault("HF_HOME", "/app/.cache")
|
15 |
+
os.environ.setdefault("HF_DATASETS_CACHE", "/app/.cache")
|
16 |
+
os.environ.setdefault("HF_HUB_CACHE", "/app/.cache")
|
17 |
+
os.environ.setdefault("TRITON_CACHE_DIR", "/tmp/.triton")
|
18 |
+
os.environ.setdefault("TORCHINDUCTOR_CACHE_DIR", "/tmp/torchinductor_cache")
|
19 |
+
|
20 |
# === Log fonksiyonu
|
21 |
def log(message):
|
22 |
timestamp = datetime.now().strftime("%H:%M:%S")
|
23 |
print(f"[{timestamp}] {message}", flush=True)
|
24 |
|
25 |
+
# === System prompt (intent yapısı ve ACTION_JSON formatları)
|
26 |
SYSTEM_PROMPT = """
|
27 |
Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajlarını anlayabilir, niyetlerini (intent) tespit edebilir, eksik bilgileri sorabilir ve backend API'lerine tetikleme hazırlığı yapabilirsiniz.
|
28 |
|
|
|
37 |
|
38 |
✅ Desteklenen intent'ler ve ACTION_JSON formatları:
|
39 |
1️⃣ doviz-kuru-intent → Döviz kuru sorgusu
|
40 |
+
ACTION_JSON:
|
|
|
|
|
41 |
{
|
42 |
"currency": "<currency>"
|
43 |
}
|
44 |
|
45 |
2️⃣ yol-durumu-intent → Yol durumu sorgusu
|
46 |
+
ACTION_JSON:
|
|
|
|
|
|
|
47 |
{
|
48 |
"from_location": "<from_location>",
|
49 |
"to_location": "<to_location>"
|
50 |
}
|
51 |
|
52 |
3️⃣ hava-durumu-intent → Hava durumu sorgusu
|
53 |
+
ACTION_JSON:
|
|
|
|
|
54 |
{
|
55 |
"city": "<city>"
|
56 |
}
|
57 |
|
58 |
❗ Eksik parametre varsa, sadece eksik olanları #MISSING listesine ekleyiniz ve #ACTION_JSON boş döndürünüz.
|
59 |
❗ Parametreler tamamsa, ilgili ACTION_JSON formatına uygun json hazırlayınız.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
60 |
❗ Kullanıcıya hitap ederken formal bir dil kullanınız, sadece bu formatlı blokları döndürünüz.
|
61 |
"""
|
62 |
|
|
|
66 |
@app.on_event("startup")
|
67 |
def load_model():
|
68 |
global model, tokenizer, pipe
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
69 |
model_name = "atasoglu/Turkish-Llama-3-8B-function-calling"
|
70 |
hf_token = os.getenv("HF_TOKEN")
|
71 |
|