Update app.py

app.py

@@ -540,19 +540,49 @@ st.markdown("""
 
 
 
+import os
+import json
 from sentence_transformers import SentenceTransformer, util
 
-# بارگذاری مدل برای جستجوی معنایی
+# بارگذاری مدل
 model = SentenceTransformer("nomic-ai/nomic-embed-text-v2-moe", trust_remote_code=True)
 
+# مسیر فایل کش برای ذخیره امبدینگ‌های کتاب
+embeddings_cache_path = "book_embeddings_cache.json"
+
+def load_embeddings_from_cache():
+    """بارگذاری امبدینگ‌ها از کش (فایل JSON)"""
+    if os.path.exists(embeddings_cache_path):
+        with open(embeddings_cache_path, "r") as file:
+            return json.load(file)
+    return {}
+
+def save_embeddings_to_cache(embeddings):
+    """ذخیره امبدینگ‌ها به کش (فایل JSON)"""
+    with open(embeddings_cache_path, "w") as file:
+        json.dump(embeddings, file)
+
+# بارگذاری امبدینگ‌های قبلی از کش (اگر موجود باشد)
+book_embeddings = load_embeddings_from_cache()
+
 if query:
     found = False
     threshold = 0.55 
 
+    # بررسی اینکه آیا امبدینگ‌های سوال قبلاً محاسبه شده یا خیر
     query_embedding = model.encode(query, convert_to_tensor=True)
 
-    sentence_embeddings = model.encode(all_sentences, convert_to_tensor=True)
-
+    # اگر امبدینگ‌های کتاب در کش نباشند، آن‌ها را محاسبه و ذخیره می‌کنیم
+    if not book_embeddings:
+        print("Emeddings for the book are not cached. Embedding the book now...")
+        # فرض کنید 'all_sentences' لیستی از جملات کتاب است
+        all_sentences_embeddings = model.encode(all_sentences, convert_to_tensor=True)
+        # ذخیره امبدینگ‌های کتاب در کش
+        book_embeddings = {idx: embedding.tolist() for idx, embedding in enumerate(all_sentences_embeddings)}
+        save_embeddings_to_cache(book_embeddings)
+    
+    # محاسبه مشابهت‌ها با استفاده از امبدینگ‌های کتاب
+    sentence_embeddings = [embedding for embedding in book_embeddings.values()]
     similarities = util.pytorch_cos_sim(query_embedding, sentence_embeddings)[0]
 
     for idx, similarity in enumerate(similarities):
@@ -566,10 +596,7 @@ if query:
                         {sentence}
                         پاسخ نهایی حرفه‌ای بازنویسی‌شده:
                         """
-            response = llm([
-                SystemMessage(content="You are a helpful assistant."),
-                HumanMessage(content=prompt)
-            ])
+            response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt)])
             rewritten = response.content.strip()
 
             # بررسی مرتبط بودن پاسخ با سؤال
@@ -580,10 +607,7 @@ if query:
             پاسخ:
             {rewritten}
             """
-            review_response = llm([
-                SystemMessage(content="You are a helpful assistant."),
-                HumanMessage(content=review_prompt)
-            ])
+            review_response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=review_prompt)])
             review_result = review_response.content.strip()
             if "تأیید شد" in review_result:
                 rewritten = clean_text(rewritten)
@@ -595,10 +619,7 @@ if query:
                 سوال:
                 {query}
                 """
-                new_response = llm([
-                    SystemMessage(content="You are a helpful assistant."),
-                    HumanMessage(content=final_prompt)
-                ])
+                new_response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=final_prompt)])
                 final_answer = new_response.content.strip()
                 final_answer = clean_text(final_answer)
                 st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True)
@@ -609,11 +630,8 @@ if query:
 
     if not found:
         prompt = f"لطفاً بر اساس سوال زیر یک متن مرتبط و معنادار تولید کن و جملات ساختگی استفاده نکن و از جملات موجود در اسناد و جملات معتبر استفاده کن که در ویکی پدیا موجود باشد و از زبانی جز فارسی استفاده نکن:\n\nسوال: {query}"
-        response = llm([
-            SystemMessage(content="You are a helpful assistant."),
-            HumanMessage(content=prompt)
-        ])
+        response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt)])
         rewritten = response.content.strip()
         rewritten = clean_text(rewritten)
         st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
-        think.empty()
+        think.empty()