Update app.py

app.py

@@ -6,6 +6,14 @@ from langchain.chat_models import ChatOpenAI
 from langchain.schema import SystemMessage, HumanMessage
 from rapidfuzz import fuzz
 import concurrent.futures
+import time
+from sentence_transformers import SentenceTransformer
+import numpy as np
+from hazm import *
+import re
+import nltk
+nltk.download('punkt')
+
 st.markdown("""
     <style>
         /* استایل برای هدر */
@@ -102,6 +110,7 @@ st.markdown("""
         margin-top: 10px;
     }
     .chat-message {
+        flex-wrap: wrap;
         background-color: rgba(26, 43, 30, 0.95);
         border: 2px solid #b8860b;
         border-radius: 15px;
@@ -113,6 +122,7 @@ st.markdown("""
         color: #d4d4d4;
         font-weight: 600;
         display: flex;
+        flex-wrap: wrap;
         align-items: center;
         gap: 15px;
     }
@@ -207,7 +217,6 @@ st.markdown("""
             font-weight: 400;
             font-style: normal;
         }
-
         .header-text h1 {
             font-family: 'IRANSans', Tahoma, sans-serif !important;
             font-weight: 900 !important;
@@ -215,7 +224,6 @@ st.markdown("""
             color: #b8860b !important;
             margin: 0 !important;
         }
-
         .header-text .subtitle {
             font-family: 'IRANSans', Tahoma, sans-serif !important;
             font-weight: 600 !important;
@@ -237,11 +245,12 @@ st.markdown("""
 llm = ChatOpenAI(
     base_url="https://api.together.xyz/v1",
     api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
-    model="meta-llama/Llama-3.3-70B-Instruct-Turbo-Free"
+    model="deepseek-ai/DeepSeek-R1-Distill-Llama-70B-free",
+    max_tokens=1024 
 )
 
 # ---------- پردازش فایل‌ها با کش و موازی ----------
-folder_path = '46'
+folder_path = 'C:/Users/ici/Downloads/Telegram Desktop/45/46'
 normalizer = Normalizer()
 sentence_tokenizer = SentenceTokenizer()
 
@@ -251,24 +260,27 @@ def load_and_process_documents(path):
         try:
             full_path = os.path.join(path, filename)
             doc = docx.Document(full_path)
-            file_text = "\n".join([para.text for para in doc.paragraphs])
-            if file_text.strip():
-                normalized = normalizer.normalize(file_text)
-                return sentence_tokenizer.tokenize(normalized)
-        except:
+            text = "\n".join([para.text for para in doc.paragraphs])  # استخراج متن
+            normalized = normalizer.normalize(text)
+            sentences = normalized
+            return sentences
+        except Exception as e:
+            print(f"Error processing {filename}: {e}")
             return []
-        return []
-
-    all_sentences = []
     with concurrent.futures.ThreadPoolExecutor() as executor:
         results = executor.map(process_docx, [f for f in os.listdir(path) if f.endswith(".docx")])
-        for sentences in results:
-            if sentences:
-                all_sentences.extend(sentences)
-    return all_sentences
+
+
+    
+    return list(results)
+
 
 all_sentences = load_and_process_documents(folder_path)
 
+
+# all_sentences = load_and_process_documents(folder_path)
+# st.markdown(all_sentences[2])
+
 # ---------- ورودی جستجو ----------
 st.markdown("""
     <style>
@@ -283,19 +295,20 @@ st.markdown("""
         }
     </style>
 """, unsafe_allow_html=True)
+
+
 st.markdown("""
-    <style>
-        /* استایل برای کلاس خاص */
-        .st-ae.st-bd.st-be.st-bf.st-bg.st-bh.st-bi.st-bj.st-bk.st-bl.st-bm.st-ah.st-bn.st-bo.st-bp.st-bq.st-br.st-bs.st-ci.st-cj.st-ax.st-ay.st-az.st-bv.st-b1.st-b2.st-bc.st-bw.st-bx.st-by.st-ck.st-cl.st-cn {
-            background-color: rgba(106, 127, 83, 0.8) !important;  /* سبز خاکی مایل به زرد (#6a7f53) */
-            border-radius: 10px !important;  /* گوشه‌های گرد */
-            color: #d4d4d4 !important;  /* رنگ متن روشن */
-            font-family: 'Vazirmatn', Tahoma, sans-serif !important;
-            padding: 15px !important;  /* فضای داخلی بیشتر */
-            box-shadow: 0 4px 8px rgba(0, 0, 0, 0.3) !important;  /* سایه برای برجسته شدن */
-        }
-    </style>
+<style>
+    .st-af.st-ah.st-bb.st-ar.st-as.st-ax.st-ay.st-az.st-b0.st-b1.st-b2.st-bc.st-b7 {
+        background-color: #3a5338 !important;
+        color: #d4d4d4 !important;
+        border: 1px solid #c8a200 !important;
+        border-radius: 10px;
+        padding: 15px;
+    }
+</style>
 """, unsafe_allow_html=True)
+
 st.markdown("""
     <style>
         /* استایل برای کلاس st-emotion-cache-yd4u6l e1togvvn1 */
@@ -322,28 +335,106 @@ st.markdown("""
         }
     </style>
 """, unsafe_allow_html=True)
+st.markdown("""
+<style>
+.stBottom.st-emotion-cache-1p2n2i4.eht7o1d2 {
+    background-color: #556B2F !important; /* زیتونی تیره */
+    color: white !important; /* رنگ متن سفید برای تضاد بهتر */
+}
+</style>
+""", unsafe_allow_html=True)
+st.markdown("""
+<style>
+/* تغییر رنگ متن placeholder به خاکستری */
+textarea::placeholder {
+    color: #808080 !important; /* خاکستری */
+    opacity: 1 !important; /* برای اینکه مرورگرها بهش بی‌توجه نباشن */
+}
+            /* تغییر رنگ متن داخل چت اینپوت به خاکستری */
+textarea {
+    color: #808080 !important; /* خاکستری */
+    border-radius: 10px !important;
+    padding: 10px !important;
+}
+</style>
+""", unsafe_allow_html=True)
 query = st.chat_input("چطور می‌تونم کمک کنم؟")
+
+
+if query:
+    st.markdown(f'<div class="chat-message">{query}</div>', unsafe_allow_html=True)
+    
+    think = st.markdown("""
+    <div class="thinking-message">
+        <p>در حال فکر کردن...</p>
+        <div class="spinner"></div>
+    </div>
+    """, unsafe_allow_html=True)
+    time.sleep(4)
+    think.empty()
+else:
+    st.markdown("")
+
+# استایل‌ها برای چرخش و پیام در حال فکر کردن
+st.markdown("""
+    <style>
+    .thinking-message {
+        display: flex;
+        align-items: center;
+        font-size: 18px;
+        color: #333;
+    }
+
+    .thinking-message p {
+        margin-right: 10px;
+    }
+
+    .spinner {
+        border: 4px solid #f3f3f3;
+        border-top: 4px solid #4b6d3d; /* رنگ سبز تیره */
+        border-radius: 50%;
+        width: 20px;
+        height: 20px;
+        animation: spin 2s linear infinite;
+    }
+
+    @keyframes spin {
+        0% { transform: rotate(0deg); }
+        100% { transform: rotate(360deg); }
+    }
+    </style>
+""", unsafe_allow_html=True)
+
+
+
+sentEmbedding = SentEmbedding()
+sentEmbedding.load_model("C:/Users/ici/Downloads/sent2vec/sent2vec-naab.model")
+
+
+
+top_k = 5 
+threshold = 0.8 
+
+original_sentences = all_sentences.copy()
+all_vectors = [sentEmbedding.get_sentence_vector(sentence) for sentence in original_sentences]
+
 if query:
     found = False
-    threshold = 60
+    threshold = 85
 
     for idx, sentence in enumerate(all_sentences):
         similarity = fuzz.partial_ratio(query, sentence)
         if similarity >= threshold:
-            next_sentences = []
-            for i in range(1, 10):
-                if idx + i < len(all_sentences):
-                    next_sentences.append(all_sentences[idx + i])
+            st.markdown(sentence)
 
-            total_text = sentence + " " + " ".join(next_sentences)
             prompt = f"""
-            تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن تا بهترین نتیجه حاصل شود.
+            تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن و به هیچ عنوان از جملاتی جز فارسی استفاده نکن تا بهترین نتیجه حاصل شود.
             
             سوال:
             {query}
             
             پاسخ‌ها:
-            {total_text}
+            {sentence}
             
             پاسخ نهایی حرفه‌ای بازنویسی‌شده:
             """
@@ -358,7 +449,7 @@ if query:
             break
 
     if not found:
-        prompt = f"لطفاً بر اساس سوال زیر یک متن مرتبط و معنادار تولید کن:\n\nسوال: {query}"
+        prompt = f" لطفاً بر اساس سوال زیر یک متن مرتبط و معنادار تولید کن و از خودت ننویس و  جملات  معتبر باشن  و از زبانی جز فارسی استفاده نکن:\n\nسوال: {query}"
         response = llm([
             SystemMessage(content="You are a helpful assistant."),
             HumanMessage(content=prompt)