Update app.py

app.py

@@ -29,7 +29,7 @@ logging.basicConfig(level=logging.DEBUG)
 logger = logging.getLogger(__name__)
 
 # Load model and tokenizer
-model_name = "FreedomIntelligence/Apollo-2B"
+model_name = "FreedomIntelligence/Apollo-7B"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
 tokenizer.pad_token = tokenizer.eos_token
@@ -94,44 +94,42 @@ class TimeoutCallback(BaseCallbackHandler):
             raise TimeoutError("LLM processing timeout")
 
 
-# def generate_prompt(question: str) -> str:
-#     lang = detect(question)
-#     if lang == "ar":
-#         return (
-#             "أجب على السؤال الطبي التالي بلغة عربية فصحى، بإجابة دقيقة ومفصلة. إذا لم تجد معلومات كافية في السياق، استخدم معرفتك الطبية السابقة. \n"
-#             "- عدم تكرار أي نقطة أو عبارة أو كلمة\n"
-#             "- وضوح وسلاسة كل نقطة\n"
-#             "- تجنب الحشو والعبارات الزائدة\n"
-#             f"\nالسؤال: {question}\nالإجابة:"
-#         )
-#     else:
-#         return (
-#             "Answer the following medical question in clear English with a detailed, non-redundant response. "
-#             "Do not repeat ideas, phrases, or restate the question in the answer. If the context lacks relevant "
-#             "information, rely on your prior medical knowledge. If the answer involves multiple points, list them "
-#             "in concise and distinct bullet points:\n"
-#             f"Question: {question}\nAnswer:"
-#         )
-
-from langdetect import detect
-
-def generate_prompt(question):
+def generate_prompt(question: str) -> str:
     lang = detect(question)
     if lang == "ar":
-        return f"""أجب على السؤال الطبي التالي بلغة عربية فصحى، بإجابة دقيقة ومفصلة. إذا لم تجد معلومات كافية في السياق، استخدم معرفتك الطبية السابقة. 
- وتأكد من ان:
-- عدم تكرار أي نقطة أو عبارة أو كلمة
-- وضوح وسلاسة كل نقطة
-- تجنب الحشو والعبارات الزائدة-
-
-السؤال: {question}
-الإجابة:
-"""
-        
+        return (
+            "أجب على السؤال الطبي التالي بلغة عربية فصحى، بإجابة دقيقة ومفصلة. إذا لم تجد معلومات كافية في السياق، استخدم معرفتك الطبية السابقة. \n"
+            "- عدم تكرار أي نقطة أو عبارة أو كلمة\n"
+            "- وضوح وسلاسة كل نقطة\n"
+            "- تجنب الحشو والعبارات الزائدة\n"
+            f"\nالسؤال: {question}\nالإجابة:"
+        )
     else:
-        return f"""Answer the following medical question in clear English with a detailed, non-redundant response. Do not repeat ideas, phrases, or restate the question in the answer. If the context lacks relevant information, rely on your prior medical knowledge. If the answer involves multiple points, list them in concise and distinct bullet points:
-Question: {question}
-Answer:"""
+        return (
+            "Answer the following medical question in clear English with a detailed, non-redundant response. "
+            "Do not repeat ideas, phrases, or restate the question in the answer. If the context lacks relevant "
+            "information, rely on your prior medical knowledge. If the answer involves multiple points, list them "
+            "in concise and distinct bullet points:\n"
+            f"Question: {question}\nAnswer:"
+        )
+
+# def generate_prompt(question):
+#     lang = detect(question)
+#     if lang == "ar":
+#         return f"""أجب على السؤال الطبي التالي بلغة عربية فصحى، بإجابة دقيقة ومفصلة. إذا لم تجد معلومات كافية في السياق، استخدم معرفتك الطبية السابقة. 
+#  وتأكد من ان:
+# - عدم تكرار أي نقطة أو عبارة أو كلمة
+# - وضوح وسلاسة كل نقطة
+# - تجنب الحشو والعبارات الزائدة-
+
+# السؤال: {question}
+# الإجابة:
+# """
+        
+#     else:
+#         return f"""Answer the following medical question in clear English with a detailed, non-redundant response. Do not repeat ideas, phrases, or restate the question in the answer. If the context lacks relevant information, rely on your prior medical knowledge. If the answer involves multiple points, list them in concise and distinct bullet points:
+# Question: {question}
+# Answer:"""
 
 # === ROUTES === #
 @app.get("/")