Spaces:
Runtime error
Runtime error
File size: 4,313 Bytes
907d1c4 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 |
import streamlit as st
import os
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
from langchain_community.document_loaders import PyPDFLoader
from langchain_experimental.text_splitter import SemanticChunker
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.memory import ConversationBufferMemory
# --- 1) إعداد الصفحة ---
st.title("💬 المحادثة التفاعلية - إدارة البيانات وحماية البيانات الشخصية")
local_file = "Policies001.pdf"
index_folder = "faiss_index"
# إضافة CSS مخصص لدعم النصوص من اليمين لليسار
st.markdown(
"""
<style>
.rtl {
direction: rtl;
text-align: right;
}
</style>
""",
unsafe_allow_html=True
)
# --- 2) تحميل أو بناء قاعدة بيانات FAISS ---
embeddings = HuggingFaceEmbeddings(
model_name="CAMeL-Lab/bert-base-arabic-camelbert-mix",
model_kwargs={"trust_remote_code": True}
)
if os.path.exists(index_folder):
# تحميل قاعدة البيانات إذا كانت موجودة
vectorstore = FAISS.load_local(index_folder, embeddings, allow_dangerous_deserialization=True)
else:
# تحميل PDF وتقسيم النصوص
loader = PyPDFLoader(local_file)
documents = loader.load()
text_splitter = SemanticChunker(
embeddings=embeddings,
breakpoint_threshold_type='percentile',
breakpoint_threshold_amount=90
)
chunked_docs = text_splitter.split_documents(documents)
# إنشاء قاعدة بيانات FAISS
vectorstore = FAISS.from_documents(chunked_docs, embeddings)
vectorstore.save_local(index_folder)
# --- 3) إعداد المسترجع ---
retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 5})
# --- 4) إعداد نموذج النص ---
model_name = "CohereForAI/c4ai-command-r7b-arabic-02-2025" # اسم النموذج
# التأكد من وجود توكن Hugging Face
hf_token = os.getenv("HF_TOKEN")
if hf_token is None:
st.error("Hugging Face token not found. Please set the 'HF_TOKEN' environment variable.")
st.stop()
# تحميل النموذج والمحول
tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=hf_token)
# إعداد pipeline لتوليد النصوص
qa_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
# --- 5) إعداد الذاكرة ---
memory = ConversationBufferMemory(
memory_key="chat_history",
return_messages=True
)
# --- 6) إدارة رسائل المستخدم ---
if "messages" not in st.session_state:
st.session_state["messages"] = [
{"role": "assistant", "content": "👋 مرحبًا! اسألني أي شيء عن إدارة البيانات وحماية البيانات الشخصية!"}
]
# عرض الرسائل الحالية
for msg in st.session_state["messages"]:
with st.chat_message(msg["role"]):
st.markdown(f'<div class="rtl">{msg["content"]}</div>', unsafe_allow_html=True)
# --- 7) إدخال المستخدم ---
user_input = st.chat_input("اكتب سؤالك هنا")
# --- 8) معالجة رسالة المستخدم ---
if user_input:
# عرض رسالة المستخدم
st.session_state["messages"].append({"role": "user", "content": user_input})
with st.chat_message("user"):
st.markdown(f'<div class="rtl">{user_input}</div>', unsafe_allow_html=True)
# استرجاع المستندات ذات الصلة
retrieved_docs = retriever.get_relevant_documents(user_input)
context = "\n".join([doc.page_content for doc in retrieved_docs])
full_input = f"السياق:\n{context}\n\nالسؤال:\n{user_input}"
# توليد الإجابة باستخدام النموذج
response = qa_pipeline(full_input, max_length=500, num_return_sequences=1)[0]["generated_text"]
# عرض الإجابة
st.session_state["messages"].append({"role": "assistant", "content": response})
with st.chat_message("assistant"):
st.markdown(f'<div class="rtl">{response}</div>', unsafe_allow_html=True) |