Updated CarBot with Falcon-Arabic-7B-Instruct and enhanced database

app.py

@@ -1,7 +1,7 @@
 from fastapi import FastAPI, HTTPException
 from pydantic import BaseModel
 from typing import Optional
-from database import Database  # استوردنا الكلاس بدل الدوال
+from database import Database
 from transformers import pipeline
 from cachetools import TTLCache
 import logging
@@ -38,10 +38,11 @@ def load_generator():
     global generator
     if generator is None:
         try:
-            generator = pipeline('text-generation', model='aubmindlab/aragpt2-base', truncation=True, pad_token_id=0, eos_token_id=0, max_length=100, num_return_sequences=1)
-            logger.info("Successfully loaded AraGPT2 model")
+            # استخدام Falcon-Arabic-7B-Instruct بدلاً من AraGPT2
+            generator = pipeline('text-generation', model='tiiuae/falcon-7b-instruct', truncation=True, pad_token_id=0, eos_token_id=0, max_length=150, num_return_sequences=1)
+            logger.info("Successfully loaded Falcon-Arabic-7B-Instruct model")
         except Exception as e:
-            logger.error(f"Failed to load AraGPT2 model: {str(e)}")
+            logger.error(f"Failed to load Falcon-Arabic-7B-Instruct model: {str(e)}")
             raise
     return generator
 
@@ -57,7 +58,7 @@ def shutdown_event():
 @app.post("/cars/")
 async def add_car(car: Car):
     try:
-        car_id = db.create_car(car.model, car.price, car.status, car.description)  # استخدمنا db
+        car_id = db.create_car(car.model, car.price, car.status, car.description)
         return {"id": car_id, **car.dict()}
     except Exception as e:
         logger.error(f"Error creating car: {str(e)}")
@@ -69,7 +70,7 @@ async def list_cars():
         cached_result = cache.get("all_cars")
         if cached_result:
             return cached_result
-        cars = db.get_all_cars()  # استخدمنا db
+        cars = db.get_all_cars()
         cache["all_cars"] = cars
         return cars
     except Exception as e:
@@ -79,7 +80,7 @@ async def list_cars():
 @app.get("/cars/{car_id}")
 async def get_car(car_id: int):
     try:
-        car = db.get_car_by_id(car_id)  # استخدمنا db
+        car = db.get_car_by_id(car_id)
         if not car:
             raise HTTPException(status_code=404, detail="السيارة مو موجودة")
         return car
@@ -94,12 +95,12 @@ async def get_car_info(model: str):
         available_cars = [car for car in cars if car['model'].lower() == model.lower()]
         
         if not available_cars:
-            prompt = f"ما اعرف هذا الموديل '{model}'، اعطيني معلومات عنه بلهجة عراقية طبيعية."
+            prompt = f"ما اعرف هذا الموديل '{model}'، أجب بلهجة عراقية طبيعية عن معلومات عنه، مع ذكر السعر، المواصفات، أماكن البيع، أو قطع الغيار إذا كانت متاحة."
             try:
                 gen = load_generator()
-                response = gen(prompt, max_length=80, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
+                response = gen(prompt, max_length=150, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
                 response = response.split(".")[0].split("؟")[0].strip() + "."
-                if len(response) < 20:  # إذا الرد قصير جدًا، نرجع رد افتراضي
+                if len(response) < 20:
                     response = f"والله ما عندي معلومات كافية عن '{model}'، جربي موديل ثاني!"
                 return {"message": response}
             except Exception as e:
@@ -107,12 +108,12 @@ async def get_car_info(model: str):
                 return {"message": "عذرًا، خطأ أثناء توليد الرد."}
         
         car = available_cars[0]
-        prompt = f"اعطيني معلومات عن سيارة {car['model']}، سعرها {car['price']} دولار ووضعها {car['status']}، بلهجة عراقية طبيعية."
+        prompt = f"أجب بلهجة عراقية طبيعية عن سيارة {car['model']}، سعرها {car['price']} دولار ووضعها {car['status']}، مع ذكر مواصفاتها وأماكن بيعها إذا كانت متاحة."
         try:
             gen = load_generator()
-            response = gen(prompt, max_length=100, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
+            response = gen(prompt, max_length=150, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
             response = response.split(".")[0].split("؟")[0].strip() + "."
-            if len(response) < 20:  # إذا الرد قصير جدًا
+            if len(response) < 20:
                 response = f"سيارة {car['model']} سعرها {car['price']} دولار، ووضعها {car['status']}، حلوة ومناسبة للعراق!"
             return {"message": response}
         except Exception as e:

main.py

@@ -1,6 +1,8 @@
 import os
 import random
 import logging
+import json
+import time
 from datetime import datetime, timedelta
 from telegram import Update, InlineKeyboardButton, InlineKeyboardMarkup
 from telegram.ext import (
@@ -13,8 +15,6 @@ from telegram.ext import (
 )
 from telegram.error import TelegramError
 from dotenv import load_dotenv
-import requests
-from enum import Enum
 from database import Database
 from utils import (
     escape_markdown,
@@ -26,6 +26,16 @@ from utils import (
     delete_channel_post,
     generate_reactions,
 )
+import nltk
+from nltk.tokenize import word_tokenize
+from enum import Enum
+
+# Download NLTK data
+try:
+    nltk.download('punkt', quiet=True)
+    nltk.download('punkt_tab', quiet=True)
+except Exception as e:
+    logging.error(f"Failed to download NLTK data: {str(e)}")
 
 # Logging setup
 logging.basicConfig(
@@ -45,13 +55,140 @@ ADMIN_CHAT_ID = os.getenv("ADMIN_CHAT_ID")
 CHANNEL_ID = os.getenv("CHANNEL_ID")
 SUPPORT_USERNAME = os.getenv("SUPPORT_USERNAME", "@Support")
 
-# API endpoint for CarBot (update this to the public URL of your Space)
-CARBOT_API_URL = "https://imstevenleo-carbot-mixtral.hf.space/chat"  # Change to your Space URL
-
 # Initialize database
 db = Database()
 
-# تعريف الحالات باستخدام enum لتجنب الأخطاء
+# قاموس للمصطلحات المحلية
+local_terms = {
+    "اوباما": "كرايسلر 300",
+    "غراضها": "قطع غيار"
+}
+
+# قاعدة بيانات محلية موسعة للسيارات الشائعة في العراق
+popular_cars = [
+    {
+        "name": "تويوتا كورولا",
+        "model_year": "2016-2020",
+        "price": "4000-6000 دولار",
+        "type": "سيدان",
+        "maintenance": "سهلة ومتوفرة، قطع غيار متوفرة بكثرة",
+        "maintenance_locations": "بغداد، البصرة، أربيل",
+        "maintenance_cost": "150-300 ألف دينار سنويًا",
+        "popularity": "أكثر السيارات مبيعاً",
+        "location": "بغداد، البصرة",
+        "fuel_efficiency": "اقتصادية جدًا (12-15 كم/لتر)",
+        "suitable_for": "العائلات والشباب",
+        "spare_parts": "متوفرة في معظم ورش الصيانة بأسعار معقولة",
+        "reliability": "عالية جدًا"
+    },
+    {
+        "name": "هونداي اكسنت",
+        "model_year": "2015-2019",
+        "price": "3500-5000 دولار",
+        "type": "سيدان",
+        "maintenance": "متوسطة، قطع غيار متوفرة",
+        "maintenance_locations": "أربيل، النجف، بغداد",
+        "maintenance_cost": "200-400 ألف دينار سنويًا",
+        "popularity": "شائعة بين الشباب",
+        "location": "أربيل، النجف",
+        "fuel_efficiency": "جيدة (10-13 كم/لتر)",
+        "suitable_for": "الأفراد",
+        "spare_parts": "متوفرة لكن قد تكون أغلى قليلاً",
+        "reliability": "جيدة"
+    },
+    {
+        "name": "كيا ريو",
+        "model_year": "2014-2018",
+        "price": "4500-5500 دولار",
+        "type": "سيدان",
+        "maintenance": "متوسطة، قطع غيار متوفرة",
+        "maintenance_locations": "كربلاء، الموصل، بغداد",
+        "maintenance_cost": "250-450 ألف دينار سنويًا",
+        "popularity": "مناسبة للعائلات الصغيرة",
+        "location": "كربلاء، الموصل",
+        "fuel_efficiency": "متوسطة (9-12 كم/لتر)",
+        "suitable_for": "العائلات الصغيرة",
+        "spare_parts": "متوفرة في معظم المدن",
+        "reliability": "جيدة"
+    },
+    {
+        "name": "نيسان سنترا",
+        "model_year": "2016-2020",
+        "price": "5000-7000 دولار",
+        "type": "سيدان",
+        "maintenance": "متوسطة، قطع غيار باهظة قليلاً",
+        "maintenance_locations": "السليمانية، بغداد",
+        "maintenance_cost": "300-600 ألف دينار سنويًا",
+        "popularity": "محبوبة لقوتها",
+        "location": "السليمانية",
+        "fuel_efficiency": "جيدة (11-14 كم/لتر)",
+        "suitable_for": "الأفراد",
+        "spare_parts": "متوفرة لكن نادرة في بعض المناطق",
+        "reliability": "متوسطة إلى عالية"
+    },
+    {
+        "name": "تويوتا لاندكروزر",
+        "model_year": "2010-2015",
+        "price": "15000-25000 دولار",
+        "type": "دفع رباعي",
+        "maintenance": "متوسطة، قطع غيار متوفرة",
+        "maintenance_locations": "بغداد، دهوك، السليمانية",
+        "maintenance_cost": "500-1000 ألف دينار سنويًا",
+        "popularity": "شائعة في المناطق الريفية",
+        "location": "بغداد، دهوك",
+        "fuel_efficiency": "ثقيلة (6-8 كم/لتر)",
+        "suitable_for": "المناطق الوعرة",
+        "spare_parts": "متوفرة في المدن الكبرى",
+        "reliability": "عالية جدًا"
+    },
+    {
+        "name": "كرايسلر 300",
+        "model_year": "2018-2022",
+        "price": "3000000-4000000 دينار عراقي",
+        "type": "سيدان",
+        "maintenance": "متوسطة، قطع غيار متوفرة في المدن الكبرى",
+        "maintenance_locations": "بغداد، البصرة",
+        "maintenance_cost": "400-700 ألف دينار سنويًا",
+        "popularity": "شائعة بين عشاق السيارات الفاخرة",
+        "location": "بغداد، البصرة",
+        "fuel_efficiency": "متوسطة (8-10 كم/لتر)",
+        "suitable_for": "الأفراد والعائلات",
+        "spare_parts": "متوفرة لكن قد تكون باهظة",
+        "reliability": "جيدة"
+    },
+    {
+        "name": "هيونداي سوناتا",
+        "model_year": "2015-2019",
+        "price": "6000-8000 دولار",
+        "type": "سيدان",
+        "maintenance": "متوسطة، قطع غيار متوفرة",
+        "maintenance_locations": "بغداد، كربلاء، النجف",
+        "maintenance_cost": "300-500 ألف دينار سنويًا",
+        "popularity": "شائعة بين العائلات",
+        "location": "بغداد، كربلاء",
+        "fuel_efficiency": "جيدة (10-12 كم/لتر)",
+        "suitable_for": "العائلات",
+        "spare_parts": "متوفرة بأسعار معقولة",
+        "reliability": "جيدة"
+    },
+    {
+        "name": "تويوتا برادو",
+        "model_year": "2012-2018",
+        "price": "12000-18000 دولار",
+        "type": "دفع رباعي",
+        "maintenance": "متوسطة، قطع غيار متوفرة",
+        "maintenance_locations": "أربيل، دهوك، بغداد",
+        "maintenance_cost": "400-800 ألف دينار سنويًا",
+        "popularity": "شائعة في المناطق الريفية والمدن",
+        "location": "أربيل، دهوك",
+        "fuel_efficiency": "متوسطة (7-9 كم/لتر)",
+        "suitable_for": "العائلات والمناطق الوعرة",
+        "spare_parts": "متوفرة في المدن الكبرى",
+        "reliability": "عالية"
+    }
+]
+
+# تعريف الحالات باستخدام enum
 class UserState(Enum):
     AD_INTRO = "ad_intro"
     AD_CAR_NAME_AR = "ad_car_name_ar"
@@ -71,6 +208,55 @@ class UserState(Enum):
     SEARCHING_AD = "searching_ad"
     CAR_GPT = "car_gpt"
     ADMIN_EDIT = "admin_edit"
+    MAINTENANCE = "maintenance"
+    SPARE_PARTS = "spare_parts"
+
+# Cache لتسريع الاستجابة
+recommendation_cache = {}
+
+def load_scraped_data(filename: str = "cars_data.json") -> list:
+    if not os.path.exists(filename):
+        logger.warning(f"ملف {filename} غير موجود. سيتم إرجاع قائمة فارغة.")
+        return []
+    try:
+        with open(filename, "r", encoding="utf-8") as f:
+            data = json.load(f)
+            if not isinstance(data, list):
+                logger.error(f"ملف {filename} لا يحتوي على قائمة صالحة.")
+                return []
+            return data
+    except json.JSONDecodeError as e:
+        logger.error(f"خطأ في تحميل {filename}: {str(e)}")
+        return []
+    except Exception as e:
+        logger.error(f"خطأ غير متوقع في تحميل {filename}: {str(e)}")
+        return []
+
+# تحميل بيانات السكرابر
+scraped_cars = load_scraped_data()
+
+# تحليل السؤال باستخدام NLP
+def analyze_question(text: str) -> dict:
+    try:
+        tokens = word_tokenize(text.lower())
+        keywords = [
+            'سيارة', 'سعر', 'موديل', 'سنة', 'صيانة', 'قطع', 'أفضل', 'أكثر', 'شائعة', 'عائلية', 'رخيصة', 'ورقة',
+            'تويوتا', 'هونداي', 'كيا', 'نيسان', 'بغداد', 'البصرة', 'أربيل', 'كرايسلر'
+        ]
+        context = {k: k in tokens for k in keywords}
+        context['price'] = next((int(k) * 100 for k in tokens if k.isdigit() and 'ورقة' in tokens), None)
+        context['model_year'] = next((k for k in tokens if k.isdigit() and len(k) == 4 and 2000 <= int(k) <= 2025), None)
+        context['mileage'] = next((k for k in tokens if k.isdigit() and 'ألف' in tokens), None)
+        for term, actual in local_terms.items():
+            if term in tokens:
+                context['car_name'] = actual
+        return context
+    except Exception as e:
+        logger.error(f"خطأ في تحليل السؤال: {str(e)}")
+        tokens = text.lower().split()
+        context = {k: k in tokens for k in ['سيارة', 'سعر', 'موديل', 'صيانة', 'قطع', 'رخيصة']}
+        context['car_name'] = next((local_terms.get(t) for t in tokens if t in local_terms), None)
+        return context
 
 # Start command
 async def start(update: Update, context: ContextTypes.DEFAULT_TYPE):
@@ -163,7 +349,7 @@ async def button_callback(update: Update, context: ContextTypes.DEFAULT_TYPE):
         context.bot_data.setdefault("car_gpt_active", {})[user_id] = True
         context.user_data["state"] = UserState.CAR_GPT.value
         await query.message.reply_text(
-            escape_markdown("🤖 أكتبي طلبك لـ CarBot (مثل: سيارة رخيصة 50 ورقة):\nاكتبي 'قائمة' للرجوع."),
+            escape_markdown("🤖 أكتبي طلبك لـ CarBot (مثل: سيارة رخيصة 50 ورقة، أو أفضل سيارة عائلية):\nاكتبي 'قائمة' للرجوع."),
             reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]]),
             parse_mode='MarkdownV2'
         )
@@ -177,7 +363,7 @@ async def button_callback(update: Update, context: ContextTypes.DEFAULT_TYPE):
                 reply_markup=InlineKeyboardMarkup([
                     [InlineKeyboardButton("🚗 إضافة إعلان", callback_data="add_ad")],
                     [InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]
-               Shadow]),
+                ]),
                 parse_mode='MarkdownV2'
             )
             return
@@ -199,6 +385,24 @@ async def button_callback(update: Update, context: ContextTypes.DEFAULT_TYPE):
         )
         return
 
+    if data == "maintenance":
+        context.user_data["state"] = UserState.MAINTENANCE.value
+        await query.message.reply_text(
+            escape_markdown("🛠️ أكتبي اسم السيارة لمعلومات الصيانة (مثل: تويوتا كورولا):"),
+            reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]]),
+            parse_mode='MarkdownV2'
+        )
+        return
+
+    if data == "spare_parts":
+        context.user_data["state"] = UserState.SPARE_PARTS.value
+        await query.message.reply_text(
+            escape_markdown("🔩 أكتبي اسم السيارة لمعلومات قطع الغيار (مثل: تويوتا كورولا):"),
+            reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]]),
+            parse_mode='MarkdownV2'
+        )
+        return
+
     if data.startswith("admin_approve_") and user_id == ADMIN_CHAT_ID:
         ad_id = data[len("admin_approve_"):]
         try:
@@ -251,31 +455,160 @@ async def button_callback(update: Update, context: ContextTypes.DEFAULT_TYPE):
         parse_mode='MarkdownV2'
     )
 
-# CarBot recommendation generator using API
+# CarBot recommendation generator using Falcon-Arabic
 async def generate_car_recommendation(user_input: str) -> str:
+    cache_key = user_input.lower().strip()
+    if cache_key in recommendation_cache and time.time() - recommendation_cache[cache_key]["timestamp"] < 3600:
+        return recommendation_cache[cache_key]["response"]
+
     try:
-        response = requests.post(CARBOT_API_URL, json={"message": user_input})
-        response.raise_for_status()
-        return response.json()["response"]
-    except requests.exceptions.RequestException as e:
-        logger.error(f"API request failed: {str(e)}")
-        return await generate_fallback_recommendation(user_input)
+        context = analyze_question(user_input)
+        keywords = user_input.lower().split()
+        prompt = None
+
+        # تحسين المطالبات لتكون أكثر تحديدًا
+        if context.get('ورقة') and context.get('price'):
+            price_dollars = context['price']
+            prompt = f"ابحث عن سيارة بسعر حوالي {price_dollars} دولار أو أقل في العراق، وأجب بلهجة عراقية طبيعية عن سعرها، مواصفاتها، أماكن بيعها، وتوفر قطع الغيار."
+        elif context.get('صيانة') or context.get('قطع'):
+            car_name = context.get('car_name', next((k for k in keywords if k in [car["name"].split()[0].lower() for car in popular_cars]), user_input))
+            prompt = f"أجب بلهجة عراقية طبيعية عن صيانة أو قطع غيار السيارة {car_name} في العراق، مع ذكر أماكن الصيانة، التكلفة، وتوفر القطع."
+        elif context.get('أفضل') or context.get('أكثر') or context.get('شائعة'):
+            prompt = f"أجب بلهجة عراقية طبيعية عن أفضل أو أكثر سيارة مبيعاً في العراق، مع ذكر سعرها، مواصفاتها، أماكن بيعها، ولماذا هي شائعة."
+        elif context.get('عائلية'):
+            prompt = f"ابحث عن سيارة عائلية مناسبة في العراق، وأجب بلهجة عراقية طبيعية عن سعرها، مواصفاتها، أماكن بيعها، ولماذا مناسبة للعائلات."
+        elif context.get('model_year'):
+            car_name = context.get('car_name', next((k for k in keywords if k in [car["name"].split()[0].lower() for car in popular_cars]), "غير محدد"))
+            prompt = f"أجب بلهجة عراقية طبيعية عن سيارة {car_name} موديل {context['model_year']} في العراق، مع ذكر سعرها، مواصفاتها، أماكن بيعها، وتوفر قطع الغيار."
+        else:
+            prompt = f"أجب بلهجة عراقية طبيعية عن سؤال حول السيارات في العراق: {user_input}. قدم معلومات عن السعر، المواصفات، أماكن البيع، وقطع الغيار إذا كانت متاحة."
+
+        # استخدام Falcon-Arabic
+        gen = load_generator()
+        response = gen(prompt, max_length=150, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
+        response = response.split(".")[0].split("؟")[0].strip() + "."
+
+        # تنظيف الرد ودمج مع بيانات السكرابر
+        if len(response) < 30 or "غير معروف" in response or "ما اعرف" in response:
+            fallback_response = await generate_fallback_recommendation(user_input, context)
+            recommendation_cache[cache_key] = {"response": fallback_response, "timestamp": time.time()}
+            return fallback_response
+
+        recommendation_cache[cache_key] = {"response": response, "timestamp": time.time()}
+        return response
     except Exception as e:
-        logger.error(f"Unexpected error in generate_car_recommendation: {str(e)}")
-        return await generate_fallback_recommendation(user_input)
-
-# Fallback recommendation
-async def generate_fallback_recommendation(user_input: str) -> str:
-    cars = [
-        {"name": "كيا أوبتيما", "price": "20-30 ألف دولار", "type": "سيدان", "location": "بغداد"},
-        {"name": "تويوتا كورولا", "price": "18-25 ألف دولار", "type": "سيدان", "location": "البصرة"},
-        {"name": "هيونداي توسان", "price": "25-35 ألف دولار", "type": "دفع رباعي", "location": "أربيل"}
-    ]
-    message = (
-        f"🔍 ما لقيت نتايج دقيقة لـ '{escape_markdown(user_input)}'، بس أنصحك بهي السيارات الشائعة بالعراق:\n\n" +
-        "\n".join([f"🚗 *{c['name']}*: {c['price']} \\({c['type']}\\) \\- متوفرة بـ {c['location']}" for c in cars]) +
-        f"\n📌 الذكاء الاصطناعي غير متاح حاليًا! جربي طلب ثاني أو تواصلي مع \\{SUPPORT_USERNAME}\\!"
-    )
+        logger.error(f"Error in generate_car_recommendation: {str(e)}")
+        fallback_response = await generate_fallback_recommendation(user_input, context)
+        recommendation_cache[cache_key] = {"response": fallback_response, "timestamp": time.time()}
+        return fallback_response
+
+# Fallback recommendation with enhanced Iraqi context
+async def generate_fallback_recommendation(user_input: str, context: dict) -> str:
+    keywords = user_input.lower().split()
+    
+    # البحث في بيانات السكرابر أولاً
+    matched_scraped_car = None
+    if context.get('price'):
+        price_dollars = context['price']
+        matched_scraped_car = next(
+            (c for c in scraped_cars if any(k in c.get("name", "").lower() for k in keywords) and 
+             any(str(price_dollars) in c.get("price", "") for k in keywords)), None
+        )
+    elif context.get('model_year'):
+        matched_scraped_car = next(
+            (c for c in scraped_cars if any(k in c.get("name", "").lower() for k in keywords) and 
+             context['model_year'] in c.get("model_year", "")), None
+        )
+    else:
+        matched_scraped_car = next(
+            (c for c in scraped_cars if any(k in c.get("name", "").lower() for k in keywords)), None
+        )
+
+    if matched_scraped_car:
+        message = (
+            f"🚗 بناءً على طلبك '{user_input}'، أنصحك بـ {matched_scraped_car.get('name', 'غير محدد')}:\n"
+            f"السعر: {matched_scraped_car.get('price', 'غير محدد')}\n"
+            f"الموديل: {matched_scraped_car.get('model_year', 'غير محدد')}\n"
+            f"الموقع: {matched_scraped_car.get('location', 'غير محدد')}\n"
+            f"المواصفات: {matched_scraped_car.get('description', 'غير محدد')}\n"
+            f"الصيانة: {matched_scraped_car.get('maintenance', 'غير محدد')}\n"
+            f"قطع الغيار: {matched_scraped_car.get('spare_parts', 'غير محدد')}"
+        )
+        return message
+
+    # إذا ما لقينا في السكرابر، نرجع لـ popular_cars
+    car = random.choice(popular_cars)
+    if context.get('ورقة') and context.get('price'):
+        price_dollars = context['price']
+        matched_car = next((c for c in popular_cars if int(c["price"].split("-")[1].replace(" دولار", "")) <= price_dollars), car)
+        message = (
+            f"🚗 إذا بدك سيارة بـ {price_dollars} دولار، أنصحك بـ {matched_car['name']}:\n"
+            f"السعر: {matched_car['price']}\n"
+            f"النوع: {matched_car['type']}\n"
+            f"الصيانة: {matched_car['maintenance']} (بتكلف حوالي {matched_car['maintenance_cost']})\n"
+            f"أماكن الصيانة: {matched_car['maintenance_locations']}\n"
+            f"الشعبية: {matched_car['popularity']}\n"
+            f"تلكينها بـ: {matched_car['location']}\n"
+            f"كفاءة البنزين: {matched_car['fuel_efficiency']}\n"
+            f"قطع الغيار: {matched_car['spare_parts']}"
+        )
+    elif context.get('صيانة') or context.get('قطع'):
+        matched_car = next((c for c in popular_cars if any(k in c["name"].lower() for k in keywords)), car)
+        message = (
+            f"🚗 معلومات صيانة وقطع غيار لسيارة {matched_car['name']}:\n"
+            f"الصيانة: {matched_car['maintenance']}\n"
+            f"تكلفة الصيانة: {matched_car['maintenance_cost']}\n"
+            f"أماكن الصيانة: {matched_car['maintenance_locations']}\n"
+            f"قطع الغيار: {matched_car['spare_parts']}"
+        )
+    elif context.get('أفضل') or context.get('أكثر') or context.get('شائعة'):
+        matched_car = next((c for c in popular_cars if "أكثر" in c["popularity"]), car)
+        message = (
+            f"🚗 أكثر سيارة شائعة في العراق هي {matched_car['name']}:\n"
+            f"السعر: {matched_car['price']}\n"
+            f"النوع: {matched_car['type']}\n"
+            f"الصيانة: {matched_car['maintenance']}\n"
+            f"الشعبية: {matched_car['popularity']}\n"
+            f"تلكينها بـ: {matched_car['location']}\n"
+            f"كفاءة البنزين: {matched_car['fuel_efficiency']}\n"
+            f"قطع الغيار: {matched_car['spare_parts']}"
+        )
+    elif context.get('عائلية'):
+        matched_car = next((c for c in popular_cars if "عائلات" in c["suitable_for"] or "دفع رباعي" in c["type"]), car)
+        message = (
+            f"🚗 إذا بدك سيارة عائلية، أنصحك بـ {matched_car['name']}:\n"
+            f"السعر: {matched_car['price']}\n"
+            f"النوع: {matched_car['type']}\n"
+            f"الصيانة: {matched_car['maintenance']}\n"
+            f"الشعبية: {matched_car['popularity']}\n"
+            f"تلكينها بـ: {matched_car['location']}\n"
+            f"كفاءة البنزين: {matched_car['fuel_efficiency']}\n"
+            f"قطع الغيار: {matched_car['spare_parts']}"
+        )
+    elif context.get('model_year'):
+        matched_car = next((c for c in popular_cars if context['model_year'] in c["model_year"]), car)
+        message = (
+            f"🚗 بناءً على طلبك '{user_input}'، أنصحك بـ {matched_car['name']}:\n"
+            f"السعر: {matched_car['price']}\n"
+            f"النوع: {matched_car['type']}\n"
+            f"الصيانة: {matched_car['maintenance']}\n"
+            f"الشعبية: {matched_car['popularity']}\n"
+            f"تلكينها بـ: {matched_car['location']}\n"
+            f"كفاءة البنزين: {matched_car['fuel_efficiency']}\n"
+            f"قطع الغيار: {matched_car['spare_parts']}"
+        )
+    else:
+        matched_car = next((c for c in popular_cars if any(k in c["name"].lower() for k in keywords)), car)
+        message = (
+            f"🔍 ما لقيت معلومات دقيقة عن '{user_input}'، بس أنصحك بـ {matched_car['name']}:\n"
+            f"السعر: {matched_car['price']}\n"
+            f"النوع: {matched_car['type']}\n"
+            f"الصيانة: {matched_car['maintenance']}\n"
+            f"الشعبية: {matched_car['popularity']}\n"
+            f"تلكينها بـ: {matched_car['location']}\n"
+            f"كفاءة البنزين: {matched_car['fuel_efficiency']}\n"
+            f"قطع الغيار: {matched_car['spare_parts']}"
+        )
     return message
 
 # Message handler
@@ -319,7 +652,11 @@ async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
         await update.message.reply_text(
             escape_markdown(recommendation),
             parse_mode='MarkdownV2',
-            reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]])
+            reply_markup=InlineKeyboardMarkup([
+                [InlineKeyboardButton("صيانة", callback_data="maintenance")],
+                [InlineKeyboardButton("قطع غيار", callback_data="spare_parts")],
+                [InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]
+            ])
         )
         return
 
@@ -340,6 +677,78 @@ async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
             )
         return
 
+    if state == UserState.MAINTENANCE.value:
+        context = analyze_question(text)
+        car_name = context.get('car_name', text)
+        prompt = f"أجب بلهجة عراقية طبيعية عن صيانة السيارة {car_name} في العراق، مع ذكر أماكن الصيانة والتكلفة إن أمكن."
+        try:
+            gen = load_generator()
+            response = gen(prompt, max_length=150, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
+            response = response.split(".")[0].split("؟")[0].strip() + "."
+            if len(response) < 30:
+                matched_car = next((c for c in popular_cars if car_name.lower() in c["name"].lower()), random.choice(popular_cars))
+                response = (
+                    f"🚗 معلومات صيانة لسيارة {matched_car['name']}:\n"
+                    f"الصيانة: {matched_car['maintenance']}\n"
+                    f"تكلفة الصيانة: {matched_car['maintenance_cost']}\n"
+                    f"أماكن الصيانة: {matched_car['maintenance_locations']}"
+                )
+            await update.message.reply_text(
+                escape_markdown(response),
+                parse_mode='MarkdownV2',
+                reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]])
+            )
+        except Exception as e:
+            logger.error(f"Error fetching maintenance info: {str(e)}")
+            matched_car = next((c for c in popular_cars if car_name.lower() in c["name"].lower()), random.choice(popular_cars))
+            message = (
+                f"🚗 معلومات صيانة لسيارة {matched_car['name']}:\n"
+                f"الصيانة: {matched_car['maintenance']}\n"
+                f"تكلفة الصيانة: {matched_car['maintenance_cost']}\n"
+                f"أماكن الصيانة: {matched_car['maintenance_locations']}"
+            )
+            await update.message.reply_text(
+                escape_markdown(message),
+                parse_mode='MarkdownV2',
+                reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]])
+            )
+        return
+
+    if state == UserState.SPARE_PARTS.value:
+        context = analyze_question(text)
+        car_name = context.get('car_name', text)
+        prompt = f"أجب بلهجة عراقية طبيعية عن قطع غيار السيارة {car_name} في العراق، مع ذكر أماكن التوفر والأسعار إن أمكن."
+        try:
+            gen = load_generator()
+            response = gen(prompt, max_length=150, num_return_sequences=1, do_sample=True, temperature=0.7)[0]['generated_text']
+            response = response.split(".")[0].split("؟")[0].strip() + "."
+            if len(response) < 30:
+                matched_car = next((c for c in popular_cars if car_name.lower() in c["name"].lower()), random.choice(popular_cars))
+                response = (
+                    f"🔩 قطع غيار لسيارة {matched_car['name']}:\n"
+                    f"التوفر: {matched_car['spare_parts']}\n"
+                    f"أماكن الصيانة: {matched_car['maintenance_locations']}"
+                )
+            await update.message.reply_text(
+                escape_markdown(response),
+                parse_mode='MarkdownV2',
+                reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]])
+            )
+        except Exception as e:
+            logger.error(f"Error fetching spare parts info: {str(e)}")
+            matched_car = next((c for c in popular_cars if car_name.lower() in c["name"].lower()), random.choice(popular_cars))
+            message = (
+                f"🔩 قطع غيار لسيارة {matched_car['name']}:\n"
+                f"التوفر: {matched_car['spare_parts']}\n"
+                f"أماكن الصيانة: {matched_car['maintenance_locations']}"
+            )
+            await update.message.reply_text(
+                escape_markdown(message),
+                parse_mode='MarkdownV2',
+                reply_markup=InlineKeyboardMarkup([[InlineKeyboardButton("🏠 القائمة", callback_data="main_menu")]])
+            )
+        return
+
     if state == UserState.AD_CAR_NAME_AR.value:
         context.user_data["ad"]["car_name_ar"] = text
         context.user_data["state"] = UserState.AD_CAR_NAME_EN.value
@@ -361,7 +770,6 @@ async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
         return
 
     if state == UserState.AD_PRICE.value:
-        # تحقق بسيط إن السعر يحتوي على أرقام
         if not any(char.isdigit() for char in text):
             await update.message.reply_text(
                 escape_markdown("❌ السعر لازم يحتوي على أرقام! جربي مرة ثانية:"),
@@ -379,7 +787,6 @@ async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
         return
 
     if state == UserState.AD_MODEL.value:
-        # تحقق بسيط إن الموديل رقم
         if not text.isdigit():
             await update.message.reply_text(
                 escape_markdown("❌ الموديل لازم يكون رقم! جربي مرة ثانية:"),

scraper.py

@@ -0,0 +1,132 @@
+import requests
+from bs4 import BeautifulSoup
+import logging
+import json
+import time
+from typing import List, Dict
+from random import choice
+from datetime import datetime
+
+# Logging setup
+logging.basicConfig(
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
+    level=logging.INFO,
+    handlers=[logging.FileHandler("scraper.log", encoding='utf-8'), logging.StreamHandler()]
+)
+logger = logging.getLogger(__name__)
+
+# قائمة User-Agent عشوائية لتجنب الحظر
+USER_AGENTS = [
+    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
+    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15",
+    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36",
+    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0"
+]
+
+# Headers لمحاكاة متصفح حقيقي
+def get_headers() -> dict:
+    return {
+        "User-Agent": choice(USER_AGENTS),
+        "Accept-Language": "en-US,en;q=0.9",
+        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
+        "Connection": "keep-alive"
+    }
+
+def scrape_website(url: str, retries: int = 3) -> List[Dict]:
+    """
+    جمع بيانات السيارات من موقع ويب معين مع إعادة المحاولة عند الفشل.
+    """
+    for attempt in range(retries):
+        try:
+            response = requests.get(url, headers=get_headers(), timeout=10)
+            response.raise_for_status()
+            soup = BeautifulSoup(response.content, "html.parser")
+            cars_data = []
+
+            # محددات عامة (يجب تعديلها حسب هيكلية كل موقع)
+            car_listings = soup.select(".car-item, .listing-item, .product-item, .car-listing, .ad-item, .vehicle-item")
+            if not car_listings:
+                logger.warning(f"لم يتم العثور على قوائم سيارات في {url}. تحققي من المحددات.")
+                return cars_data
+
+            for car in car_listings:
+                try:
+                    car_data = {}
+                    # تحقق من وجود العنصر قبل استخراج النص
+                    name_elem = car.select_one(".car-title, .product-title, .listing-title, .ad-title, .vehicle-title, h2, h3")
+                    car_data["name"] = name_elem.text.strip() if name_elem else "غير محدد"
+                    
+                    price_elem = car.select_one(".car-price, .price, .product-price, .listing-price, .ad-price")
+                    car_data["price"] = price_elem.text.strip() if price_elem else "غير محدد"
+                    
+                    year_elem = car.select_one(".car-year, .year, .model-year")
+                    car_data["model_year"] = year_elem.text.strip() if year_elem else "غير محدد"
+                    
+                    location_elem = car.select_one(".car-location, .location, .city")
+                    car_data["location"] = location_elem.text.strip() if location_elem else "غير محدد"
+                    
+                    desc_elem = car.select_one(".car-description, .description, .details")
+                    car_data["description"] = desc_elem.text.strip() if desc_elem else "غير محدد"
+                    
+                    # إضافة بيانات الصيانة وقطع الغيار
+                    maintenance_elem = car.select_one(".maintenance, .service-info")
+                    car_data["maintenance"] = maintenance_elem.text.strip() if maintenance_elem else "غير محدد"
+                    
+                    spare_parts_elem = car.select_one(".spare-parts, .parts-info")
+                    car_data["spare_parts"] = spare_parts_elem.text.strip() if spare_parts_elem else "غير محدد"
+                    
+                    car_data["source"] = url.split("//")[1].split("/")[0]
+                    car_data["scraped_at"] = datetime.now().isoformat()
+                    cars_data.append(car_data)
+                    logger.info(f"تم جمع بيانات: {car_data['name']} - {car_data['price']} من {url}")
+                except Exception as e:
+                    logger.error(f"خطأ في استخراج بيانات سيارة من {url}: {str(e)}")
+                    continue
+
+            return cars_data
+        except requests.exceptions.RequestException as e:
+            logger.error(f"خطأ في الاتصال بـ {url} (محاولة {attempt + 1}/{retries}): {str(e)}")
+            if attempt < retries - 1:
+                time.sleep(5 * (attempt + 1))  # تأخير متزايد
+            else:
+                return []
+        except Exception as e:
+            logger.error(f"خطأ غير متوقع في scrape_website لـ {url}: {str(e)}")
+            return []
+
+def save_data(data: List[Dict], filename: str = "cars_data.json"):
+    """
+    تخزين البيانات في ملف JSON.
+    """
+    try:
+        with open(filename, "w", encoding="utf-8") as f:
+            json.dump(data, f, ensure_ascii=False, indent=4)
+        logger.info(f"تم تخزين {len(data)} عنصر في {filename}")
+    except Exception as e:
+        logger.error(f"خطأ في تخزين البيانات في {filename}: {str(e)}")
+
+if __name__ == "__main__":
+    websites = [
+        "https://iq.labeb.com/ct/cars-for-sale-558",
+        "https://www.akosayara.com/",
+        "https://www.iqcars.net/",
+        "https://alrashad.com.iq/",
+        "https://website.tao.iq/index.php/ar/",
+        "https://www.quattro-iq.com/home-ar",
+        "https://iq.opensooq.com/ar/%D9%85%D8%B1%D8%A7%D9%83%D8%B2-%D8%AE%D8%AF%D9%85%D8%A7%D8%AA-%D8%A7%D9%84%D8%B3%D9%8A%D8%A7%D8%B1%D8%A7%D8%AA/%D8%A7%D9%84%D8%AE%D8%AF%D9%85%D8%A7%D8%AA/%D9%82%D8%B7%D8%B9-%D8%BA%D9%8A%D8%A7%D8%B1",
+        "https://ghiarati.com/",
+        "https://www.motors.iq/",
+        "https://www.alsayyara.com/"
+    ]
+
+    while True:
+        all_cars_data = []
+        for url in websites:
+            logger.info(f"جمع البيانات من {url}")
+            cars_data = scrape_website(url)
+            all_cars_data.extend(cars_data)
+            time.sleep(5)  # تأخير 5 ثواني لتجنب الحظر
+
+        save_data(all_cars_data)
+        logger.info("تم الانتهاء من جمع البيانات. النوم لمدة ساعة...")
+        time.sleep(3600)  # تحديث كل ساعة