Update app.py

app.py

@@ -3,38 +3,38 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStream
 from threading import Thread
 import gradio as gr
 
-# 1. Configuración del Modelo (usando un modelo más ligero y compatible)
-MODEL_NAME = "mistralai/Mistral-7B-v0.1"  # Modelo bien soportado en Spaces
+# 1. Configuración robusta del modelo (usamos uno más liviano)
+MODEL_NAME = "microsoft/phi-2"  # Modelo eficiente para Spaces
 
-# 2. Carga del Modelo con manejo de errores
+# 2. Carga con manejo de errores
 try:
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
     model = AutoModelForCausalLM.from_pretrained(
         MODEL_NAME,
         torch_dtype=torch.float16,
         device_map="auto"
     )
 except Exception as e:
-    raise gr.Error(f"Error al cargar el modelo: {str(e)}")
+    raise gr.Error(f"❌ Error al cargar el modelo: {str(e)}")
 
-# 3. Función de Generación con Validación
-def generate_response(message, history):
+# 3. Función de generación mejorada
+def chat_with_gerardo(message, history):
     try:
-        # Construir el prompt
-        messages = [{"role": "user", "content": message}]
-        
-        inputs = tokenizer.apply_chat_template(
-            messages,
-            return_tensors="pt"
-        ).to(model.device)
+        # Construimos el prompt manualmente
+        prompt = "Eres Gerardo, un asistente IA útil. Responde preguntas claramente.\n\n"
+        for user_msg, bot_msg in history:
+            prompt += f"Usuario: {user_msg}\nGerardo: {bot_msg}\n"
+        prompt += f"Usuario: {message}\nGerardo:"
         
+        inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
         streamer = TextIteratorStreamer(tokenizer)
         
         generation_kwargs = dict(
-            inputs=inputs,
+            inputs,
             streamer=streamer,
-            max_new_tokens=512,
-            temperature=0.7
+            max_new_tokens=300,  # Reducido para evitar OOM
+            temperature=0.7,
+            pad_token_id=tokenizer.eos_token_id
         )
         
         thread = Thread(target=model.generate, kwargs=generation_kwargs)
@@ -45,18 +45,21 @@ def generate_response(message, history):
             partial_message += new_token
             yield partial_message
             
+    except torch.cuda.OutOfMemoryError:
+        yield "⚠️ Error: Memoria de GPU agotada. Intenta con una consulta más corta."
     except Exception as e:
-        raise gr.Error(f"Error en generación: {str(e)}")
+        yield f"❌ Error: {str(e)}"
 
-# 4. Configuración Robustecida de la Interfaz
-with gr.Blocks(title="Chatbot Gerardo") as demo:
-    chatbot = gr.ChatInterface(
-        fn=generate_response,
-        examples=["Hola", "¿Cómo funciona esto?"],
-        title="🤖 Chatbot de Gerardo",
-        description="Un asistente IA creado por Gerardo"
+# 4. Interfaz con configuración optimizada
+with gr.Blocks(title="Chatbot Gerardo v2.0") as demo:
+    gr.Markdown("## 🤖 Chatbot creado por Gerardo")
+    gr.ChatInterface(
+        fn=chat_with_gerardo,
+        examples=["Hola Gerardo", "¿Qué puedes hacer?"],
+        cache_examples=False  # Importante para Spaces
     )
 
-# 5. Lanzamiento Específico para Spaces
+# 5. Lanzamiento específico para Hugging Face
 if __name__ == "__main__":
-    demo.launch(server_name="0.0.0.0", server_port=7860)
+    demo.launch(server_name="0.0.0.0", server_port=7860)
+