Update app.py

app.py

@@ -1,11 +1,14 @@
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
 
-# Cargar el modelo en 8 bits usando bitsandbytes
+# Configurar el modelo para usar 8 bits
+quantization_config = BitsAndBytesConfig(load_in_8bit=True)
+
+# Cargar el modelo usando la configuración de 8 bits
 model = AutoModelForCausalLM.from_pretrained(
-    "JuanCabs/lapepav0",  # Nombre de tu modelo en Hugging Face
-    load_in_8bit=True,     # Cargar el modelo en 8 bits
-    device_map="auto"      # Asignar automáticamente a la GPU si está disponible
+    "JuanCabs/lapepav0",  
+    quantization_config=quantization_config,  # Usar configuración de bits y bytes
+    device_map="auto"  # Asignar automáticamente el dispositivo CPU/GPU
 )
 tokenizer = AutoTokenizer.from_pretrained("JuanCabs/lapepav0")