# Modern Model Yaklaşımı - Eğitilmiş LoRA'yı Tam Kullanım import gradio as gr import torch from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig import os from datetime import datetime import gc import re class ModernTechWriterBot: def __init__(self): self.tokenizer = None self.model = None self.loaded = False self.load_model() def load_model(self): """Modern model yükleme - LoRA'ya odaklı""" try: print("🔄 Modern model sistemi yükleniyor...") # Daha yeni Türkçe model deneyelim model_options = [ "microsoft/DialoGPT-medium", # Daha iyi chat modeli "ytu-ce-cosmos/turkish-gpt2-large", # Mevcut "gpt2" # Fallback ] model_loaded = False for model_name in model_options: try: print(f"🔄 Deneniyor: {model_name}") self.tokenizer = AutoTokenizer.from_pretrained(model_name) if self.tokenizer.pad_token is None: self.tokenizer.pad_token = self.tokenizer.eos_token # Model yükle (daha agresif ayarlarla) self.model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.float32, device_map=None, low_cpu_mem_usage=True, trust_remote_code=True ) print(f"✅ Base model yüklendi: {model_name}") model_loaded = True break except Exception as e: print(f"⚠️ {model_name} yüklenemedi: {e}") continue if not model_loaded: raise Exception("Hiçbir model yüklenemedi") # LoRA adapter'ı ZORUNLU yükle try: from peft import PeftModel print("🔥 LoRA adapter ZORUNLU yükleniyor...") # LoRA'yı merge etmeden kullan self.model = PeftModel.from_pretrained( self.model, ".", torch_dtype=torch.float32, device_map=None ) print("🎉 EĞİTİLMİŞ LoRA MODEL BAŞARIYLA YÜKLENDİ!") print("📊 Trainable parameters:") self.model.print_trainable_parameters() except Exception as e: print(f"❌ KRITIK HATA: LoRA yüklenemedi: {e}") print("🔄 Base model ile devam ediliyor...") self.loaded = True gc.collect() print("✅ Model sistemi hazır!") return True except Exception as e: print(f"❌ Model yükleme tamamen başarısız: {e}") self.loaded = False return False def rewrite_article(self, text, task_type): """EĞİTİLMİŞ MODEL ile yeniden yazım""" if not text.strip(): return "❌ Lütfen bir metin girin!", "" if len(text) > 1500: text = text[:1500] + "..." if not self.loaded: return self.fallback_response(text, task_type) print(f"🔥 EĞİTİLMİŞ MODEL ile işlem başlıyor: {task_type}") try: # ÇOK DETAYLI PROMPT - Eğitim formatına uygun if task_type == "Yeniden Yaz": prompt = f"""[SISTEM] Sen eğitilmiş teknoloji yazarısın. Verilen haberi aynı konu hakkında kendi üslubunla yeniden yaz. "Peki", "Gelelim", "Şimdi", "Bunun dışında" geçiş kelimeleri kullan. En az 200 kelime yaz. [KULLANICI] Bu teknoloji haberini yeniden yaz - aynı konu, aynı ürün, aynı markalar hakkında: {text} [ASISTAN]""" elif task_type == "Devam Ettir": prompt = f"""[SISTEM] Sen eğitilmiş teknoloji yazarısın. Verilen başlangıcı alıp aynı konu hakkında detaylı makale yaz. En az 250 kelime yaz. [KULLANICI] Bu başlangıcı alıp aynı konu hakkında makaleyi tamamla: {text} [ASISTAN]""" else: # Özetle prompt = f"""[SISTEM] Sen eğitilmiş teknoloji yazarısın. Bu haberi özetle ama aynı bilgileri koru. En az 150 kelime yaz. [KULLANICI] Bu haberi özetle: {text} [ASISTAN]""" # Tokenize inputs = self.tokenizer.encode( prompt, return_tensors="pt", truncation=True, max_length=600 # Daha uzun prompt ) # ADVANCED GENERATION CONFIG generation_config = GenerationConfig( max_length=inputs.shape[1] + 800, # Çok daha uzun min_length=inputs.shape[1] + 300, # Minimum uzun temperature=0.8, # Yaratıcı do_sample=True, top_p=0.9, top_k=50, repetition_penalty=1.3, # Tekrar önle no_repeat_ngram_size=3, # 3'lü tekrar engelle early_stopping=False, length_penalty=1.5, # Uzunluğu teşvik et pad_token_id=self.tokenizer.eos_token_id, eos_token_id=self.tokenizer.eos_token_id, use_cache=True ) print("🚀 Advanced generation başlıyor...") # Generate with advanced config with torch.no_grad(): outputs = self.model.generate( inputs, generation_config=generation_config, attention_mask=torch.ones_like(inputs) ) # Decode full_response = self.tokenizer.decode(outputs[0], skip_special_tokens=True) # Response'u temizle if "[ASISTAN]" in full_response: result = full_response.split("[ASISTAN]")[1].strip() else: result = full_response[len(prompt):].strip() # Kalite kontrolleri result = self.post_process_output(result, text, task_type) word_count = len(result.split()) print(f"🎉 EĞİTİLMİŞ MODEL çıktısı: {word_count} kelime") # HTML oluştur html_output = self.create_modern_html(result) # Memory temizle del outputs gc.collect() return result, html_output except Exception as e: print(f"❌ Advanced generation hatası: {e}") return self.fallback_response(text, task_type) def post_process_output(self, result, original_text, task_type): """Çıktıyı iyileştir""" # Çok kısa sonuç kontrolü word_count = len(result.split()) if word_count < 100: print(f"⚠️ Çıktı çok kısa ({word_count} kelime), genişletiliyor...") # Orijinal metinden bilgi al key_info = self.extract_smart_info(original_text) # Genişletme extension = f""" Gelelim bu konunun diğer boyutlarına. {' '.join(key_info['brands'][:2])} markası bu alanda önemli bir gelişme göstermiş durumda. Şimdi teknik performans konusuna değinelim. {' '.join(key_info['numbers'][:3])} gibi özellikler gerçekten dikkat çekiyor ve kullanıcı deneyimini önemli ölçüde geliştirecek gibi görünüyor. Bunun dışında sektördeki konumunu da değerlendirmek gerekiyor. Bu gelişme rekabet açısından önemli avantajlar sunuyor ve gelecekte daha da geliştirilmesi bekleniyor. Son olarak da kullanıcılar açısından bu yeniliğin ne ifade ettiğini söylemek gerekir ki, teknoloji dünyasında önemli bir adım olduğu kesin.""" result += extension word_count = len(result.split()) print(f"📈 Genişletilmiş çıktı: {word_count} kelime") # Tekrar temizleme result = self.clean_repetitions(result) return result def extract_smart_info(self, text): """Akıllı bilgi çıkarma""" # Gelişmiş regex'ler numbers = re.findall(r'\d+(?:GB|MB|TB|Hz|GHz|MHz|W|TDP|nm|MP|inch|inç|%|bit|Wh|mAh|fps|ms)', text, re.IGNORECASE) brands = re.findall(r'\b(?:NVIDIA|AMD|Intel|Apple|Samsung|Google|Microsoft|Meta|Tesla|Huawei|Xiaomi|OnePlus|ASUS|MSI|GIGABYTE|Corsair|Razer|Logitech|Sony|LG|Dell|HP|Lenovo|Acer|Polestar|Volvo|BMW|Mercedes|Tesla)\b', text, re.IGNORECASE) models = re.findall(r'\b(?:RTX \d+|GTX \d+|iPhone \d+|Galaxy S\d+|Ryzen \w+|Core i\d+|A\d+ (?:Bionic|Pro)?|M\d+ (?:Pro|Max)?|Model [3SYX]|EX\d+)\b', text, re.IGNORECASE) return { 'numbers': list(set(numbers)), 'brands': list(set(brands)), 'models': list(set(models)) } def clean_repetitions(self, text): """Tekrarları temizle""" # Tekrar eden cümleleri kaldır sentences = text.split('.') clean_sentences = [] seen_sentences = set() for sentence in sentences: sentence = sentence.strip() if sentence and sentence not in seen_sentences and len(sentence) > 10: clean_sentences.append(sentence) seen_sentences.add(sentence) return '. '.join(clean_sentences) + '.' def fallback_response(self, text, task_type): """Fallback yanıt""" return f"""Model yüklenemedi. Eğitilmiş LoRA modelinizi kullanabilmek için Hugging Face Transformers kütüphanesinin güncel versiyonu gerekiyor. Test metniniz: {text[:100]}... Bu sistemi tam çalıştırmak için: 1. Daha güçlü bir platform (Pro account) 2. Güncel transformers versiyonu 3. LoRA model dosyalarının doğru yüklenmesi Gerekiyor.""", "
{p}
\n' html += f"""Fine-tuned LoRA Model • Advanced Generation