README.md

metadata

title: AI Token Training System
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 3.40.0
app_file: app.py
pinned: false

AI Token Training System

Sistema di training AI auto-organizzante per la predizione del prossimo token, basato su dataset pubblici senza necessità di API key.

Caratteristiche

• Reti Neurali Auto-Organizzanti: Transformer con meccanismi di adattamento dinamico
• Dataset Pubblici: Utilizza Wikipedia, Common Crawl, OSCAR e Project Gutenberg
• Tokenizer Personalizzato: Costruisce il vocabolario automaticamente dai dati
• Training Automatico: Sistema completamente autonomo senza configurazione manuale
• Interfaccia Web: Gradio per training e generazione interattiva

Architettura

Modello SelfOrganizingTransformer

• Parametri: ~25M (configurabile)
• Layers: 6 livelli transformer con auto-adattamento
• Attention: Meccanismo di attenzione con plasticità neurale
• Vocabolario: 30k token costruito dinamicamente

Componenti Chiave

• SelfOrganizingAttention: Attenzione adattiva con layer di auto-organizzazione
• SelfOrganizingTokenizer: Tokenizer che costruisce il vocabolario dai dati
• AITrainer: Sistema di training completo con gestione dataset

Installazione

git clone <repository-url>
cd ai-token-trainer
pip install -r requirements.txt

Utilizzo

Training da Linea di Comando

python app.py train

Interfaccia Web

python app.py

L'interfaccia sarà disponibile su http://localhost:7860

Dataset Utilizzati

Il sistema carica automaticamente:

• Wikipedia Italiana: Articoli enciclopedici
• Common Crawl: Testo web filtrato
• OSCAR: Corpus multilingue
• Project Gutenberg: Letteratura classica italiana
• Dati Sintetici: Generazione automatica se necessario

Performance

• Training: 3-5 epoche su 10k esempi
• Velocità: ~500 token/secondo su GPU
• Memoria: ~2GB VRAM richiesta
• Qualità: Generazione coerente su 50-100 token

Struttura Files

ai-token-trainer/
├── app.py              # Sistema principale
├── requirements.txt    # Dipendenze
├── README.md          # Documentazione
└── ai_model.pth       # Modello salvato (dopo training)

API Interfaccia

Training

• Caricamento automatico dataset pubblici
• Costruzione vocabolario dinamico
• Training con ottimizzazione AdamW
• Salvataggio automatico checkpoint

Generazione

• Input: prompt testuale
• Controlli: lunghezza, temperatura
• Output: testo generato coerente

Configurazione Avanzata

Modifica parametri nel codice:

# Dimensioni modello
embed_dim = 512      # Dimensione embedding
num_heads = 8        # Teste attention  
num_layers = 6       # Layers transformer

# Training
epochs = 5           # Epoche training
batch_size = 16      # Dimensione batch
lr = 3e-4           # Learning rate

Troubleshooting

GPU non disponibile

Il sistema funziona anche su CPU, automaticamente rilevato.

Memoria insufficiente

Riduci batch_size o embed_dim in caso di errori OOM.

Dataset non caricabili

Il sistema genera dati sintetici automaticamente come fallback.

Errori HuggingFace

Alcuni dataset potrebbero non essere disponibili, il sistema continua con altri.

Monitoraggio Training

Il sistema mostra automaticamente:

• Loss per batch ogni 50 iterazioni
• Loss media per epoca
• Esempi di generazione durante training
• Numero parametri totali

Deployment

Hugging Face Spaces

1. Fork il repository
2. Crea nuovo Space su HF
3. Upload files
4. Il sistema si avvia automaticamente

Locale

python app.py

Estensioni Possibili

• Supporto multilingua
• Fine-tuning su domini specifici
• Quantizzazione per deployment mobile
• Training distribuito multi-GPU

Licenza

Open source - utilizzabile per ricerca e sviluppo.

Performance Benchmark

Metrica	Valore
Parametri	25M
VRAM	2GB
Training Time	30min (CPU) / 5min (GPU)
Inference Speed	100-500 token/s
Vocab Size	30k token
Max Sequence	512 token

Contributi

Sistema progettato per essere:

• Completamente autonomo
• Senza dipendenze esterne critiche
• Facilmente estendibile
• Ottimizzato per risorse limitate

Il codice è strutturato per permettere facili modifiche e miglioramenti dell'architettura neurale.