|
|
--- |
|
|
title: AI Token Training System |
|
|
emoji: 🤖 |
|
|
colorFrom: blue |
|
|
colorTo: purple |
|
|
sdk: gradio |
|
|
sdk_version: "3.40.0" |
|
|
app_file: app.py |
|
|
pinned: false |
|
|
--- |
|
|
|
|
|
# AI Token Training System |
|
|
|
|
|
Sistema di training AI auto-organizzante per la predizione del prossimo token, basato su dataset pubblici senza necessità di API key. |
|
|
|
|
|
## Caratteristiche |
|
|
|
|
|
- **Reti Neurali Auto-Organizzanti**: Transformer con meccanismi di adattamento dinamico |
|
|
- **Dataset Pubblici**: Utilizza Wikipedia, Common Crawl, OSCAR e Project Gutenberg |
|
|
- **Tokenizer Personalizzato**: Costruisce il vocabolario automaticamente dai dati |
|
|
- **Training Automatico**: Sistema completamente autonomo senza configurazione manuale |
|
|
- **Interfaccia Web**: Gradio per training e generazione interattiva |
|
|
|
|
|
## Architettura |
|
|
|
|
|
### Modello SelfOrganizingTransformer |
|
|
- **Parametri**: ~25M (configurabile) |
|
|
- **Layers**: 6 livelli transformer con auto-adattamento |
|
|
- **Attention**: Meccanismo di attenzione con plasticità neurale |
|
|
- **Vocabolario**: 30k token costruito dinamicamente |
|
|
|
|
|
### Componenti Chiave |
|
|
- `SelfOrganizingAttention`: Attenzione adattiva con layer di auto-organizzazione |
|
|
- `SelfOrganizingTokenizer`: Tokenizer che costruisce il vocabolario dai dati |
|
|
- `AITrainer`: Sistema di training completo con gestione dataset |
|
|
|
|
|
## Installazione |
|
|
|
|
|
```bash |
|
|
git clone <repository-url> |
|
|
cd ai-token-trainer |
|
|
pip install -r requirements.txt |
|
|
``` |
|
|
|
|
|
## Utilizzo |
|
|
|
|
|
### Training da Linea di Comando |
|
|
```bash |
|
|
python app.py train |
|
|
``` |
|
|
|
|
|
### Interfaccia Web |
|
|
```bash |
|
|
python app.py |
|
|
``` |
|
|
L'interfaccia sarà disponibile su `http://localhost:7860` |
|
|
|
|
|
## Dataset Utilizzati |
|
|
|
|
|
Il sistema carica automaticamente: |
|
|
- **Wikipedia Italiana**: Articoli enciclopedici |
|
|
- **Common Crawl**: Testo web filtrato |
|
|
- **OSCAR**: Corpus multilingue |
|
|
- **Project Gutenberg**: Letteratura classica italiana |
|
|
- **Dati Sintetici**: Generazione automatica se necessario |
|
|
|
|
|
## Performance |
|
|
|
|
|
- **Training**: 3-5 epoche su 10k esempi |
|
|
- **Velocità**: ~500 token/secondo su GPU |
|
|
- **Memoria**: ~2GB VRAM richiesta |
|
|
- **Qualità**: Generazione coerente su 50-100 token |
|
|
|
|
|
## Struttura Files |
|
|
|
|
|
``` |
|
|
ai-token-trainer/ |
|
|
├── app.py # Sistema principale |
|
|
├── requirements.txt # Dipendenze |
|
|
├── README.md # Documentazione |
|
|
└── ai_model.pth # Modello salvato (dopo training) |
|
|
``` |
|
|
|
|
|
## API Interfaccia |
|
|
|
|
|
### Training |
|
|
- Caricamento automatico dataset pubblici |
|
|
- Costruzione vocabolario dinamico |
|
|
- Training con ottimizzazione AdamW |
|
|
- Salvataggio automatico checkpoint |
|
|
|
|
|
### Generazione |
|
|
- Input: prompt testuale |
|
|
- Controlli: lunghezza, temperatura |
|
|
- Output: testo generato coerente |
|
|
|
|
|
## Configurazione Avanzata |
|
|
|
|
|
Modifica parametri nel codice: |
|
|
|
|
|
```python |
|
|
# Dimensioni modello |
|
|
embed_dim = 512 # Dimensione embedding |
|
|
num_heads = 8 # Teste attention |
|
|
num_layers = 6 # Layers transformer |
|
|
|
|
|
# Training |
|
|
epochs = 5 # Epoche training |
|
|
batch_size = 16 # Dimensione batch |
|
|
lr = 3e-4 # Learning rate |
|
|
``` |
|
|
|
|
|
## Troubleshooting |
|
|
|
|
|
### GPU non disponibile |
|
|
Il sistema funziona anche su CPU, automaticamente rilevato. |
|
|
|
|
|
### Memoria insufficiente |
|
|
Riduci `batch_size` o `embed_dim` in caso di errori OOM. |
|
|
|
|
|
### Dataset non caricabili |
|
|
Il sistema genera dati sintetici automaticamente come fallback. |
|
|
|
|
|
### Errori HuggingFace |
|
|
Alcuni dataset potrebbero non essere disponibili, il sistema continua con altri. |
|
|
|
|
|
## Monitoraggio Training |
|
|
|
|
|
Il sistema mostra automaticamente: |
|
|
- Loss per batch ogni 50 iterazioni |
|
|
- Loss media per epoca |
|
|
- Esempi di generazione durante training |
|
|
- Numero parametri totali |
|
|
|
|
|
## Deployment |
|
|
|
|
|
### Hugging Face Spaces |
|
|
1. Fork il repository |
|
|
2. Crea nuovo Space su HF |
|
|
3. Upload files |
|
|
4. Il sistema si avvia automaticamente |
|
|
|
|
|
### Locale |
|
|
```bash |
|
|
python app.py |
|
|
``` |
|
|
|
|
|
## Estensioni Possibili |
|
|
|
|
|
- Supporto multilingua |
|
|
- Fine-tuning su domini specifici |
|
|
- Quantizzazione per deployment mobile |
|
|
- Training distribuito multi-GPU |
|
|
|
|
|
## Licenza |
|
|
|
|
|
Open source - utilizzabile per ricerca e sviluppo. |
|
|
|
|
|
## Performance Benchmark |
|
|
|
|
|
| Metrica | Valore | |
|
|
|---------|---------| |
|
|
| Parametri | 25M | |
|
|
| VRAM | 2GB | |
|
|
| Training Time | 30min (CPU) / 5min (GPU) | |
|
|
| Inference Speed | 100-500 token/s | |
|
|
| Vocab Size | 30k token | |
|
|
| Max Sequence | 512 token | |
|
|
|
|
|
## Contributi |
|
|
|
|
|
Sistema progettato per essere: |
|
|
- Completamente autonomo |
|
|
- Senza dipendenze esterne critiche |
|
|
- Facilmente estendibile |
|
|
- Ottimizzato per risorse limitate |
|
|
|
|
|
Il codice è strutturato per permettere facili modifiche e miglioramenti dell'architettura neurale. |
