# Decoder-Only Transformer (Eigenbau)

Dies ist ein einfacher autoregressiver Decoder-Only Transformer, der von Grund auf in PyTorch implementiert wurde.

## Modellbeschreibung

- Transformer-Decoder-Architektur
- Trainiert auf WikiText-2-Dataset
- Tokenizer: GPT-2

## Verwendungszweck

Dieses Modell dient zur Demonstration, wie man ein autoregressives Sprachmodell selbst implementiert.

## Tags

- pytorch
- transformer
- language-modeling
- decoder-only
- education