Fine-Tuning von Sprachmodellen

Sie werden neben einer allgemeinen Einführung in die Themen “Transformer-Architektur”, “Text-Generierung”, “Sprachmodelle” und auch “lokale KI” selbst tätig werden. Wir stellen Ihnen die gängigen LLMs und SLMs vor und wofür diese Out-of-the-box geeignet sind. Wenn Sie aber nun einen konkreten Anwendungsfall haben oder an einem interessiert sind, dann lernen Sie in diesem Kurs die Werkzeuge und Vorgehensweisen kennen, um das eigenständig umzusetzen. Dabei werden wir den Einsatz von u.a. Jupyter Notebooks als Entwicklungstools und HuggingFace als Community Plattform und Modell-Speicher kennenlernen. Ebenso werden wir einen Ausflug in die Welt der Datenanalyse und Datenaufbereitung unternehmen. Abschließend starten wir dann Ihr eigenes Fine-tuning auf ihrem eigenen Modell. Außerdem wird es noch einen Ausblick über verschiedene Fine-tuning Techniken wie LoRA, Linear Probing etc. geben.