Entwicklung und Evaluierung eines LLM-basierten virtuellen Assistenten für die wissenschaftliche Open-Source-Software HEAT unter Verwendung verschiedener Fine-Tuning-Strategien

Abstract

Die effiziente Nutzung komplexer wissenschaftlicher Open-Source-Software wird häufig durch umfangreiche Dokumentation und hohe Einarbeitungshürden erschwert. Diese Bachelorarbeit untersucht das Potenzial von Large Language Models (LLMs) als virtueller Assistent für die Python-Bibliothek HeAT (Helmholtz Analytics Toolkit). Hierzu wird ein auf Llama 3.1 (8B) basierendes Retrieval-Augmented-Generation-(RAG)-System entwickelt, das die technische Dokumentation automatisiert erschließt und für die Beantwortung technischer Fragen nutzt. Die Evaluation erfolgt durch einen qualitativen Vergleich mit Gemini 2.5 Flash unter Verwendung einer Likert-Skala sowie Claude 4 Sonnet als LLM-as-a-Judge. Die Ergebnisse zeigen, dass RAG in Kombination mit Hyperparameter-Tuning die fachliche Korrektheit deutlich verbessert, Gemini jedoch weiterhin die höchste Antwortqualität erzielt. Abschließend wird das Potenzial des Model Context Protocol (MCP) zur Echtzeit-Anbindung externer Datenquellen diskutiert.