Aus Folien ein Buch, aus dem Buch Folien

Im Wintersemester 2023/24 habe ich das erste Mal „Einführung in Deep Learning" gehalten, eine Vorlesung, die ich mehr oder weniger während des Semesters entwickelt habe. Das Ziel war, wirklich zu verstehen, wie genau und wieso man Katzen von Hunden unterscheiden kann mit Deep-Learning-Methoden. Es sollte also einerseits darum gehen, wie und wieso ein fertig trainiertes (tiefes) neuronales Netz arbeitet, andererseits natürlich auch darum, wie man das trainiert.

Eigentlich bin ich ein Tafelmensch, aufgezogen von Mathematiker*innen wäre alles andere auch ungewöhnlich. Die Tafel bremst einen beim Schreiben aus, und ein spontanes Beispiel fügt sich mühelos in den Flow ein. Allerdings war ich auch immer unzufrieden mit Tafel-Abfilmungen, und so habe ich mit Vorlesungsfolien (Slides, PowerPoint) experimentiert. Für sehr Code-lastige Inhalte fand ich RISE (Jupyter Slides) nicht schlecht, aber zum schnellen kreativen Experimentieren mit verschiedenen Erzählweisen, Bildern etc. ist sowas wie PowerPoint oder, in meinem Fall, Google Slides m.E. besser geeignet.

Nachteilig an PowerPoint und anderen proprietären Formaten ist die Teilbarkeit und die Reproduzierbarkeit. Ich hatte (ohne Windows) stets nur Ärger damit und setze daher eigentlich, wann immer möglich, auf LaTeX Beamer-class Folien. Mein Workflow ist also, eine erprobte Google-Slides-basierte Vorlesung auf LaTeX-Beamer-Slides umzuziehen (und dabei alles gründlich überarbeiten, natürlich). Dabei war mir Google’s KI Gemini in der Vergangenheit eine kleine Hilfe, aber relativ viel Nacharbeit bei Texten, Formeln, Bildern, Layout war erforderlich.

Folien sind eingeschränkt durch den rigiden Takt einer Vorlesung: 15 Blöcke von 90 Minuten. Bedingt dadurch bekommen manche Themen mehr oder weniger Raum, als vielleicht didaktisch optimal wäre. Bei einem Skript oder Buch hat man das Problem nicht. Es ist auch leichter, bei einem Buch Querverweise zu setzen (zumindest finde ich einen Verweis auf „Folien zu Vorlesung 7, Seite 33" nicht so cool wie „Im Kapitel zu Autoencodern" mit anklickbarem Link, der quasi das Dokument nicht verlässt). Da ich erst für den Kurs „Einführung in Python" statt Folien parallel zur Vorlesung ein Skript geschrieben habe (und das auch schon mein zweites Jupyter-Book Projekt ist), wollte ich das hier wiederholen. Die technische Seite kannte ich bereits und so musste nur noch der Inhalt von den Google Slides bzw. PDFs davon in LaTeX übersetzt werden (und die Bilder extrahiert oder ersetzt werden).

Da es sich dabei im Grunde um eine Art von Übersetzung von einem Format in ein anderes handelt, sind Transformer-basierte Modelle sehr gut geeignet, dieses Problem zu lösen; und so hat Claude Opus 5 mir das Buch geschrieben – und dabei meine Formulierungen, meine Reihenfolge, meine Schwerpunkte übernommen. Aus den Whisper-generierten Transcripts meiner Vorlesungsaufzeichnung wusste ich auch genau, wo ich in der echten Vorlesung Schwerpunkte gesetzt hatte, und konnte das Buch Kapitel für Kapitel dagegen prüfen. Da ich mit der Vorlesung ziemlich zufrieden bin, und auch gutes Feedback bekommen hatte, war das mein Maßstab. Ich bin mit dem Ergebnis sehr zufrieden.

Der nächste crazy Schritt war nur, die Folien aus dem gesichteten Skript (ich hab darin natürlich noch das ein oder andere angepasst und ergänzt, auch das Material aus den Übungen) neu zu generieren, entlang der Vorlage der vorhandenen Folien. Mit so einem „verifiable Reward" bzw. der messbaren Referenz an Folienlänge, Wörter pro Folie, Grafikdichte, Anzahl Folien pro Vorlesung konnte leicht etwas generiert werden, was halbwegs den alten Folien gleicht. Jetzt aber mit durchweg einheitlicher Notation, ohne Vorzeichenfehler. Ich glaube auch, dass der Zwischenschritt (die intermediate representation) als Jupyter-book (was bereits Formeln enthält) sehr geholfen hat, die Qualität der Übersetzung zu steigern.

Ich werde dann wohl im Laufe des Semesters zur Vorlesungsvorbereitung immer die Folien überarbeiten, um noch die Reste an gruseligem LLM-Sprech zu entfernen. Ich hoffe, ich komme auch dazu, damit eine neue Vorlesungsaufzeichnung zu machen (bis jetzt läuft das noch ganz gut). Daher werden wir in der Vorlesung ganz auf die Folien setzen, in der Übung ganz auf die Tafel (naja, und später den Interpreter).

Mein Ziel ist, dass ich nicht die Studenten mein Material in KI-Systeme kopieren lassen muss, wenn ich das schon selbst getan habe (um den so zu holenden Mehrwert zu realisieren).

TL;DR (Take-Home-Message): Es ist jetzt relativ billig geworden, brauchbare Vorlesungsmaterialien in relativ hochwertige Vorlesungsmaterialien zu verwandeln, und man muss die Zeit fast nur noch mit inhaltlicher Arbeit verbringen, ohne jeden technischen Aufwand.