Autograding: Wie Sie es intelligent statt lediglich automatisch gestalten

Was ist Autograding von Code?

Autograder sind ein Werkzeug, mit dem Lehrkräfte automatisch bewerten und/oder Lernenden Feedback zu ihrem Code geben können. Sie können so konfiguriert werden, dass sie umfangreiches und unmittelbares Feedback übermitteln, was ein schnelles und effizientes Lernen fördert. Autograder werden in Informatik- und Ingenieursstudiengängen sowie in Statistik- und Datenwissenschaftstudiengängen häufig eingesetzt. Sie können aber auch auch in Fachbereichen abseits von Informatik- und Computerwissenschaften eingesetzt werden.

Der Einsatz eines Autograders spart Zeit bei der Benotung, vor allem bei Kursen mit vielen Teilnehmenden. Im Idealfall gibt er den Studierenden in Echtzeit Feedback zu ihren bestehenden Arbeitsabläufen, so dass sie sich auf die nächsten Schritte in ihrem Lernprozess vorbereiten können.

Das Wort "Automatisierung" mag den Eindruck erwecken, dass das Persönliche aufgehoben wird und damit den Kern des Lernens und der Kommunikation zwischen Lehrkräften und Studierenden. Autograder sind ein Hilfsmittel, das, weil es eine Konfiguration und Anpassung erfordert, als "Debugging"-Werkzeug eingesetzt werden kann. Mit den richtigen Ergänzungen unterstützt er Autograder auch beim Aufrechterhalten von Feedback-Schleifen und beim Bewerten mit Integrität. Autograder mit minimalem binärem Feedback (richtig/falsch) können nützlich sein für summative Beurteilungen wie etwa Abschlussprüfungen, bei denen Sie nicht möchten, dass die Studierenden die Tests vollständig sehen oder direkte Hinweise zur Lösung von Problemen erhalten. Jedoch beeinträchtigt diese Art von Autograder Lernfortschritte, insbesondere bei Aufgaben mit geringem Prüfungsdruck wie Übungen oder Hausaufgaben. In diesen Situationen können Studierende, die im Lernprozess nicht weit genug sind, willkürlich so lange Anpassungen einreichen, bis ihr Programm als korrekt angesehen wird.

Doch wenn Autograding mit Feedback einhergeht, können Autograder den individuellen Lernfortschritt unterstützen und das Engagement der Studierenden erhöhen. Ein sofortiges Feedback ermöglicht es den Studierenden, ihren Code auf sinnvolle Weise zu überarbeiten und ihre Verbesserungen vor Abgabetermin erneut einzureichen, ohne dass sie dabei auf die ständige Beteiligung einer Lehrkraft angewiesen sind. Auf diese Weise fördern Lehrkräfte ein selbstgesteuertes Lernen. Außerdem können Autograder mit Feedback das Lernen im selbstgewählten Tempo unterstützen.

Beim individuellen Lernen geht es darum, die Lernerfahrung für alle Studierenden auf der Grundlage ihrer einzigartigen Fähigkeiten und Fertigkeiten sowie anderer kontextbezogener Faktoren individuell zu gestalten. Kurz gesagt ist es eine Methode, um in der Interaktion zwischen Studierenden und Lehrkräften eine Pädagogik auf hohem Niveau umzusetzen.

Nach einer Umfrage von Education Week aus dem Jahr 2018 betrachtet jeder dritte Befragte ein personalisiertes Lernen als "eine transformative Chance zur Verbesserung der öffentlichen Bildung". Und 57 % der Befragten glauben, dass digitale Technologie ein effektives Instrument zur Ergänzung der Personalisierung ist.

In einer darauf folgenden Umfrage von Education Week aus dem Jahr 2019 gaben 46 % der Lehrkräfte an, dass sie dem personalisierten Lernen positiv gegenüberstehen. Dabei gaben 91 % der Befragten an, dass sie zumindest in gewissen Ausmaß zuversichtlich sind, dass digitale Tools den Lernprozess von Studierenden effektiv gestalten können (S. 4). Personalisiertes Lernen ist ein anerkannter pädagogischer Ansatz zur Unterstützung des Lernprozesses.

Durch personalisiertes Lernen können Pädagogen alle Studierenden bei ihrem Lernfortschritt unterstützen. Das Reduzieren der Lücke zwischen leistungsstärkeren und leistungsschwächeren Studierenden kann beispielsweise zudem eine qualifiziertere, diversere Studierendenschaft fördern, die später möglicherweise eine Karriere in der Softwareentwicklung anstrebt (Aravind & Balasangameshwara, 2019).

Wo liegen die Herausforderungen bei personalisiertem Lernen mit Autogradern in der Praxis?

Wenn es darum geht, das Programmieren zu lehren, bestehen besondere Herausforderungen hinsichtlich Bewertung und Feedback.

1. Gründliches und anwendbares Feedback kann viel Zeit benötigen. Scott Smith, Professor für Informatik an der Johns Hopkins University, erklärt: "In Seminaren, in denen Programmieren gelehrt wird, weisen wir den Studierenden in der Regel Projekte zu, bei denen sie Programme zur Lösung von Problemen schreiben müssen. Wenn die Lehrkräfte diese Art von Aufgaben bewerten, müssen sie nicht nur die Ergebnisse des Programms, sondern auch die Vorgehensweise der Studierenden beobachten. Wenn die Ergebnisse nicht stimmen oder das Programm nicht läuft, müssen wir hunderte von Codezeilen durchgehen, um das Programm zu debuggen und ein gründliches Feedback zu geben."

1. Ein binäres System von richtig/falsch regt nicht zum Lernen an. Ohne gründliches Feedback gibt ein Autograder, der das Lernen unterstützen soll, den Studierenden keine nächsten Schritte an die Hand. Dadurch könnten die Studierenden in der Folge zufällige Anpassungen vornehmen und Möglichkeiten verpassen, Inhalte wirklich zu verstehen. Kevin Lin, Assistenzprofessor an der University of Washington, erklärt: "Den daraus resultierenden, vom Autograder beeinflussten Entwicklungszyklus sehen wir dann, wenn die Studierenden scheinbar wahllos kleinere Anpassungen an ihrem Code vornehmen, dann den Code an den Autograder senden und diesen Vorgang so lange wiederholen, bis ihr Programm alle vorgegebenen Tests besteht."

1. Ein übermäßiger Einsatz von Autogradern kann selbstgesteuertes Lernen verhindern. Zwar sind Autograder dabei hilfreich, insbesondere bei größeren Kursen das Bewerten zu unterstützen, doch schlecht konzipierte Autograder können dazu führen, dass die Studierenden eher die Eigenheiten des Autograders lernen als die Kursinhalte. Forschern zufolge "können Studierende Autograder anstelle ihrer eigenen sorgfältigen Reflexion verwenden". (Baniassad, Zamprogno, Hall, & Holmes, 2021).

Wie setzen Pädagogen Autograder ein, um Lehre und Lernen zu verbinden?

Ohne Zweifel sind Autograder eine hilfreiche Unterstützung beim Bewerten von Informatik-Prüfungen in großem Umfang. In Verbindung mit aussagekräftigem und personalisiertem Feedback können Autograder ein wichtiger Bestandteil dabei sein, personalisiertes Lernen in großem Maßstab umsetzen zu können.

Die Forschung akzeptiert den breiten Einsatz von Autogradern in Informatikkursen aus pragmatischen Gründen. Eine Studie ergab, dass sich die Leistungen der Studierenden um 96 % verbesserten, sobald fundiertes Feedback gegeben wurde (Haldeman et al., 2018). Dieselbe Forschungsgruppe sammelte in einer Folgestudie Daten aus zwei Semestern von Informatikkursen. Bei zwei verschiedenen Aufgaben wurden in einem Semester Hinweise und Feedback gegeben, im anderen nicht. "Die Ergebnisse zeigen, dass der Prozentsatz der Studierenden, die die Aufgaben nach einer anfänglichen fehlerhaften Übermittlung erfolgreich abschließen, dreimal so hoch ist, wenn Hinweise und Feedback gegeben werden (Haldeman et al., 2021).

Vorschläge, um das Lernen mit Autogradern zu verbessern, umfassen:

1. Der Einsatz von Tools wie Gradescope, die neben Autograding (unabhängig von der Größe des Kurses) auch Rubrik- und Feedback-Funktionen bieten, spart bei der Benotung Zeit, wie viele Lehrkräfte bestätigen. Mit Gradescope können Dozierende einen Autograder für das Benoten einzelner eingereichter Aufgaben erstellen, alles andere übernimmt Gradescope; die Dozierenden müssen sich nicht länger darum kümmern, wie alle eingereichten Arbeiten gehandhabt werden. Durch das umgehende Feedback erhalten die Studierenden die Ergebnisse innerhalb ihres Workflows und können so weitere Schritte im Lernprozess nehmen.

1. Kürzere Feedback-Schleifen verbessern den Lernfortschritt der Studierenden. Mit Gradescope wird der von der Lehrkraft hochgeladene Code-Autograder innerhalb von Sekunden nach der Einreichung des Codes durch die Studierenden ausgeführt. Dadurch erhalten die Studenten in Echtzeit Rückmeldung darüber, was an ihrem Code falsch ist, so dass sie ihn umgehend überarbeiten können. In einer Fallstudie nutzte Professorin Jillian Cannons, Assistenzprofessorin für Mathematik und Statistik an der Cal Poly Pomona, Gradescope, um ein nahezu sofortiges Feedback zu erhalten. Dieses sollte die Studierenden ermutigten, die Aufgabe so lange zu überarbeiten, bis sie die richtige Antwort gefunden hatten. "Professor Cannons konnte beobachten, wie die Studierenden mehr Eigenverantwortung für ihre Arbeit und ihr Lernen übernahmen. Anstatt sich mit 7 von 10 Punkten zufrieden zu geben, überarbeiteten sie ihre Aufgaben immer wieder, bis sie eine perfekte Note erhielten. Diese Eigenmotivation führte zu einem tieferen Verständnis der Konzepte und weckte eine Leidenschaft für das Programmieren, die zuvor fehlte."

1. Gestalten Sie Ihren Autograder so, dass er nicht nur den Code überprüft, sondern auch die Tests der Studierenden bewertet, um sicherzustellen, dass sie tatsächlich test-basierte Entwicklung betreiben. Dies regt die Studierenden dazu an, sich zu überlegen, wie sie ihren Code testen sollten, anstatt sich nur darauf zu verlassen, dass andere diese Tests schreiben. Ein gut konzipierter Autograder mit Mengenbegrenzung und selektiver Ausgabe, kombiniert mit einem guten Prüfungsdesign, macht es den Studierenden schwerer, sich ausschließlich auf einen Autograder zu verlassen. Stattdessen gehen die Studierenden ihre Einreichungen überlegter an.

1. Tools wie Gradescope, die ein automatisches sowie manuelles Benoten derselben Aufgabe ermöglichen, können Lehrkräften dabei helfen, den Studierenden Inline-Kommentare und Feedback zu geben. "Man hat mir mitgeteilt, dass ich im nächsten Semester keine Assistenten für mein Seminar "Grundlagen der Programmiersprachen" haben würde. Dadurch war ich motiviert, eine der Funktionen von Gradescope zu nutzen, nämlich die Plattform für das automatische Benoten von Programmieraufgaben. Die Möglichkeit, automatisch Noten und Feedback für den eingereichten Code der Studierenden zu geben, ist seit langem ein Traum von Lehrkräften, die Programmieren unterrichten. Der Dozent erstellt ein Benotungsskript, das die Grundlage für die Analyse bildet und Noten liefert und dazu auch Feedback für die gefundenen Probleme in den eingereichten Programmen der Studierenden. Der Auto-Grader [sic] war in diesem Fall der absolute Star unter den Funktionen", so Scott Smith.

1. Regelmäßig Aufgaben mit geringem Prüfungsdruck zu stellen, führt zu mehr Transparenz und fördert den Fortschritt der Studierenden. Der Einblick in das, was die Studierenden wissen oder nicht wissen, ermöglicht individuelle Interventionen der Dozierenden. Autograding senkt den Zeitaufwand für die Lehrkraft, so dass die Studierenden häufiger Code schreiben können. An der Virginia Commonwealth University verwendet Professorin Debra Duke Gradescope, "um Zeit zu sparen und Teile des Review- und Feedbackprozesses zu automatisieren. Dadurch kann Duke mehr Projekte zuweisen und aussagekräftigeres, individuelleres Feedback geben. Außerdem erhalten ihre Studierenden nun 50 Prozent mehr Programmierpraxis als zuvor."

1. Das Hervorheben von Lernmöglichkeiten, innerhalb des Autograders bietet den Studierenden eine konkrete Hilfestellung. Anya E. Vostinar, Assistenzprofessorin für Informatik am Carleton College, gab ihre persönlichen Empfehlungen für den Gradescope-Autograder, der solche Lernmöglichkeiten anbietet.

Gradescope verwandelt das Benoten in Lernen. Es ermöglicht personalisiertes Lernen und automatisches Benoten in großem Maßstab. Das Ergebnis? Lehrkräfte haben mehr Zeit zum Unterrichten.

Machen Sie die ersten Schritte mit unserer Autograder-Dokumentation. Oder werfen Sie einen Blick auf die Gradescope Community Resources Seite, wo Lehrkräfte ihre Autograder untereinander austauschen.