TUWEL Design-Optimierung anhand von Eye Tracking Dipl.-Ing. Mag. Gergely Rakoczi

Teaching Support Center, Technische Universität Wien Abstract: Um sowohl die Bedienfreundlichkeit als auch das grafische Design der zentral eingesetzten Moodle Lernplattform TUWEL der Technischen Universität Wien zu verbessern, wurde eine Eye Tracking Studie mit realen Studierenden der Universität vorgenommen. Das Untersuchungsdesign sah sowohl zeitbegrenzte Rapid Fire Tasks (RFT) für die Überprüfung der Positionen von TUWEL Elementen als auch Open Tasks (OT) für die Erfassung der Navigationspfade bzw. –Präferenzen der Studierenden beim Umgang mit dem Lernsystem vor. Mit Hilfe der erhobenen Daten konnten 87 Usability Schwachstellen identifiziert werden, die zu sechs großen Designimplementierung für den nächsten Release-Wechsel der Lernplattform zusammengetragen wurden. In diesem Paper werden zusätzlich zur Beschreibung der methodischen Vorgehensweise und der Studienergebnisse der Eye Tracking Untersuchung, Empfehlungen für die Verbesserung von Moodle sowie Praxistipps für die Entwicklung von Moodle Erweiterungen gegeben. Schlüsselwörter:

1

Eye Tracking, Moodle, Usability Testing, e-Learning, User Interface Design.

Einleitung

Eye Tracking ist eine wissenschaftliche Methode um Augenbewegungen, die mehrheitlich aus Fixationen (Verweilen der Augen) sowie Sakkaden (Sprünge zwischen Fixationen) bestehen, zu registrieren. Aus den ermittelten Blickbewegungen lassen sich Muster, Reihenfolgen, Vorlieben, Auffälligkeiten der visuellen Wahrnehmung ableiten, die wesentliche Einsichten in kognitive Verarbeitungsweisen, Navigationsverhalten sowie Problemlösungsstrategien, ermöglichen. Die häufigste Verwendungsform von Eye Tracking sind Usability Studien von Anwendungssoftware, mit deren Hilfe das User-Verhalten im Bereich der Mensch-Maschine Interaktion (HCI) untersucht werden kann. Aktuelle Eye Tracking Geräte registrieren die Augenbewegungen in Echtzeit, nichtinvasiv, wodurch verhältnismäßig störungsarme Untersuchungssituationen ermöglicht werden. Im HCI Bereich erfolgt die Auswertung bzw. Visualisierung der Eye Tracking Ergebnisse gewöhnlich mittels Heatmaps (Abb.1a), Gazeplots (Abb.1b), der Clusteranalyse (Abb.1c), der BeeSwarm Methode (Abb.1d) sowie mittels zahlreicher Parameter, wie etwa Regression oder Fixationszeiten für die jeweiligen Interessensregionen (AOI) etc. (Duchowski, 2003) (Just & Carpenter, 1976) (Nielsen & Pernice, 2009) (Rakoczi, 2010) (Tobii, 2008)

(a) Heatmap

(b) Gazeplot Abb. 1

(c) Clusteranalyse

(d) BeeSwarm

Unterschiedliche Visualisierungsformen von Eye Tracking Daten.

Dieses Paper beschreibt die Eye Tracking Studie des Lernsystems TUWEL, welches auf dem objektorientierten Kursmanagementsystem Moodle basiert. Im Rahmen einer qualitativen Usability Untersuchung mit 10 Studierenden der Technischen Universität Wien wurde TUWEL auf Designschwächen sowie Problembereiche der Bedienung der BenutzerInnenoberfläche getestet. Ziel der Studie war es, gesamtheitlich alle Aufgabenbereiche des Lerntools, mit denen Studierende im Verlaufe eines Semesters konfrontiert sind, abzudecken, wie etwa Anmeldung, Gruppenverwaltung, Dokumentenmanagement, online Prüfungen sowie Kommunikation mit StudienkollegInnen. Während diesen Aufgaben werden die Augenbewegungen registriert, um Einsichten in Navigations- sowie Problemlösungsstrategien zu gewinnen und daraus Verbesserungsmaßnahmen ableiten zu können, die schlussendlich einen erleichterten Umgang mit dem Lernsystem bewirken sollen. Seite 1

2

Studienbeschreibung

2.1

Moodle Setup und Studienprozedur

Als Stimulus der Eye Tracking Untersuchung wurde die seit dem Sommersemester 2006 zentral eingesetzte Moodle Instanz der Technischen Universität Wien (TUWEL) verwendet. TUWEL lag zum Zeitpunkt der Studie in der Version 1.9.9+ (Build: 20100810) vor. Die grafische Oberfläche, die der Design Optimierung unterworfen wurde, basierte auf einem eigens entwickelten TUWEL Theme. Für die Testprozedur der Eye Tracking Untersuchung wurde weiters ein eigenständiger Kurs aufgesetzt, und um eine leere bzw. künstlich wirkende Erscheinung zu verhindern mit häufig benutzten Moodle Aktivitäten (Foren, Aufgaben etc.) sowie Arbeitsmaterialien (Word-, Powerpoint Dokumenten) befüllt. Da die visuelle Wahrnehmung der Kursinhalte einen entscheidenden Einfluss auf die Blickpfade hat, wurde die Struktur dieser Elemente aus einer seit Jahren optimal funktionierenden Lehrveranstaltung abgeleitet. Mit Hilfe dieser Strategie wurde versucht die visuelle und somit kognitive Hürden zum Erfassen des Stimulus zu mindern. Die Usability Untersuchung wurde als qualitativen Einzeltests durchgeführt, wobei der Testablauf für alle StudienteilnehmerInnen gleichermaßen eingehalten wurde. Der Zeitraum, in welcher die individuellen Tests abgehalten wurden, betrug zwei Wochen (Ende Oktober 2010), die Einzeltests dauerten (einschließlich der qualitativen Befragungen - vor und nach den Eye Tracking Sessions) in der Regel eineinhalb Stunden. StudienteilnehmerInnen wurden im Rahmen der Tests mit unterschiedlichen Testfällen konfrontiert. Die Zusammenstellung der Testfälle deckt grundlegende Aspekte des online Lernmanagements ab, bestehend aus den Kategorien An- bzw. Abmeldung vom Kurs, Kommunikation, Verwaltung von Kursmaterialien, Prüfung, Feedback, Gruppenmanagement als auch Bedienung sowie Personalisierung des Moodle Systems. Eine tabellarische Auflistung der Testfälle, bestehend aus zeitbegrenzten (Rapid Fire Tasks) sowie zeitlich unlimitierten Aufgaben (Open Tasks), ist in Anhang A ersichtlich. 2.2

StudienteilnehmerInnen und Technologie

Für die Eye Tracking Studie wurden insgesamt 10 Testpersonen mit einem Altersdurchschnitt von 25,4 Jahren akquiriert. Um eine weitgehend homogene Studiengruppe für die Untersuchung garantieren zu können, wurden folgende Kriterien der Erwerbung definiert. StudienteilnehmerInnen mussten ordentliche Vollzeit-Studierende an der TU Wien sein, sowie über TUWEL Grundkenntnisse mit regelmäßigem Nutzungsverhalten verfügen. Die Nutzungsintensität betrug gemäß den Aussagen der Testpersonen im Durchschnitt „zumindest einmal pro Woche für eine halbe Stunde“. Des Weiteren wurde darauf geachtet, dass Studierenden aus nahezu allen Fakultäten sowie unterschiedlichen Studienrichtungen vertreten sind. StudienanfängerInnen wurde ausgeschlossen, da die fehlende TUWEL Erfahrung und somit das differenzierte Nutzungsverhalten, stark abweichende Eye Tracking Muster impliziert. Die Semesteranzahl der TeilnehmerInnen betrug im Durchschnitt 14,4 Semester. Als Erhebungsinstrument der Studie kam der Tobii X50 Eye Tracker (siehe Abb.2) zum Einsatz, der dankenswerter Weise vom IMS Institut der TU Wien (Interactive Media Systems) zur Verfügung gestellt wurde. Der Tobii Eye Tracker ist ein stand-alone Gerät, welches die Augenmessung mittels zweier Infrarotkameras binokular bei einer Sample-Rate von 50 Hz aufzeichnet. Die Genauigkeit hinsichtlich Erfassung der Augenbewegungen liegt zwischen 0,5 sowie 0,7 Sehgrad. Die Bewegungsfreiheit des Kopfes wird vom Hersteller mit einem Bereich von 30 x 15 x 20 Zentimeter bei einer Distanz von 60 Zentimeter vom Eye Tracker angegeben.

Abb. 2

Eye Tracking Labor mit dem Tobii X50 Eye Tracker.

Seite 2

3

Eye Tracking Resultate

Die Auswertung der aufgezeichneten Augenbewegung wurden mit Hilfe des Softwareprogramms Tobii Studio sowie anhand der retroperspektivischen Analyse separat für die einzelnen Testfälle aus Anhang A durchgeführt. Die Erkenntnisse der Rapid Fire Tasks werden in Abschnitt 3.1 angeführt, während die Ergebnisse der Open Tasks in Abschnitt 3.2 abgehandelt werden. Insgesamt wurden im Rahmen der Studie 87 Usability Problemfälle registriert, nachfolgend werden, um nicht den Rahmen des Papers zu sprengen, nur ausgewählte repräsentative Fälle angeführt. 3.1

Auswertung der Rapid Fire Tasks

Auffinden des Logins (RFT 1): Die aufgezeichneten Augenbewegungen zeigten deutlich auf, dass in einem Bereich keine konkurrierenden Elemente mit ähnlicher Funktion platziert werden sollten. In TUWEL werden im rechten oberen Bereich, welcher sich gemäß Blickpfadanalyse als effiziente Positionierung des Logins erwiesen hat, drei ähnliche Schaltflächen für das Anmelden angeboten (Abb.3a). Im Block „TUWEL Login“ können sich mittels „TU Account Login“ Lehrende sowie Studierende, mittels „ELZ Login“ PartnerInnen sowie Gäste der Universität anmelden. Des Weiteren ist auch eine Anmeldung über den üblichen Moodle-Statusindikator möglich. Gazeplots einiger Testpersonen weisen zahlreiche kurze Fixationen sowie vermehrten Sakkaden auf, die darauf hindeuten, dass den StudienteilnehmerInnen die funktionelle Unterschiede der Buttons unklar erscheinen. Die Eye Tracking Auswertung ergab weiters, dass das kleine Element im Rahmen des Rapid Fire Tasks von lediglich 40% der Testpersonen fixiert und von 30% als Lösung angeklickt wurden (Abb.3b). Einen weiteren großen Unterschied stellt auch jene Zeit dar, die benötigt wurde um die Elemente zu finden. Der Eye Tracking Parameter Time to first fixation betrug beim TUWEL Login Block 0,729 Sekunden während für das Auffinden des kleinen Elements im Durchschnitt 3,223 Sekunden benötigt wurden. Als Praxistipp im Sinne der Barrierefreiheit sollte an dieser Stelle festgehalten werden, dass an der Größe der Login-Schaltfläche nicht gespart werden sollte, ein Umstand welcher von Testpersonen mit einer Sehschwäche bestätigt wurden. Diese benötigten für das erschwerte Anwählen des kleinen Login Elements stets eine Sekunden-lange Fixation (siehe Abb.3c).

(a) Abb. 3

(b)

(c)

Die kleine Login-Schaltfläche (3a) wird deutlich weniger fixiert bzw. angeklickt (3b) und falls doch benötigen besonders BrillenträgerInnen lange Fixationen (3c).

Suchen eines Kurses in TUWEL (RFT2): Um einen bestimmten Kurs zu suchen, gibt es in TUWEL auf der Kursübersichtsseite zwei Möglichkeiten. BenutzerInnen steht einerseits die mittlere Kursauflistung, die alle Kurse nach Semester sortiert anführt, andererseits der Link „Aktuelle Kurse“ im „Mein Menü“ zur Verfügung. Die Augenbewegungen weisen eine zentrale Dominanz bei der Suche nach einem bestimmten Kurs auf. Nach 3-5 Fixationen suchten 90% der Testpersonen in der Kursmitte. Gesamtheitlich für den Rapid Fire Task gesehen, weist das Element „Aktuelle Kurse“ deutlich schwächere Fixationswerte auf, die auf ungünstige Usability Eigenschaften zurückgeführt werden können (Abb.4a). Die Kurse werden auf engstem Raum mit kleiner Buchstabengröße sowie unterschiedlicher Formatierung (je nach Benennung des Lehrenden) angeführt. Die anstrengende Deutung dieser kompakten Kursliste bringt Testpersonen, die dieses Element schnell erfassen, oft zu einem Abbruch der Navigation (Abb.4b). Liste aller Arbeitsmaterialien finden (RFT3): Das Element „Arbeitsmaterialien“, welches zusammenfassend alle Dokumente des Kurses anführt, wurde im Gegensatz zur Kursmitte visuell wenig erfasst, da während des Rapid Fire Tasks nur 50% den Link fixierten. Die Eye Tracking Analyse offenbarte, dass NutzerInnen in den meisten Fällen direkt über die mittlere Kursspalte navigieren oder durch die Suchfunktion des Browsers zum Dokument springen. Die „mühsame Suche“ nach den schwer aufzufindenden von vielen Text-lastigen Elementen umgebenen „Arbeitsmaterialien“ wurde vermieden. Die Clusteranalyse zeigte aber auf, dass 90% der Testpersonen den Block des Elements („Kurs Menü“) besuchten, aber aufgrund der „Verstecktheit“ die Suche entweder abgebrochen haben oder lange (19,2 Fixationen) benötigten. In diesem Zusammenhang sind zwei Verbesserungsschläge zu

Seite 3

unterbreiten. Der Zeilenabstand zwischen den Einträgen des „Kurs Menüs“ ist zu erhöhen bzw. größere Icons im Sinne erleichterter Wiedererkennung zu verwenden.

(a) Abb. 4

(b)

Die Auflistung „Aktuellen Kurse“ des Kurs Menüs werden ungern fixiert bzw. verwendet (4a), da dieser sehr Text-lastig wirkt und zu kleine Schriften verwendet, ein Umstand, der Navigationsverhalten stark ablenken bzw. abbrechen kann (4b).

Hilfe zu fehlgeschlagenem Login (RFT4) sowie Hilfe zu TUWEL finden (RFT9): Die zwei Rapid Fire Tasks zeigten

deutlich auf, dass die Hilfe zu TUWEL für die Mehrheit der BenutzerInnen schwer zu erreichen ist. Die Eye Tracking Untersuchung ergab, dass nur die Hälfte der StudienteilnehmerInnen das entsprechende Hilfeelement „TUWEL Tutorials“ finden konnte. Die nachfolgenden Eye Tracking Parameter schildern deutlich die Ineffizienz dieses Elements. Der time to first fixation beträgt einen Durchschnittswert von 4,2 Sekunden, wobei der time to first mouse click sogar 8,2 Sekunden beträgt. Lediglich Anna benötigte für die Lösung des Testfalls weniger als 5 Sekunden. Alle anderen benötigten über 9 (von 10 möglichen) Sekunden, um die TUWEL Hilfe zu finden. Der in Abbildung 5 dargestellter Parameter fixation count stellt die Gesamtfixationszahl des Testfalls den Fixationen des AOIs (in diesem Fall „TUWEL Tutorials“ Link) gegenüber. Daraus lässt sich erkennen, wie eindeutig dieses Element beim Suchprozess als Lösung angesehen wurde. Daher ist in Abbildung 5 deutlich erkennbar, dass nur Anna über eine effiziente Suche verfügte, da sie aus ihren insgesamt 11 Fixationen mit nur 2 Fixationen die Hilfe identifizieren konnte. Um die optimale Position der TUWEL Hilfe zu bestimmen, wurden die Blickpfade der Testpersonen nach rund einer Sekunde (entspricht einem Zeitabstand von 3 bis 5 Fixationen nach Start der Aufzeichnung) ausgewertet (siehe Abb.6a). Daraus lässt sich ableiten, dass 80% der Testpersonen dieses Element in der oberen Bildschirmhälfte vermuten, wobei genau die Hälfte der StudienteilnehmerInnen das Hilfe-Element rechts oben im „persönlichen Bereich“ sucht. Die zirkuläre Suchstrategien mehrerer NutzerInnen (Abbildungen 6b und 6c) deuten ebenfalls darauf hin, dass die StudienteilnehmerInnen überzeugt sind das Hilfe-Element in diesem Abschnitt zu finden. Sie verlassen zwar kurz diesen Bereich, um etwaig andere Optionen zu „prüfen“, kehren aber in einer gewissen Zeit zum ursprünglich Intendierten zurück und untersuchen diesen Abschnitt mit intensiven Fixationen.

Abb. 5

Lediglich Anna konnte die Hilfe („TUWEL Tutorials“) effizient finden.

Seite 4

(a) Abb. 6

(b)

(c)

Sowohl die BeeSwarm Analyse (6a) als auch das zirkuläre Suchverhalten mehrerer Testpersonen (6b und 6c) deuten darauf hin, dass die Hilfe zum Lernsystem TUWEL im rechten oberen Quadranten platziert werden sollte.

Als Lösung dieser Usability Schwäche wurde der „TUWEL Tutorials“ Link zunächst in „Hilfe“ umbenannt und anschließend in die TopBar Navigation als rechtestes Element verschoben (siehe Abb.15). Diese Designstrategie ermöglichte zusätzlich einen Ausbau der Hilfeleistung, da nun konzentriert in einem fixen Bereich unterschiedliche Hilfeleistungen (z.B.: FAQ, E-Mail Ticket Support, Tutorials, Allgemeine Informationen, BenutzerInnenordnung sowie der Link zur Webseite des Betreibers) angeboten werden können.

Auffinden von persönlichen Mitteilungen (RFT5): Der Mitteilungsblock auf der MyTUWEL Seite wird im direkten Vergleich mit dem Link „Mitteilungen“ im „Kurs Menü“ deutlich weniger benutzt. Die Clusteranalyse ergab, dass während der Link von 90% der Testpersonen visuell erfasst wurde, der Block auf der rechten Seite nur von 60% fixiert wurde. Als Lösung wurde der Link gar nur von 20% angeklickt. Als Empfehlung sollte daher der Text-lastige sowie viel zentralen Platz einnehmende „Mitteilungsblock“ entfernt werden.

Bewertungen von Aktivitäten finden (RFT6): Die Suche nach der wichtigen Funktion „Bewertungen“ ist gemäß

Blickpfadanalyse lang, da dieses Element für viele als „versteckt“ gilt. Wie man in Abbildung 7 erkennen kann, wurden im Durchschnitt 17,7 Fixationen für das Auffinden des Elements benötigt, vier Testpersonen benötigten gar mehr als 20 Fixationen. Als weitere Begründung für den zeitintensiven Suchprozess kann auch die unlogische Positionierung innerhalb des Administrationsblocks genannt werden, da kurspezifische Elemente im „Kurs Menü“ angeführt werden. Der Fixationsparameter fixations before (Abb.8) führt an, dass 70% der Testpersonen bereits nach 6,4 Fixationen (und somit deutlich vor dem Administrationsblock) das „Kurs Menü“ fixiert haben. Eine Verschiebung in den Block „Kurs Menü“ ist daher zu empfehlen.

Abb. 7

Das sich im Administrationsblock befindende Element „Bewertungen“ wird erst nach dem Aufsuchen des Blocks „Kurs Menü“ visuell erfasst. Eine Verschiebung ins „Kurs Menü“ wäre eine deutliche Usability Verbesserung.

Auffinden der bevorstehenden Termine (RFT7): Bevorstehende Termine können in TUWEL mit Hilfe des Blocks

„Bald aktuell“ identifiziert werden, wobei die etwas umständlichere Möglichkeit (über den Kalenderterminen) ebenfalls zum Ziel führen kann. Sowohl der Block als auch der Kalender wurden von 70% der TeilnehmerInnen fixiert, aber während der Kalender von exakt der Hälfte der Testpersonen als Lösung angewählt wurde, klickten lediglich 20% auf den eigentlich richtigen Block. Die Präferenz des Kalenders wiederspiegelt sich auch an den Fixationszeiten (Time to first fixation), da während der Kalender bereits nach rund zwei Sekunden (von 80%) visuell erfasst wurde, benötigten die 60% Testpersonen im Durchschnitt 5,145 Sekunden um den Block zu finden. Aus diesen Eye Tracking Erkenntnissen lässt sich einerseits ableiten, dass der „Bald aktuell“ Block wenig benutzt wird,

Seite 5

andererseits dass eine positionelle, farbliche sowie inhaltliche Kopplung der beiden Elemente das Auffinden bevorstehender Elemente begünstigen würde.

Hinweis zu ungelesenen Forenbeiträgen suchen (RFT8): Der Pop Out Effekt der ungelesenen Forenbeiträgen wurde lediglich von 40% der StudienteilnehmerInnen fixiert, obwohl dieser farblich auffallend zentral im oberen Bildschirmbereich angeführt wurde. Der Grund für die schwache Erkennungsrate ist die erschwerte Lesbarkeit. Diese ist durch einen niedrigen Kontrast bedingt, da der Texthinweis eine blaue Schrift auf blauem Hintergrund aufweist. Dies erschwert die Informationsextraktion und bewirkt, dass Personen den Deutungsprozess abbrechen, wie etwa Damjan in Abbildung 8. Die Usability dieser Schaltfläche kann durch erhöhten Kontrast sowie effektivere Farbkombinationen verbessert werden.

Abb. 8

Die Informationsextraktion des richtigen Elements wurde aufgrund der erschwerten Lesbarkeit (schwacher Kontrast) abgebrochen.

Abmeldung aus dem Kurs (RFT10): Der entsprechende Link zum Abmelden wurde von 90% der

Studienteilnehmerinnen erfolgreich gefunden und als Lösung bestimmt. Die Eye Tracking Untersuchung zeigt somit auf, dass auch Elemente, die als „versteckt“ im linken unteren Quadranten angeführt werden, effizient gefunden werden können. Auffallend bei diesem Element ist die komplexe Nomenklatur („Abmelden aus 123.456 Kurskurzbezeichnung“), die stets zu deutlichen Fixationsintensitäten geführt hatte. Während der Parameter First fixation duration bei anderen Testfällen ungefähr 150-300 Millisekunden (entspricht 1-2 Fixationen) beträgt, nimmt er in diesem Kontext den Durchschnittswert von 1,065 Sekunden an. Gemäß Fixation lenght verweilten die StudienteilnehmerInnen während des Rapid Fire Tasks (10 Sekunden) durchschnittlich 2,244 Sekunden auf der Schaltfläche (z.B.: Richard in Abb.9). Um die visuelle Wahrnehmung dieses Buttons zu erleichtern, sind mehrzeilige bzw. komplexe Schaltflächenbezeichnungen zu meiden. Die Wichtigkeit bzw. die Tragweite einer Funktion sollte vielmehr durch Warnhinweise oder auffallende farbliche Kodierungen gelöst werden, als durch komplexe Namensstrukturen.

Abb. 9 Mehrzeilige bzw. komplexe Buttonnamen bewirken hohe Fixationswerte.

Seite 6

3.2

Auswertung der Open Tasks

Login und Anmeldung zu einer Gruppe (OT1): Die Untersuchungsergebnisse der Gruppenanmeldung weisen auf

deutliche Usability Probleme hin. Während der Suche nach dem richtigen Link „Arbeitsgruppen“ wurden alle Blöcke von TUWEL (!) fixiert. Das Element „Arbeitsgruppen“ wurde gemäß time to first fixation erst nach durchschnittlich 37,1 Sekunden (Median 22,8) visuell erfasst. Der Parameter time from first fixation to click betrug im Mittelwert 55,3 Sekunden (Median 5,072). Als Begründung für die extremen Eye Tracking Werte können die irreführende Bezeichnung „Arbeitsgruppen“ (Assoziationen zu Forschungsgruppe), die inadäquate Positionierung in der TUWEL Toolbox (erwartet wurde der Link im „Kurs Menü“) sowie das im rechten oberen Quadranten angeführte konkurrierende Element „Gruppen“ des Kalenders, welches die Testpersonen deutlich abgelenkt hatte, angeführt werden. Die Lösung für alle soeben geschilderten Usability Probleme wäre eine Verschiebung des Elements ins „Kurs Menü“ sowie die Umbenennung des Kalenderelements in „Gruppentermine“.

Lesen und Posten eines Forumsbeitrags (OT2): Die Eye Tracking Aufzeichnungen zur Nutzung der Foren weisen eine effiziente Bedienbarkeit auf, da alle wesentlichen Parameter optimale Werte wiederspiegeln. Die wesentlichen Bedienelemente von Foren wurden mit wenigen Fixationen erreicht, woraus man ablesen kann, dass alle Testpersonen die TUWEL Foren regelmäßig nutzen und mit der Oberfläche vertraut sind. Lediglich das gelbe Element (Hilfe für den HTML Editor, siehe Abbildung 10a) wurde als Störfaktor identifiziert, da es für erhöhte visuelle Ablenkung sorgte. Testpersonen suchten nach der Eingabe des Forenbeitrags intuitiv nach „Absenden“. Dieses Element bewirkt aufgrund seiner auffallenden Farbgestaltung sowie seiner unmittelbaren Positionierung nach dem Eingabefeld für abgelenkte Blickpfade. Weiters bewirkte dieses Element auffallende return sweeps (Anm. unmittelbare Rückkehre zu einem fixierten Element), wie in Abb.10b dargestellt. Diese Form der Gestaltung betont die visuelle Präsenz, die bei StudienteilnehmerInnen kontextuell die Funktion „Absenden“ assoziierte. Das gelbe Hilfeelement wird auch bei allen Texteingabefeldern angezeigt, so konnte dieses Navigationsverhalten auch beispielsweise beim „Online Test“ bzw. beim „Profil bearbeiten“ beobachtet werden (siehe 10b).

(a)

(b)

Abb. 10 Das gelbe Element wirkt ablenkend, da es mit „Absenden“ assoziiert wird (10a) und return sweeps bewirken kann (10b).

Durchführung einer Dateiabgabe (OT3): Die Suche nach der Aktivität zur Dateiabgabe wurde zu 60% in der

mittleren Kursspalte gestartet, zu 30% navigierten Testpersonen über die linken bzw. zu 10% über die rechten Blöcke zum entsprechenden Element. Daraus lässt sich erkennen, dass die rechte Kursspalte wenig benötigt wird, wodurch diese eingespart werden kann. Dieser Testfall zeigte weiters auf, dass bei der geforderten Verifikation (ob die Datei erfolgreich hochgeladen wurde) die beiden Elemente Dateisymbol und –Name stärker die visuelle Wahrnehmung beeinflussten als der farbliche Statusindikator im rechten oberen Bereich (Abb.11). Der intendierte PopOut Effekt des Statusindikators wurde von 60% der Testpersonen fixiert, hingegen der Link zur Datei von allen StudienteilnehmerInnen. Die Nähe zum Abgabeelement trägt in diesem Fall mehr zur visuellen Ablenkung bei als eine farblich auffallende Gestaltung. Dies lässt sich auch am Eye Tracking Parameter time to first fixation deutlich erkennen (Abb.12).

Seite 7

Abb. 11 Der Pop Out Effekt des Statusindikators, wird aufgrund der großen Distanz zum Abgabeelement visuell weniger beachtet.

Abb. 12 Das Auffinden dauert beim „Link zur Datei“ deutlich kürzer als beim Statusindikator.

Erhaltene Punkte für Aktivität herausfinden (OT4): Die Aufgabenstellung dieses Open Tasks sah vor die Bewertung der „Vorlesungsprüfung“ herauszufinden. In TUWEL muss eine Vorlesungsprüfung als eine „Offline Aktivität“ eingetragen werden. 40% der StudienteilnehmerInnen assoziierten die Vorlesungsprüfung jedoch als Test und suchten dementsprechend im linken „Kurs Menü“ unter dem Eintrag „Tests“. Drei von vier Testpersonen klickten sogar den Link „Tests“ an, obwohl sie kurz davor das richtige Element „Aktivitäten“ fixiert haben. An dieser Stelle sei angeführt, dass seitens der Implementierung auf klar getrennte Kategorien zu achten ist. Eine weitere Erkenntnis der Studie besagt, dass auf der Aufgabenübersichtsseite (vor allem bei breiten Bildschirmauflösungen) die Einträge der Spalte „Bewertungen“, visuell benachteiligt werden. Zwar erfassen alle TeilnehmerInnen die Spaltenüberschrift „Bewertungen“, die Punkte wurden aber lediglich von der Hälfte visuell erfasst (Abb.13). Um die Aufgabenstellung lösen zu können, navigierten 70% direkt zum Abgabebereich der Aufgabe, wo sie im Feedbackbereich die Punkteanzahl ablesen konnten. Als Usability Verbesserung könnte in diesem Zusammenhang mehr (farbliche) Betonung für die Bewertungspunkte vergeben werden, wie etwa die Formatierung „fett“ sowie eine rechtsbündige Ausrichtung in der Tabellenzelle, um mehr Abstand zu den anderen Spalten zu gewinnen und somit die visuelle Wahrnehmbarkeit zu verbessern.

Abb. 13 Der Cluster 7, der die Bewertungspunkte beinhaltet, wurde lediglich von 50% der Testpersonen fixiert.

Personalisierung - eigenes Profilbild ändern (OT5): Alle Testpersonen konnten die Aufgabenstellung lösen, jedoch

war ihre Navigation zur Seite „Profil bearbeiten“ unterschiedlich. Die Hälfte der Personen begann die Suche im linken oberen Quadranten, zwei Testpersonen suchten in der Kursmitte, zwei weiteren beim Login rechts oben, während ein Studienteilnehmer direkt im (richtigen) linken unteren Quadranten zu suchen begann. Folgende Elemente wurden schlussendlich angeklickt:

Seite 8

   

„Profil bearbeiten“ des Administrationsblocks (30%) eigener Name neben Login (30%) eigener Name im Block „Online Aktivitäten“ (20%) Navigation über TeilnehmerInnen und suche nach dem eigenen Eintrag (20%)

Aus dieser Zusammenstellung kann abgeleitet werden, dass die eigentliche Lösung „Profil bearbeiten“ (Administrationsblock) ineffizient platziert ist bzw. dass diese von zu vielen funktionell ähnlichen („konkurrierenden“) Elementen umgeben ist. Dies zeigt deutlich die Redundanz einiger Seitenelemente. Als Lösung dieses Usability Problems ist das Einrichten eines Bereichs, welcher über jene Verknüpfungen verfügt, die systemweit persönliche Informationen anführt, wie etwa das Profilbild, der Link zur Profilbearbeitung, Persönliche Nachrichten, Anmeldestatus etc. Zukünftige Erweiterungen des persönlichen Bereichs können persönliche Bewertungen, Feedback sowie eine Sammlung von Favoritenlinks zu häufig genutzten Seiten umfassen.

Durchführung eines Online Tests (OT6): Die Suche nach dem Online Test war stark einheitlich. Die homogene

Navigation umfasst lediglich zwei Bereiche, nämlich die Kursmitte und den Block „Kurs Menü“ in der linken Spalte. In den Blickpfaden der TeilnehmerInnen kommt in dieser Phase der Untersuchung bereits der memory effect zum Tragen, wodurch Gazeplots direkter und kürzer werden. Im Zusammenhang mit dem Online Test konnten zahlreiche Usability Schwachstellen identifiziert werden. Als Beispiel ist der problembehaftete Bereich der Abgabebuttons, die in Abbildung 14 dargestellt sind, zu nennen. Verwirrend für die StudienteilnehmerInnen war, dass ähnliche Schaltflächen angeboten werden, deren zu Grunde liegende Funktion jedoch nicht klar ersichtlich war. Die Buttons stehen untereinander in keiner Reihenfolge, weder eine systematische Hierarchie noch der Rang wird den UserInnen nahe gelegt. Die eigentlich wichtigste Schalfläche „Abgabe“ sollte visuell betont werden und lediglich nach Aufrufen aller Prüfungsseiten anklickbar sein. Die Buttons „Zwischenspeichern“ sowie „Seite bewerten lassen“ sollten deaktiviert werden, nachdem alle einzelnen Fragen korrekt abgeschickt wurden. Alle der soeben angeführten Probleme verursachten bei den Eye Tracking Aufzeichnungen zahlreiche Sakkaden, viele kurze Fixationen auf engstem Raum sowie lange Fixationen auf einzelnen Schaltflächen. Es konnte auch ein signifikanter Anstieg an object returns verzeichnet werden, die in Abbildung 14 ersichtlich sind. Diese Eye Tracking Muster wiesen darauf hin, dass die Funktion des Elements unklar ist und die Testpersonen mehrmals ein Objekt verlassen aber wieder zu ihm zurückkehren. Ausgehend aus diesen Erkenntnissen ist eine vollständige Überarbeitung der Abgabebuttons des „Online Tests“ wünschenswert.

Abb. 14 Drei object returns des Elements „Seite bewerten lassen“ signalisieren eine unklare zu Grunde liegende Funktion.

Seite 9

4

Design-Optimierung

Eye Tracking diente als Methode für die Identifikation von Bedienungsproblemen, die als Grundlage für ein Verbesserungspaket sowie für die Entwicklung des neuen grafischen Aussehenes der TUWEL Lernplattform beitragen sollen (siehe Abbildung 15). Ausgehend aus den Erkenntnissen, die in Abschnitt 3.1 sowie 3.2 beschrieben wurden, konnten diese nach einer Bündelung zu sechs großen Designimplementierungen zusammengefasst werden: 1. Reduktion auf ein 2-Spaltenlayout, die für mehr Übersichtlichkeit sorgt 2. Implementierung einer TopBar Navigation, die häufig benützte Funktionen in einem visuell optimalen Bereich anführt 3. Optimierung des „Kurs Menüs” mit zusammenklappbaren Elementen für individuelle Anpassbarkeit 4. Verschmelzung der Elemente der TUWEL Toolbox und des Administrationsblocks sowie zusätzlich Gruppierung dieser anhand der zu Grunde liegenden Funktionalitäten 5. Ausbau sowie Stärkung eines systemweit-fixen „persönlichen Bereichs“ im rechten oberen Quadranten 6. Bündelung sowie Spezifizierung der Hilfefunktionen in der TopBar Navigation

Abb. 15 Das neue TUWEL Design, die anhand der Eye Tracking Erkenntnissen optimiert wurde.

4

Conclusio

Die Eye Tracking Evaluationsmethode ermöglichte es dem TUWEL EntwicklerInnenteam neue Einsichten in die visuelle Wahrnehmung der BenutzerInnen zu gewinnen. Ein wesentliches Augenmerk der Studie war es allgemein gültige visuelle Navigationsverhalten und auffällige Fixationsmuster zu erkennen, um daraus Designschwächen zu Seite 10

identifizieren. Dabei war es wesentlich von individuellen Fixationsverhalten der Testpersonen auf generelle visuelle Tendenzen (der 28.000+ UserInnen) zu schließen. Eine Follow-Up Untersuchung ist in Planung, die dazu beitragen soll, die Wirkung der neu durchgeführten Designänderungen an der neuen Benutzeroberfläche in der studentischen Praxis zu überprüfen. Literaturnachweis Duchowski, A.T., 2003. Eye Tracking Methodology: Theory and Practice. London: Springer-Verlag. Just, M.A. und P.A. Carpenter. 1976. Eye Fixations and Cognitive Processes. In Journal of Cognitive Psychology, 8: 441-480. Nielsen, J. und Pernice K. 2009. Eye Tracking Web Usability. Amsterdam: Addison-Wesley Longman Verlag. Rakoczi, G. 2010. User Verhalten beim E-Learning: Eine Eye Tracking Studie des Lernsystems Moodle. Saarbrücken: VDM Verlag Dr. Müller. ISBN: 3639253884. Tobii. Tobii Studio 1.X User Manual, 2008. Danderyd: Tobii Technology AB.

Seite 11

Anhang A: Aufschlüsselung der Eye Tracking Testprozedur. Beschreibung

TUWEL Element

Methodik

Stimulus

Dauer

-

Standardisiertes Interview

-

unlimitiert (~ 5 Min)

1.

Vorbefragung (zur Demographie)

2.

Auffinden des Logins

Login, TU Account Login

Rapid Fire Task

Screenshot: TUWEL Startseite

10 Sek.

3.

Suchen eines Kurses in TUWEL

Kursliste, Aktuelle Kurse

Rapid Fire Task

Screenshot: Kursübersichtsseite

10 Sek.

4.

Liste aller Arbeitsunterlagen finden

Arbeitsmaterialien

Rapid Fire Task

Screenshot: Kursseite

10 Sek.

5.

Hilfe zu fehlgeschlagenem Login finden

Bereich „Vergesslich? Benutzername …“

Rapid Fire Task

Screenshot: TUWEL Startseite

10 Sek.

6.

Auffinden von persönlichen Mitteilungen

Mitteilungen Block

Rapid Fire Task

Screenshot: Kursübersichtsseite

10 Sek.

7.

Bewertungen von Aktivitäten finden

Bewertungen

Rapid Fire Task

Screenshot: Kursseite

10 Sek.

8.

Auffinden der bevorstehenden Termine

Bald aktuell Block

Rapid Fire Task

Screenshot: Kursübersichtsseite

10 Sek.

9.

Hinweis zu ungelesenen Forenbeiträgen suchen

Nachrichtenforum, Foren

Rapid Fire Task

Screenshot: Kursseite

10 Sek.

10.

Hilfe zu TUWEL finden

TUWEL Tutorials

Rapid Fire Task

Screenshot: Kursübersichtsseite

10 Sek.

11.

Abmeldung aus dem Kurs

„Abmelden aus 123.456 Kurskurzbezeichnung“

Rapid Fire Task

Screenshot: Kursseite

10 Sek.

12.

Unmittelbare Umfrage zu den Rapid Fire Tasks

13.

Login und Anmeldung zu einer Gruppe

Login, TU Account Login, Arbeitsgruppen

Open Task

IE Browser: TUWEL

unlimitiert (~ 1 Min)

14.

Lesen und Posten eines Forenbeitrags

Forum

Open Task

IE Browser: TUWEL

unlimitiert (~ 2 Min)

15.

Durchführung einer Übungsabgabe (Datei)

Online Aktivität – Eine Datei hochladen

Open Task

IE Browser: TUWEL

unlimitiert (~ 2 Min)

16.

Erhaltene Punkte für Aktivität herausfinden

Bewertungen, Offline Aktivität

Open Task

IE Browser: TUWEL

unlimitiert (~ 1 Min)

17.

Personalisierung: eigenes Profilbild ändern

Profil bearbeiten

Open Task

IE Browser: TUWEL

unlimitiert (~ 1½ Min)

18.

Durchführung eines Online Tests

Quiz

Open Task

IE Browser: TUWEL

unlimitiert (~ 3 Min)

19.

Unmittelbare Umfrage zu den Open Tasks

-

20.

Abschlussinterview

-

-

Linert Bewertungsskala (7)

-

Linert Bewertungsskala (7) Retroperspektivische Eye Tracking Analyse

Dipl.-Ing. Mag. Gergely Rakoczi Teaching Support Center, Technische Universität Wien, Gußhausstraße 28, A-1040 Vienna, Austria +43 1 58801 41544 [email protected]

Seite 12

-

unlimitiert (~ 1 Min)

unlimitiert (~ 1 Min) unlimitiert (~ 45 Min)