Zweite Evaluation



Aufbau

Wieder wurde die Evaluation mit SoSci Survey erstellt und umfasste sechs Fragen; davon drei mit offener Texteingabe und drei mit Skalen. Letztere basieren auf den Methoden System Usability Scale, Perceived Ease of Use und Perceived Usefulness. Die Methoden werden im Rahmen der Ergebnisse näher erläutert. Der Fokus liegt auf der Benutzerfreundlichkeit von MAX.

Teilnehmer

Zur Befragung waren erneut nur Teilnehmer des Seminars „Computergestützte Analyse von Museumsdatenbanken“ der Ludwig-Maximilians-Universität München zugelassen. Die Anzahl der Teilnehmer lag bei 8; und hat damit im Vergleich zur ersten Umfrage, an der noch 13 Studierende teilnahmen, abgenommen. Dies ist dadurch zu erklären, dass sich viele Studierende im Verlauf eines Semesters von einem Seminar wieder abmelden. Unter den Teilnehmern waren 5 Studierende im Bachelor und 3 im Master; darunter 7 Frauen und 1 Mann.

Ergebnisse

Methoden

System Usability Scale

Zunächst beurteilen die Studierenden nach dem Prinzip der System Usability Scale. Die Methode wurde 1986 durch John Brooke eingeführt, um möglichst kostengünstig die Benutzerfreundlichkeit einer Software auswerten zu können. System Usability Scale besteht aus einem Fragebogen mit 10 Aussagen. Der Befragte muss auf einer fünfstufigen Skala angeben, inwieweit er der jeweiligen Aussage zustimmt (von 1 für „Keine Zustimmung“ bis 5 für „Volle Zustimmung“). Die Aussagen umfassen „Ich finde MAX einfach in der Anwendung“ und „Ich finde, dass die verschiedenen Funktionen von MAX gut integriert sind“. Durch die Standardisierung der Aussagen sind auch bei kleinen Stichproben zuverlässige Ergebnisse möglich. Die Ergebnisse können der folgenden Tabelle entnommen werden.

Aussage Bereinigte Werte (Ursprungswerte)
(a) Ich kann mir sehr gut vorstellen, MAX regelmäßig zu nutzen. 1 (2) 0 (1) 3 (4) 1 (2) 2 (3) 2 (3) 2 (3) 4 (5)
(b) Ich empfinde MAX als unnötig komplex. 0 (5) 3 (2) 2 (3) 2 (3) 3 (2) 3 (2) 4 (1) 3 (2)
(a) Ich finde MAX einfach in der Anwendung. 2 (3) 0 (1) 2 (3) 1 (2) 2 (3) 2 (3) 3 (4) 3 (4)
(b) Ich denke, dass ich technischen Support brauchen würde, um MAX zu nutzen. 3 (2) 0 (5) 1 (4) 1 (4) 1 (4) 2 (3) 2 (3) 3 (2)
(a) Ich finde, dass die verschiedenen Funktionen von MAX gut integriert sind. 1 (2) 3 (4) 3 (4) 3 (4) 2 (3) 3 (4) 2 (3) 4 (5)
(b) Ich finde, dass es in MAX zu viele Inkonsistenzen gibt. 0 (5) 2 (3) 3 (2) 3 (2) 2 (3) 4 (1) 3 (2) 4 (1)
(a) Ich kann mir vorstellen, dass die meisten Leute MAX schnell zu beherrschen lernen. 2 (3) 1 (2) 2 (3) 1 (2) 0 (1) 3 (4) 2 (3) 3 (4)
(b) Ich empfinde die Bedienung als sehr umständlich. 0 (5) 1 (4) 2 (3) 2 (3) 1 (4) 3 (2) 4 (1) 4 (1)
(a) Ich habe mich bei der Nutzung von MAX sehr sicher gefühlt. 1 (2) 0 (1) 1 (2) 0 (1) 0 (1) 1 (2) 2 (3) 3 (4)
(b) Ich musste eine Menge Dinge lernen, bevor ich mit MAX arbeiten konnte. 4 (1) 0 (5) 1 (4) 0 (5) 1 (4) 2 (3) 1 (4) 4 (1)
Summe der Werte 14 10 20 14 14 25 25 35
Gewichtete Summe 35 25 50 35 35 62,5 62,5 87,5
Ø 49,06 von 100

Die Ergebnisse können nur in Relation zu anderen Studien beurteilt werden. Um die Einzelwerte auf einen Wert zu überführen, werden die Angaben der Teilnehmer zu den jeweiligen Aussagen konvertiert. Wie ein Wert konvertiert wird, ist abhängig von der Konnotation der Aussage, d. h.

  • bei positiven Aussagen (a) wird 1 von der Angabe subtrahiert,
  • bei negativen Aussagen (b) wird die Angabe von 5 subtrahiert.

Die nun vorliegenden Werte werden pro Teilnehmer summiert und mit 2,5 multipliziert. Das Ergebnis ist der Durchschnitt, hier 49,06. Mit einem Wert von 49,06 liegt MAX unter dem Durchschnitt. Laut https://measuringu.com/sus/ beginnen bei einem Wert von 50 die unteren 15 %, der Durchschnitt liegt bei 68; Werte über 80,3 bilden die oberen 10 %.

Perceived Ease of Use

Zwei weitere Indikatoren sind Perceived Usefulness („Wahrgenommene Nützlichkeit“) und Perceived Ease of Use („Wahrgenommene Benutzerfreundlichkeit“). Eine Studie von Fred Davis hat bewiesen, dass beide korrelieren: Nur bei einer ausgeprägten Perceived Ease of Use kommt es zu einer deutlichen Perceived Usefulness, was wiederum ausschlaggebend ist, damit ein Anwender eine Software langfristig verwenden möchte. Im Folgenden werden zunächst die erhobenen Werte für Perceived Ease of Use und daraufhin für Perceived Usefulness diskutiert. Perceived Ease of Use hilft zu beurteilen, ob eine Software leicht zu erlernen ist. Der Begriff Ease bedeutet hierbei „Frei von Problemen und großem Aufwand“. Anwender bevorzugen Software, die leicht zu erlernen ist, selbst wenn eine andere Software mit dem gleichen Funktionsumfang schneller sein sollte.

Aussage von „Keine Zustimmung” (1) bis „Volle Zustimmung” (5) Ø
Das Erlernen der Anwendung von MAX ist für mich einfach. 3 1 2 3 3 1 3 4 2,50
Ich finde es einfach MAX dazu zu bringen zu machen, was ich möchte. 2 1 1 2 2 1 4 4 2,13
Der Zugang zu MAX ist für mich übersichtlich und verständlich. 1 2 2 4 2 3 4 5 2,88
Für unterschiedliche Anwendungen ist MAX anpassungsfähig. 3 3 2 3 3 3 4 5 3,25
Für mich ist es einfach, im Umgang mit MAX versiert zu werden. 2 1 2 2 3 2 3 4 2,38
Ich finde MAX einfach in der Handhabung. 2 2 2 3 3 3 4 4 2,88
Ø je Teilnehmer 2,17 1,67 1,83 2,83 2,67 2,17 3,67 4,33
Ø 2,67 von 5

Der Gesamtdurchschnitt liegt mit 2,67 unter dem Mittelwert der fünfstufigen Skala. Die Studierenden haben somit tendenziell das Gefühl, MAX wäre schwierig zu verwenden. 6 der Studierenden liegen mit ihrem Durchschnitt unter dem Mittel, 2 haben einen Wert unter 2 und damit deutliche Schwierigkeiten mit MAX. Bei lediglich einem Studierenden kann mit einem Wert von 4,33 angenommen werden, dass das Erlernen der Software leicht war. Um die Anwendung von MAX zu vereinfachen, wurden Screencasts erstellt, die zu jeder Operation eine Videoanleitung bereitstellen. Die Studierenden hatten zum Zeitpunkt der Umfage noch keinen Zugang zu diesen Anleitungen und mussten sich das System selbst aneignen.

Perceived Usefulness

Die Methode Perceived Usefulness misst, inwieweit eine Person glaubt, ein System könnte die Qualität und Leistungsfähigkeit ihrer Tätigkeit erhöhen. Laut Perceived Usefulness erwartet sich ein Benutzer von einer als äußerst nützlich wahrgenommenen Software eine dementsprechende Leistungssteigerung. Die Ergebnisse basieren auf der Wahrnehmung des Befragten und ermöglichen damit keine Rückschlüsse darauf, wie nützlich die Software ist und inwieweit sich die Leistung tatsächlich gesteigert hat. Viel eher kann mit den Werten beurteilt werden, ob ein Benutzer motiviert wäre, sich die Anwendung aufgrund ihrer (wahrgenommenen) Nützlichkeit anzueignen.

Aussage von „Keine Zustimmung” (1) bis „Volle Zustimmung” (5) Ø
Die Verwendung von MAX würde die Qualität meiner Arbeit steigern. 4 1 3 2 4 3 3 3 2,88
Die Verwendung von MAX würde meine Produktivität erhöhen. 2 3 3 3 2 3 3 4 2,88
Die Verwendung von MAX würde die Effizienz meiner Methoden verbessern. 3 1 3 2 3 3 4 2 2,63
Die Verwendung von MAX würde es erleichtern, meine Aufgaben zu erledigen. 3 2 3 4 3 3 4 4 3,25
MAX würde es mir ermöglichen, meine Aufgaben schneller zu erledigen. 3 1 3 3 4 3 3 4 3,00
Ich finde MAX nützlich für meine Forschung. 3 2 3 3 4 3 4 5 3,38
Ø je Teilnehmer 3,00 1,67 3,00 2,83 3,33 3,00 3,50 3,67
Ø 3,00 von 5

Perceived Usefulness liegt mit einem Wert von 3,00 auf dem Mittelwert der Skala. Die Studierenden haben keine eindeutige Tendenz; dies belegt die niedrige Standardabweichung von 0,51. Dies gilt auch für 2 Studierende, die zuvor die Extremwerte ausgemacht haben: Eine Person empfindet MAX als äußerst schwierig zu erlernen (1,83), sieht aber durchaus einen Nutzen (3,00); die andere konnte MAX sehr leicht erlernen (4,33), ist sich dem zukünftigen Nutzen aber nicht völlig bewusst (3,67). Lediglich ein Einzelergebnis ist mit 1,67 eindeutig; der Nutzer empfand MAX als nicht nützlich. Wie vorab erwähnt wurde, ist eine deutliche Perceived Usefulness bei einer ausgeprägten Perceived Ease of Use statistisch wahrscheinlicher. Die niedrigen Werte der Perceived Ease of Use begründen somit zum Teil die Ergebnisse der Perceived Usefulness.

Offene Fragestellungen

Welche Fragestellung möchten Sie mit MAX beantworten?

Zum Zeitpunkt der Evaluation hatten die Studierenden nicht mit der Bearbeitung ihrer Hausarbeiten begonnen; 3 der Studierenden waren sich bezüglich ihrer Fragestellung noch unschlüssig. Die verbleibenden Studierenden hatten Forschungsfragen, die sich mit sehr divergenten Themenbereichen auseinandersetzen: vom Material der Kunstwerke bis zur Sammlungsgeschichte eines Museums. Andere Studierende interessieren sich dafür, auf welchen Zeitpunkt der Umbruch von Schwarz-weiß- zu Farbfotografie festzulegen ist. Bezüglich Museumssammlungen wurden Ideen angeführt, mehrere Sammlungen auf das vorherrschende Material, das häufigste Bildmotiv und die Ankaufsgeschichte hin zu vergleichen.

Welche Funktionen würden Sie in MAX ergänzen?

Ergänzungen zum Funktionsumfang wurden von zwei Studierenden gefordert. Zum einen wurde angeführt, es wäre nützlich, Bilder entlang eines Zeitstrahls angezeigt zu bekommen, um einen möglichen Wandel der Farbpalette innerhalb eines Oeuvres zu visualisieren. Zum anderen wurden zwei neue Funktionen gewünscht, die es ermöglichen, einzelne Zeilen zu entfernen bzw. Datenbestände zu vereinen.

Welche Funktionen waren oder sind für Sie unverständlich?

Die letzte Frage diente dazu zu eruieren, welche Funktionen die meisten Hilfestellungen benötigen. Bis auf einen Teilnehmer haben alle Studierenden ausführlich unverständliche Funktionen aufgelistet. Auf Basis dieses Feedbacks wurde zu jeder Operation ein Screencast erstellt. Vorrangig bestanden Schwierigkeiten mit R-Code und Regulären Ausdrücken. Beides sind Themenbereiche, die problembezogene Lösungen erfordern. In Bezug auf R handelt es sich um eine Programmiersprache, deren Anwendungsbereich äußerst umfangreich ist. In Falle von Regulären Ausdrücken kann nur ein Grundverständnis gelehrt werden, unterschiedliche Probleme benötigen jedoch individuelle Schreibweisen der Ausdrücke. Webseiten wie https://regex101.com helfen dabei, den passenden Ausdruck zu finden. Eine Liste von möglichst allgemeingültigen Schreibweisen und eine kurze Einführung zu Regulären Ausdrücken ist unter Reguläre Ausdrücke zu finden.

Im Folgenden sind die Kommentare der Studierenden stichpunktartig zusammengefasst.

  • Es ist unverständlich, wann welche Operation sinnvoll ist.
  • Der Datenbestand lässt sich nur schwer durchsuchen.
  • Reguläre Ausdrücke sind nicht leicht zu erlernen und erfordern ein großes Maß an Eigeninitiative.
  • Der Unterschied zwischen regulären Ausdrücken und R-Code ist nicht eindeutig.
  • Die im Seminar besprochenen regulären Ausdrücke konnten nicht auf das Problem angewendet werden. Eine umfangreichere Liste von regulären Ausdrücken wäre nötig gewesen.
  • Das Filtern von Zahlen mit regulären Ausdrücken war eine große Herausforderung.
  • Es existiert bisher keine Übersicht, die darstellt, wie die Ergebnisse der einzelnen Operationen ausgegeben werden. Es versteht sich nicht von selbst, ob Ergebnisse in einer neuen Spalte, einer bestehenden Spalte oder in einem Pop-up angezeigt werden.