Kontakt   |  Service  |  Impressum

Potenziale neuer Medien für Tests und Prüfungen

Seit längerem wird der Computer für die Durchführung von Tests und Prüfungen herangezogen. Dabei ist die computergestützte Form lange Zeit auf die Umsetzung konventioneller Testformate beschränkt geblieben. Es wird das Ziel verfolgt Computer einzusetzen, um Tests kostengünstig zu organisieren, durchzuführen und auszuwerten. Doch zunehmend werden auch Möglichkeiten erkannt, mit dem Computer neue Aufgabenformate und Testformen einzusetzen und Qualifikationen aufgrund des neuen Prüfungsinstrumentes anders zu erfassen.


Im Rahmen des Forschungsprojektes wurde der Fokus auf die folgenden Bereiche gelegt:

 

 

a. Neue Aufgabenformate und Testformen

 

Mit dem Computereinsatz ist die Möglichkeit verbunden, neue Aufgabenformate und neue Testformen zu entwickeln. Dabei interessieren insbesondere solche Verfahren, die ohne Computereinsatz bislang nicht oder nur umständlich realisierbar wären und die einen Mehrwert für die Erfassung spezifischer Handlungskompetenz beinhalten.

Es geht dabei zum einen um neue Aufgabentypen, die andere Arten von Antworten von den Prüfungskandidaten erfordern, und zum anderen um neue Formen der Prüfungsorganisation, die den Ablauf der Prüfungen für die Prüflinge anders gestalten. Beide Aspekte führen dazu, dass Prüfungen "anders ablaufen" und andere Qualifikationen erfasst werden können (s. a. Jäger, 1994).

 

Beispiele für neue Aufgabenformate

  • Computersimulationen, bei denen der Umgang mit komplexen, auf dem Computer nachgebildeten Systemen (wie z. B. ein simulierter Wirtschaftsbetrieb, Eingriffe in ein ökologisches System, Umgang mit einem technischen System) geprüft wird (vgl. insbesondere Achtenhagen, 1993; Steinborn, 1997),
  • Videobasierte Tests, bei denen nachgestellte oder reale Fälle präsentiert werden, als Ausgangsmaterial für darauf basierende Prüfungsfragen (z. B. Bosmann, Hoogenboom εt Walpot, 1993),
  • Aufgezeichnete Sitzungen, bei denen die Bewältigung einer Aufgabe am Computer mithilfe von Tracking-Sofware erfasst wird und die (Qualität der) Bearbeitung später nachvollzogen werden kann,
  • Tele-Konferenzen, bei denen die (mündliche) Prüfung über Videokonferenz auch über mehrere Standorte hinweg organisiert wird.

Der Aufwand zur Entwicklung der genannten "neuen" Aufgabenformate ist beträchtlich. Deswegen sind entsprechende Vorhaben in der Regel bislang auf den Kontext von Modellvorhaben beschränkt geblieben, die gezielt auf einzelne, spezifische Fertigkeiten und Kompetenzen ausgerichtet waren. Für handlungsorientierte Prüfungen erscheinen insbesondere Computersimulationen und videobasierte Fallaufgaben attraktiv. Computersimulationen werden in Prüfungen im Bereich CAD und Elektrotechnik zum Teil bereits erfolgreich eingesetzt, weil mit ihrer Hilfe spezifische Kompetenzen wie Systemverständnis, Entscheidungsfähigkeit, Risikobereitschaft und Urteilsvermögen überprüft werden können. Vor diesem Hintergrund soll dieses Aufgabenformat näher dargestellt werden.

 

Computersimulation

Bei Computersimulationen ist ein Funktionsmodell eines erdachten oder nachgebildeten Realitätsausschnittes zu erstellen, welches die Beziehungen der relevanten Größen abstrakt repräsentiert. Da sich solche Zusammenhänge als Funktionsgleichungen einfacher oder höherer Ordnung oft schwer darstellen lassen, sind Computersimulationen bislang vor allem auf folgende Bereiche beschränkt geblieben:

  • Der Realitätsausschnitt lässt sich relativ einfach und eindeutig in mathematische Funktionsgleichungen (Algorithmen) überführen. Dies ist insbesondere bei Maschinen oder technischen Systemen der Fall. Schwierig wird dies insbesondere, wenn soziale, ökonomische oder psychologische Zusammenhänge ins Spiel kommen.
  • Die zugrunde liegenden funktionalen Zusammenhänge sind bekannt. Dies ist insbesondere der Fall, wenn z. B. genaue Unterlagen zum Aufbau technischer Systeme vorliegen.

 

Die Untersuchung entsprechender Computersimulationen in Prüfungen ergibt folgende Vor- und Nachteile:

 

 

  • Mangelnde Transparenz: Meint Transparenz aller Schritte, Hypothesen, Prämissen, oft für Außenstehende (Lerner, Prüfungskandidat) wenig nachvollziehbar.
  • Datenqualität: Oft sind Daten nicht hinreichend abgesichert
  • Modell-Realität: Simulationsdaten sind nicht gleich Fakten, Simulation präsentiert oft nur ein Modell der Realität, des Realsystems.
  • Realitätsferne: Modellbindungen erfordern oft starke Vereinfachung, oft werden qualitative Faktoren übersehen. Beispiel Unternehmenssimulation: Wie lässt sich schwankende Motivation oder Kooperation der Mitarbeiter quantitativ erheben und in die Unternehmensdaten mit einbeziehen?

 

Vorteile:

  • Erfassung der Systemkomplexität: Bei komplexen Systemen kann die Dynamik verschiedener Teilprozesse oft nicht mehr hinreichend erfasst werden, Hilfe durch Modellbildung und Computersimulation.
  • Erhöhtes Systemverständnis: Die Formalisierung und Vereinfachung macht die logische Struktur sichtbar und nachvollziehbar
  • Alternative zu Realexperimenten: Wenn diese zu kostenintensiv oder aus ethischen Gründen nicht realisierbar sind.
  • Integrationsmöglichkeiten: Teilmodelle können mit anderen gekoppelt werden, Modellintegrationen, in denen in mehreren Untersuchungen gewonnene Experimente (systematisch) kulminieren.
  • Anregung zur Datenerfassung: Datenlücken werden bei der Systemanalyse eventuell sichtbar.
  • Entscheidungshilfen: Durch frühe Abschätzung der Auswirkungen durch Simulationen können z. B. negative Folgen von Eingriffen am Realsystem besser vorausgesehen werden. Beispiel: Simulation einer Bohrung eines Ölkonzerns.

 

Gerade im kaufmännischen Bereich zeigt sich, dass die nachzubildenden Phänomene eine Komplexität aufweisen, die sich einer Überführung in ein numerisches Gleichungssystem entziehen (vgl. Breuer, 1988; Wedekind, 1988). So lässt sich das Agieren eines (erfolgreichen) Unternehmens in der Wirtschaft nicht vollständig in Algorithmen abbilden. Wäre dies möglich, dann wäre es einfacher, ein Unternehmen zielgerichtet auf "Erfolgskurs" zu halten, wie z. B. bei einem Flugsimulator (zu solchen Planspielen vgl. Blötz, 2002; Geilhardt εt Geier, 2001). Auf der anderen Seite geht es nicht immer um eine vollständige Abbildung, sondern um das Verständnis von grundlegenden Zusammenhängen, die auch mit weniger komplexen Simulationen abbildbar sind und daher auch untersucht werden sollten.

Bei manchem Planspiel zeigt sich ein paradoxer Effekt: Erfahrene (und/oder erfolgreiche) Manager schneiden beim Umgang mit simulierten Unternehmen keineswegs besser ab, zum Teil sogar schlechter als unerfahrene Anfänger. Der Experte wird durch die Begrifflichkeit an etwas ihm Bekanntes erinnert und nimmt deswegen Zusammenhänge an, die er im Laufe seiner Berufserfahrung als zutreffend erlernt hat, die in dem Modell der Computersimulation aber anders angelegt sind. Auch verbindet die Person mit manchen der im Szenario verwendeten Begriffe aus ihrer Erfahrung eine andere Bedeutung. Für Anfänger sind die meisten Begriffe dagegen eher unbesetzt, d. h., sie haben überhaupt keine Bedeutung, und es muss folglich nicht umgelernt werden.

Aufgrund dieser Probleme wird deswegen teilweise absichtlich eine völlig künstliche Welt mit einer Vielzahl rückgekoppelter Variablen simuliert, in der bestimmte Aufgaben gelöst werden sollen (z. B. Bürgermeister von "Lohausen"). In dieser unbekannten Welt reduziert sich die Gefahr, dass Oberflächenmerkmale des implementierten Modells mit Erfahrungswissen interferieren. Geprüft wird, ob /wie das Zusammenwirken der Variablen über die Zeit durchschaut wird und ob/wie es gelingt, durch geschicktes Manipulieren der Variablen das System in eine positive Richtung zu lenken (vgl. Dörner, Kreuzig, Reither εt Stäudel, 1983). Zu klären ist hierbei jedoch die Frage der Validität entsprechender Anwendungen: es ist nachzuweisen, dass die Systeme tatsächlich die geforderten generischen Kompetenzen erfassen, was besonders bei "soft skills" nicht unproblematisch ist.

Somit kann festgehalten werden: Bei der Simulation technischer Systeme und dem Einsatz von Computersimulationen in entsprechenden Prüfungen gibt es kaum grundsätzliche Hürden, allerdings kann der Aufwand zur Implementation relativ hoch sein. Für eine Erprobung solcher Verfahren in Prüfungen wäre in jedem Fall auf verfügbare Lösungen aus dem Trainingssektor zurückzugreifen.

Perspektivisch wichtig wäre jedoch auch die Erprobung von Computersimulationen im ökonomischen, gesellschaftlichen und sozialen Bereich. So wäre es interessant, im Rahmen der Prüfung zur AEVO Fallbeispiele einzusetzen, die bestimmte Entscheidungssituationen in interpersonellen Interaktionen präsentieren. Der Prüfling hat anhand eines Entscheidungsbaumes einen präsentierten Fall "abzuarbeiten". Bei einem Einsatz im Rahmen der Hauptstudie wäre dabei insbesondere kritisch zu prüfen, ob und/oder wie "richtige" vs. "falsche" Antworten inhaltlich trennscharf und zuverlässig unterschieden werden (können). Denn auch hier basieren die verfügbaren Lösungen auf Trainingsanwendungen, bei denen es nicht unbedingt die "eine" richtige Antwort gibt.

 

Beispiele für alternative Prüfungsorganisation

  • computerbasierte Testbanken, mit denen Prüfungen zum Prüfungszeitpunkt auf der Basis von Items aus einer Datenbank ad hoc erzeugt werden können.
  • internetbasierte Prüfungsorganisation, bei der Testitems über das Netz entwickelt werden und Prüfungen ggf. auch durchgeführt werden,
  • adaptive Tests, bei denen Items in Abhängigkeit vom Wissens- bzw. Leistungsstand der Prüfungskandidaten präsentiert werden, um deren zeitliche (und emotionale) Belastung zu reduzieren (vgl. Hornke, 1995; Linden εt Glas, 2000)

Die beiden erstgenannten Formen werden wir im Folgenden genauer untersuchen. Das adaptive Testen impliziert besonders weit reichende Veränderungen der gesamten Prüfungsorganisation, die hier nicht weiterverfolgt werden. Dabei werden in Abhängigkeit von Ergebnissen bei der Bearbeitung einer Aufgabe die in der Folge präsentierten Aufgaben aus einem Pool von Items vom Computer ausgewählt und vorgelegt werden, die sich an den Fähigkeiten der Prüflinge ausrichten, und diese nicht durch leichte Aufgaben gelangweilt oder durch schwere Aufgaben überfordert werden. Notwendig wird ein systematischer, über Jahre dauernder Prozess des Aufbaus einer Aufgaben-Datenbank, bei der die Ergebnisse der Aufgabenbearbeitung erfasst und entsprechende Werte über z. B. Itemschwierigkeit in die Datenbank zurückgeführt werden. Diesen Ansatz verfolgen u. a. die deutsche Bundeswehr (Hornke, 1995), der Education Testing Service in den USA oder das schweizerische Bankwesen.

Schmidt (1998a) macht jedoch deutlich, dass mit dieser - von ihm sehr positiv bewerteten - Prüfungsform ein starkes Umdenken im deutschen Prüfungssystem erforderlich wäre. Denn bislang werden einheitliche - am besten bundesweite - Aufgabensätze gleichgesetzt mit gerechten und vergleichbaren Prüfungen, was für ein Ausbildungssystem, das Berechtigungen vergibt, auch erforderlich ist.

 

 

b. Computer als Arbeitswerkzeug in der Prüfung

 

Ein anderer Trend ist der Einsatz von Computern in der Prüfung als Werkzeug zur Aufgabenbearbeitung. Die Prüfung besteht dabei aus Aufgaben, die mittels Computernutzung zu lösen sind; das Ergebnis der Bearbeitung ist im Wesentlichen ein digitales Dokument. So wie mit der Erstellung eines Werkstückes die Handhabung von Werkzeugen geprüft wird, wird der kompetente Umgang mit dem Computersystem mitgeprüft. Es ist etwa nahe liegend, Fertigkeiten der computerbasierten Textverarbeitung dadurch zu prüfen, indem bestimmte Aufgaben der Texterstellung, -formatierung etc. unmittelbar am Computer zu erledigen sind. Die Durchführung und Auswertung der Prüfungen ist hierdurch keineswegs kostengünstiger zu realisieren; sie ist sogar in der Regel aufwändiger, erlaubt aber implizit die Prüfung von Fertigkeiten im Umgang mit Computern.

Grundsätzliche Hürden und fundamentale Bedenken gegenüber diesem Ansatz seitens der Prüfer oder der Prüflinge bestehen heute nicht (mehr). In der Praxis zeigen sich einige Probleme u. a. bei der Organisation entsprechender Prüfungen, die jedoch als Anfangsschwierigkeiten bewertet werden können. Da es sich hier um eine für immer mehr Berufe zentrale Schlüsselqualifikation handelt, die sich anders kaum prüfen lässt, wird der Einsatz von Computern als Werkzeug bei der Aufgabenbearbeitung in immer mehr Bereichen gefordert und erprobt.

In den bislang durchgeführten Modellvorhaben zur Erprobung des Computereinsatzes in Prüfungen dominiert dieser Ansatz: Der Einsatz des Computers in Prüfungen erfolgt mit der Perspektive, Kompetenzen im Umgang mit IT selbst zum Prüfungsgegenstand zu machen, da die Computernutzung in Berufen eine wichtige Qualifikation darstellt: Der Einsatz des Computers in der Prüfung erfolgt aus dem gleichen Grund, wie bei der Prüfung zum Tischler Holzbearbeitungswerkzeuge zum Einsatz kommen.

 

 

c. Kostensenkung bei Prüfungen

 

Nicht selten wird mit dem Computereinsatz im Prüfungswesen die Hoffnung verbunden, den Prüfungsaufwand in verschiedenen Phasen reduzieren zu können. Dies geschieht üblicherweise dadurch, dass man die Auswertung von Prüfungen zu automatisieren versucht, was wiederum bestimmte Aufgabenformate voraussetzt. So kommen im Zusammenhang mit diesen Überlegungen vor allem folgende Aufgabenformate zum Einsatz:

  • Auswahlaufgaben (Auswahl aus vorgegebenen Antwortalternativen)
  • Zuordnungsaufgaben (Items einer Liste müssen entsprechenden Items einer anderen Liste zugeordnet werden), auch durch "drag and drop"
  • Identifikationsaufgaben (Auswahl auf dem Bildschirm durch Bewegung/Setzen einer Markierung)
  • Lückentext (fehlende Begriffe etc. sind einzusetzen)
  • Freitext (bislang nur in Grenzen, z. B. wenn die Identifikation von Schlüsselwörtern hinreichend ist)

Es werden folgende Effekte erzielbar, die sich positiv auf der Aufwandsseite niederschlagen sollten:

  • leichte Korrektur und Administration
  • Schnelligkeit, Effektivität bei umfangreichen Prüfungen und bei der Prüfungsunterlagenerstellung allgemein
  • Objektivität der Prüfungsauswertung
  • Standardisierung Prüfungssituationen
  • Reduzierung des Aufwandes für Auswerter durch Zeitersparnis (dadurch auch Entlastung des Ehrenamtes).

Entsprechend ausgelegte Tests werden - zunehmend auch auf der Basis des Internets - heute vor allem eingesetzt in den Bereichen Eignungsdiagnostik und Einstellungstests sowie Eingangstests und Selbsttest, d. h. zur Prüfung des individuellen Wissenstands, beispielsweise um das Wissen in bestimmten Fächern vor Kursbelegung festzustellen oder zur Vorbereitung auf Prüfungen (z. B. Prüfungsvorbereitung des Führungskräftenachwuchses der Volks- und Raiffeisenbanken bei der Akademie Deutscher Genossenschaften mithilfe eines internetbasierten Wissenscheck). Computerbasierte Tests werden z. B. beim Sprachtest TOEFL eingesetzt; er wird seit 1998 computerbasiert durchgeführt.

Die größten Kostenvorteile stellen sich bei einer vollautomatisierten Präsentation und Auswertung von Prüfungsaufgaben ein, und zwar insbesondere bei einem großen Durchsatz an Prüfungskandidaten/innen. Eine vollautomatische Auswertung von Testitems impliziert allerdings eine deutliche Einschränkung der Fragetypen und Antwortformate. Es handelt sich im Wesentlichen um Antwortformate vom Typ (Mehrfach-) Auswahlverfahren (Multiple Choice) mit einer Vielzahl von Varianten (wie z. B. Zuordnungsaufgaben mittels drag and drop.) Bis heute ist die automatische Auswertung von Freitext-Antworten nur in Ansätzen gelöst. Neuere Ansätze der Textanalyse sind für den regulären Prüfungsbetrieb nicht in einer Weise verfügbar, die einen breiten Einsatz im Standard-Betrieb ermöglicht. Insgesamt wird deutlich, dass diese Antwortformate die zu prüfenden Lehrinhalte auf den Bereich des "Wissens" eingrenzen, was die Kritik an diesen Verfahren mit begründet.

 

Gleichwohl ist darauf hinzuweisen, dass Tests auf der Basis von Multiple Choice bei überlegter Konzeption mächtiger sind als vielfach angenommen wird. Es ist keineswegs so, dass ihr Anwendungsbereich grundsätzlich auf einfaches Faktenwissen beschränkt ist und entsprechende Prüfungen durch geschickte Ratestrategien erfolgreich bestanden werden können. Die Entwicklung "intelligenter" und lehrzielgerechter Tests ist dagegen sehr viel aufwändiger als oft vermutet wird. So können z. B. Antwortformate in N-aus-M-Verfahren mit einer extrem niedrigen Ratenwahrscheinlichkeit generiert werden. Mit geschickt konstruierten Multiple-Choice-Tests lassen sich anspruchsvolle kognitive Leistungen - auch in einem Anwendungskontext - prüfen. Sie können so konstruiert werden, dass ein intensives Nachdenken und konstruktive Denkleistungen erforderlich sind. Zu bedenken ist, dass die Erstellung entsprechender Items nicht trivial ist und sich der Entwicklungsaufwand als relativ groß erweist (zu Erfahrungen aus Projekten aus dem DIHK vgl. Blum et al., 1995). Es bleibt zu konstatieren: Handlungsorientierung und Varianten von Prüfungsaufgaben mit Mehrfachauswahlverfahren schließen sich nicht grundsätzlich aus, entsprechende Items sind jedoch aufwändig zu konstruieren.

Die verbreitete Ablehnung entsprechender Testverfahren scheint auch ein kulturelles Phänomen zu sein. In den USA sind entsprechende, oft sehr professionell entwickelte Anwendungen in allen Bildungsbereichen präsent und gebräuchlich. Oft werden diese Verfahren dort vor allem aus Gründen der Objektivität (test fairness) präferiert.

 

 

d. Einschätzung der Zielperspektiven

 

Es wird deutlich, dass die vorliegende Diskussion über den Computereinsatz im Prüfungswesen unterschiedliche, sich teilweise widersprechende Zielperspektiven und damit auch Konfliktpotenzial beinhaltet:

  • Mit der Automatisierung der Testorganisation, der Testdurchführung und -auswertung werden Kostensenkungen erwartet.
  • Der Einsatz des Computers als Werkzeug beinhaltet eher zusätzliche Aufwendungen.
  • Die "neuen" Testformate eröffnen qualitativ andere Prüfungsformen, sind aber ebenfalls aufwändig in der Entwicklung.

 

Es wird deutlich, dass mit dem Schlagwort "NPV" verschiedene, sogar diametral entgegengesetzte Erwartungen verbunden sind bzw. sein können. Die hier aufgezeigten Zielperspektiven zeichnen mögliche Konfliktlinien vor. Eine praxisbezogene realisierbare Lösung muss deswegen unter den Beteiligten frühzeitig klären, welche der Perspektiven in welcher Gewichtung verfolgt werden soll.

Die Erwartungen der an der Vorstudie Beteiligten konnten im Hinblick auf diese drei Zielperspektiven präzisiert werden:

  • So erwarten die Projektbeteiligten perspektivisch, dass NPV zu Kostensenkungen beitragen können und sollen.
  • Es wird weniger eine Kostensenkung durch starke Automatisierung der Prüfungsdurchführung als durch die Computerunterstützung in den Phasen der Aufgaben- und Prüfungserstellung sowie der computergestützten Prüfungsauswertung.
  • Zentral ist vor allem der Aspekt "Computernutzung als Werkzeug in Prüfungen" sowie "neue Aufgabenformate".
  • Inhaltlich sollen die Aufgabenformate insbesondere den Aspekt der Handlungsorientierung unterstützen (hier interessiert insbesondere der Einsatz von Computersimulationen).
  • Insgesamt wird eine Modernisierung des Prüfungswesens angestrebt.

 

Quelle: "Neue Prüfverfahren - Forschungsbericht zum Einsatz moderner Medien bei Prüfungen", 2003, Hrsg: DIHK-Gesellschaft für berufliche Bildung mbH, Bonn, W. Bertelsmann Verlag GmbH & Co. KG, Bielefeld

 


  Zurück zur Übersicht