Kontakt   |  Service  |  Impressum

Anforderungen an neue Prüfverfahren

Um die zentralen Anforderungen an ein Einsatzszenario aus Sicht der beruflichen Praxis zu präzisieren, wurden Leitlinien und Bewertungskriterien für entsprechende Varianten entwickelt. Empirische Ergebnisse und Analysen wurden ergänzt durch die Ergebnisse eines Workshops mit Prüfungsexperten.


Zentrale Aspekte zur Ableitung der Leitlinien und Kriterien waren zusammenfassend folgende Fragen:

  • Welche Formen von computergestützten Prüfungen sind sinnvoll in der beruflichen Aus- und Weiterbildung zu realisieren? Hier ging es darum, zu klären, ob Online-Prüfungen überhaupt für öffentlich-rechtliche Prüfungen in Frage kommen, ob es überhaupt denkbar ist, dass Teilnehmer die Prüfung nicht nur in Prüfungszentren, sondern auch von anderen Orten aus ablegen können und welche Aspekte bedacht werden müssen, wenn Prüfungen in dieser Form abgelegt werden. Hier stand im Mittelpunkt, welche rechtlichen und sicherheitstechnischen Vorgaben bei diesen Prüfungen zu beachten sind und welche rechtlichen Konsequenzen sich bei Durchführungsproblemen ergeben könnten.
  • Von welchen sonstigen Faktoren ist eine erfolgreiche Umsetzung eines derartigen Systems abhängig? Hier wurde insbesondere geklärt, welche organisatorischen Voraussetzungen im Hinblick auf Onscreen-Prüfungen bei Aufgabenerstellern und Prüfern, welche lerntechnischen Voraussetzungen bei den Prüflingen und damit zusammenhängend welche mediendidaktischen Voraussetzungen des Systems erforderlich sind. Zudem wurden Fragen der Akzeptanz der unterschiedlichen Prüfungsbeteiligten diskutiert.

Die Erwartungen der Praxis an ein entsprechendes Szenario gehen über An­forderungen an eine Software-Lösung im engeren Sinne deutlich hinaus und beinhalten eine Vielzahl von Kriterien, die das gesamte "Prüfungssystem" einschließlich der Organisation betreffen. Im Einzelnen sind das:

 

a. Juristische Aspekte

Die Prüfungen im öffentlich-rechtlichen Bereich sind per Rechtsverordnung geregelt. Diese Ordnungen sollen den Beteiligten, insbesondere den Prüfungskandidaten, Rechtssicherheit geben.

Insgesamt ergaben sich folgende Leitfragen:

  1. Lassen die bestehenden Rahmenbedingungen Online-Prüfungsverfahren zu oder nicht?
  2. Wo sind die Grenzen von Online-Prüfungsverfahren?
  3. Was ist bei der Einführung von Online-Prüfungsverfahren aus rechtlicher Sicht besonders zu berücksichtigen?
  4. Gibt es einen rechtlichen Regulierungsbedarf? An welchen Stellen? Wer sollte hierbei einbezogen werden?
  5. Mit welchen Schwierigkeiten wäre bei der Einführung von NPV zu rechnen? Wie könnten diese verhindert werden?

 

Kriterien

  • Die Datensicherheit muss gewährleistet sein, insbesondere müssen die Daten vor Manipulation sicher sein.
  • Die Aufbewahrungsfristen von Daten müssen eingehalten werden.
  • Der Gleichbehandlungsgrundsatz muss gewährleistet sein, insbesondere durch Beachtung der gleichen Rahmenbedingungen, was z. B. bei Online-Prüfungen von Zuhause aus schwierig zu realisieren ist.
  • Die rechtlichen Rahmenbedingungen müssen eingehalten werden.
  • Die Prüfungen müssen unter Aufsicht durchgeführt werden.
  • Die Prüfer und das Aufsichtspersonal müssen hinreichend auf die neuen Rahmenbedingungen - insbesondere bezüglich Täuschungsversuche - vorbereitet werden.

 

b. Technische Aspekte

Zentrale Forderung ist, dass sich die technische Umsetzung an den juristischen, didaktischen und organisatorischen Kriterien orientieren muss: Die Technik darf nur Mittel zum Zweck sein.

Als ganz allgemeine Forderung ist dabei zunächst zu nennen: Die Technik muss mit "normalen" Computerkenntnissen bedient werden können. Dieser Punkt wird kontrovers wahrgenommen, denn es zeigt sich, dass keineswegs offensichtlich ist, was "normale" Computerkenntnisse sind. Darf man darunter den Umgang mit MS-Office-Produkten verstehen und kommt es damit nicht zu einer Benachteiligung anderer Anwenderkenntnisse?

Um Kriterien ableiten zu können, sind erneut die Phasen des Prüfungswesens zu differenzieren.

  1. Prüfungserstellung
  2. Prüfungsorganisation und -durchführung
  3. Prüfungsauswertung

 

Kriterien

  • Das System muss mit geringen Computerkenntnissen zu bedienen sein und sich an Standards für die Computerbedienung halten.
  • Ein schlüssiges Gesamtkonzept für die Sicherheit muss vorliegen; die Daten sollten im Internet/Intranet verschlüsselt übertragen werden und Firewalls am Übergang von Intranet zu Internet vorgesehen werden.
  • Es müssen spezifische, personalisierte Zugangsseiten für Aufgabenersteller, Prüfungsersteller, Prüflinge, Prüfungsauswerter, Prüfungsmanager und Systemmanager mit einem differenzierten Sicherheitskonzept und einem klar strukturierten, differenzierten Konzept über Rollenzuweisungen und Rechte im System vorliegen.
  • Aufgaben, Prüfungen und Prüfungsergebnisse müssen in getrennten Datenbanken abgelegt werden.
  • Möglichst für alle Bestandteile des gesamten Prüfungsprozesses sollte das System Unterstützung bieten (auch administrative Teile wie Anmeldung, Einladung, Zuordnung von Prüfern, Terminüberwachung, Erstellung von Statistiken).
  • Für die Aufgabenersteller sollte eine Hotline eingerichtet sein.
  • Die Aufgaben müssen in angepassten Fassungen für unterschiedliche Software-Versionen (z. B. bei CAD-Programmen) vorliegen.
  • Videos müssen eingebaut werden können.
  • Bei komplexen Aufgaben muss das Programm Anleitungen geben, wie mit diesen Aufgaben umzugehen ist und wie bei der Eingabe der Lösung technisch vorzugehen ist.
  • Alle Prüfplätze müssen gleich konfiguriert sein und zumindest ein Reserveplatz muss verfügbar sein.
  • Es sind Vorkehrungen zu treffen, den Prüfungsablauf durchgängig zu dokumentieren.
  • Ein Administrator/Techniker muss während der gesamten Prüfungszeit erreichbar sein.
  • Die Datensicherung während der Prüfungsdurchführung sollte automatisiert sein.
  • Das Prüfungsprotokoll sowie der darauf aufbauende Zeugnisausdruck müssen den rechtlichen Vorgaben entsprechen.

 

c. Didaktische Aspekte

Im Hinblick auf die didaktischen Rahmenbedingungen zeigen sich folgende Ergebnisse:

  1. Was ist bei der Anwendung neuer Prüfungsverfahren besonders zu beachten?
  2. Welche (neuen) Voraussetzungen sind bei den Betroffenen / Beteiligten von NPV erforderlich? Durch welche Maßnahmen könnten diese sichergestellt werden?
  3. NPV können bei der Prüfungsentwicklung, -durchführung und -auswertung Unterstützung bieten. Welcher Gesichtspunkt erscheint aus didaktischer Sicht besonders wichtig?
  4. Inwieweit lassen NPV die Forderung nach handlungsorientierten Prüfungen zu?

 

Kriterien

  • Das System soll alle didaktisch relevanten Aufgabentypen abbilden können.
  • Besonders wichtig sind handlungsorientierte Aufgaben, d. h., es müssen offene Fragen, Simulationen, Probleme, videobasierte Fälle etc. eingebunden werden können.
  • Sind situationsgebundene Prüfungsaufgaben in dem System realisierbar?
  • Regionale und lokale Besonderheiten sollten in den Prüfungsaufgaben abgebildet werden.
  • Die Lösung soll vorhandene Strukturen des Prüfungswesens unterstützen - der komplexe Ablauf einer öffentlich-rechtlichen Prüfung muss angemessen abgebildet werden können - oder ggf. Anregungen zu einer sinnvollen Reorganisation geben.
  • Es muss möglich sein, vorhandene Datenbanken in das System einzubinden.
  • Das System soll Aufgaben- und Prüfungserstellern bei der Entwicklung von Prüfungsaufgaben und bei der Zusammenstellung von Prüfungen zielbezogen und bedarfsgerecht Hilfestellung leisten.

 

d. Organisatorische Aspekte

Die Einführung neuer Prüfungsverfahren bringt eine Reihe von Veränderungen im gesamten Prozess der Erstellung, Durchführung und Auswertung von Prüfungen mit sich. Im Hinblick auf die organisationalen Rahmenbedingungen neuer Prüfungsverfahren ergeben sich folgende Ergebnisse:

  1. NPV können bei der Prüfungsentwicklung, -durchführung und -auswertung Unterstützung bieten. Welcher Aspekt erscheint aus organisatorischer Sicht besonders wichtig?
  2. Welche personellen Aspekte der Prüfungsorganisation sind zu beachten?

 

Kriterien

  • Es sollten grundlegend neue Formen von Prüfungsaufgaben eingebaut werden können, wie z. B. Projektaufgaben, Aufgaben mit stärkerem Situationsbezug.
  • Eine bisherige Prüfung sollte nicht lediglich 1:1 auf den Computer übertragen werden.
  • Das System muss Datenbanken vorhalten und zulassen, dass bestehende Datenbanken in das System importiert werden können.
  • Als technisch-organisatorische Mindestvoraussetzungen, um NPV einsetzen zu können, müssen gegeben sein: eine genügende Anzahl von gleich konfigurierten PCs, geschultes Aufsichtspersonal.
  • Die Prüfer müssen im Umgang mit dem System geschult werden.
  • Die Kosten für die Einführung bzw. Umstellung auf NPV müssen akzeptabel sein.
  • Damit zeitversetzt Prüfungen für große Prüfungsgruppen realisierbar sind, müssen Aufgabenpools in großer Anzahl gleichwertige Aufgaben enthalten.

Quelle: "Neue Prüfverfahren - Forschungsbericht zum Einsatz moderner Medien bei Prüfungen", 2003, Hrsg.: DIHK-Gesellschaft für berufliche Bildung mbH, Bonn, W. Bertelsmann Verlag GmbH & Co. KG, Bielefeld


  Zurück zur Übersicht