Es gibt die Theorie, es gibt die Praxis und –
es gibt die Multiple Choice Prüfung

Egal welches Thema – ob Requirements-Engineering, Softwaretest, Agile Vorgehensweisen, IT-Security, Data Analytics, KI und vieles mehr – vielleicht haben Sie in einem der Bereiche mehr als 10 Jahre Berufserfahrung.
Oder Sie haben ein paar tolle Bücher dazu gelesen oder ein Seminar besucht und einiges an praktischen Übungen hinter sich.

Und jetzt sagt irgendwer (vielleicht ja auch Sie selber): Sie müssen Ihre Fähigkeiten mit einem Zertifikat nachweisen können.
Das Zertifikat, gibt es natürlich erst nach Bestehen einer Multiple-Choice-Prüfung (+ Einwurf kleiner Münze).

Schließlich sitzen Sie in der Prüfung. Die Fragen scheinen so gar nichts mit dem zu tun zu haben, was Sie aus den Büchern, dem Kurs oder der Praxis kennen.
Nach der Prüfung unterhalten Sie sich mit anderen Prüflingen und stellen fest – denen ging es genauso. Bei einigen (oder allen) Fragen wusste keiner so recht, wie er die mit seinem Fachwissen angehen sollte.

Das ist kein Wunder! MC-Tests haben ihre eigenen Regeln und Besonderheiten.
Nach meiner Erfahrung gehören darum zum Bestehen eines MC-Tests:

1. Fachwissen
2. Eine gute Prüfungsstrategie.

Beide Faktoren tragen in etwa zur Hälfte(!) zum Erfolg bei.

In diesem Beitrag habe ich meine MC Prüfungsstrategie in 7 (8) Regeln zusammengefasst. In die Regeln ist mein Knowhow über MC-Test-Theorie, rechtliche Vorgaben an MC-Tests, Checklisten für Prüfer und meine Erkenntnisse wie (manche) MC-Prüfer und Prüfungsausschüsse ticken, eingeflossen.

Die Regeln habe in den letzten Jahren konsequent und erfolgreich an Prüfungen verschiedener Anbieter und Schemata ausprobiert. Manche schlecht konstruierten Fragen ließen sich sogar ohne Ahnung vom Thema beantworten. Nur Regel 8 habe ich nur einmal angewendet – und lag daneben.

In Zertifizierungs-Seminaren bringe ich die Regeln meinen Teilnehmern bei.

Dabei werde ich praktisch jedes Mal selbst positiv überrascht, wenn Teilnehmer eine der Regeln 4, 5 oder 7 auf eine Übungsfrage anwenden können, bei der ich dachte, hier geht es jetzt aber nur mit Fachwissen allein.

 

7 (8) Regeln zum MC-Test-Hacken

Die nun folgenden Regeln sind auf Fragen anwendbar, die nicht grundsätzlich falsch sind, z.B. weil es keine richtige Antwort auf die Frage gibt oder eine der lt. Lösungsschlüssel falschen Antworten auch objektiv richtig ist.

Regel Nummer 1: Wer lesen kann ist klar im Vorteil
Genau die Frage lesen!

• Ist die Fragestellung verneint? (z.B. Was trifft nicht zu?)
• Sind in der Fragestellung Annahmen oder Einschränkungen getroffen? (z.B. Es ist neblig und Sie fahren innerorts auf einer gut beleuchteten Straße …)
• Gibt es ein Szenario, in dem eventuell Einschränkungen beschrieben sind? – Siehe dazu das ‚Dr. Strange Prinzip‘ – Regel Nummer 2.

 

Regel Nummer 2: “The warnings come after the spells …” (Dr. Strange im gleichnamigen Marvel-Film)
Erst die Frage und die Antwortoptionen lesen!

• Szenariofragen haben typischerweise etwas mit ‚Leseverstehen‘ zu tun. Das kennen Sie noch aus dem Englisch- oder Französischunterricht der Schule. Da gab es einen Text zu lesen und dann Fragen dazu – wie z.B. ‚Was hat denn der kranke Monsieur Leroc gemacht, als ihm Madame Leroc gesagt hat, dass der Doktor vor der Tür steht?‘
• Gehört zu einer Frage ein längeres Szenario sind selten alle gegebenen Informationen relevant. Das kann mehrere Gründe haben – z.B. der Frage-Autor recycelt, verwendet also unterschiedliche Aspekte des Szenarios für unterschiedliche Fragen. Diese tauchen nicht unbedingt alle auf Ihrem Antwortbogen auf, sondern eventuell auf dem Bogen des Nachbarn. Vielleicht wurden einfach irrelevante Informationen hinzugefügt. Eine an sich vielleicht banale Frage ist dann einfach auf Grund der Masse an Text, durch die man sich kämpfen muss, schwerer zu beantworten.
• Liest man erst die Frage und die Antwortoptionen, weiß man eher, wonach man im Text (oder Diagramm) suchen muss. Und – man findet die relevanten Informationen schneller. Eventuell lassen sich bereits Antwortmöglichkeiten eliminieren, ohne das Szenario zu lesen (siehe Regel 4, 5 und 6). Ich finde ab und zu Fragen, die sich sogar ohne Lesen des Szenarios richtig beantworten lassen.

 

Regel Nummer 3: „Tue es oder tue es nicht. Es gibt kein Versuchen.“ Yoda in „Das Imperium schlägt zurück.“

• Entscheiden Sie direkt nach einer ersten Sichtung der Frage, ob Sie die Frage gleich beantworten oder zurückstellen. (Machen Sie sich in dem Fall eine Erinnerungsnotiz!)
• Beginnen Sie mit einfachen Fragen. Manchmal sind Frage-Sets zufällig gemischt und in Ihrem Bogen stehen alle schweren Fragen als erstes. (Nennt sich Murphys Gesetz, wenn das scheinbar immer so ist.)
• Wenn Sie eine Frage beantwortet haben, schauen Sie diese nicht mehr an! Sie sollten natürlich noch zählen, ob die Anzahl der angekreuzten Antworten stimmt.
  Der Grund ist folgender: Falsche Antwortoptionen werden in der MC-Theorie als Distraktoren verwendet (von lat. distrahere – zersteuen oder von engl. to distract ablenken). Sie sollen also dem Namen nach den Prüfling (also Sie) von der richtigen Antwort ablenken. Daher sind sie oft so formuliert, dass sie richtig klingen (siehe auch Regel Nr. 4 – ‚Roter Hering‘) aber trotzdem absoluter Blödsinn sind.
  Wenn Sie jetzt am Ende nochmal schnell Fragen und Ihre Antworten überfliegen, kann es sein, dass ein Distraktor plötzlich viel interessanter aussieht, als die eigentlich richtige Antwort. Setzen Sie nun noch schnell ihr Kreuz auf den Distraktor, ist Ihr X-Flügler wirklich in den Sumpf geplumpst. Vertrauen Sie der Macht – also Ihrer ersten Wahl.

 

Regel Nummer 4: Der rote Hering!

Merkmale von Distraktoren

• Ein ‚Red Hering‘ bezeichnet im Englischen ein Ablenkungsmanöver, im Krimi eine falsche Fährte. Neben dem Toten waren Tulpenblätter, also muss es der Gärtner gewesen sein. Tatsächlich lagen die aber schon vor dem Mord dort und es war doch der Butler.
  Im MC-Test versucht der Autor den Prüfling mit den falschen Antwortoptionen (Distraktoren, siehe Regel Nummer 3) auf eine falsche Fährte zu locken. Oder ihm Zeit zu stehlen.
• Es gibt ein paar typische Muster wie Autoren Distraktoren bauen – einige sind gut, andere sind zweifelhaft, dazu gehören (ohne Wertung):
  • Prozessschritte stehen in einer falschen Reihenfolge. Es tauchen also richtige Schlüsselbegriffe auf, aber deren Reihenfolge stimmt nicht. (Z.B. Erst donnert es, dann blitzt es.)
  • Richtige Aussagen im falschen Kontext. Z.B.: Bei Sonnenschein folgt auf einen Blitz der Donner.(Und nein: Bitte nicht in der Prüfung anfangen über Blitze aus heiterem Himmel nach zu denken. Dann hat der Distraktor einen weiteren Zweck erreicht – Ihnen Zeit gestohlen!)
  • Verwendung von Fantasie- oder Alltags-Begriffen, die ähnlich klingen wie ein gesuchter Begriff oder scheinbar zur Frage passen – z.B. Verlässlichkeit neben dem Qualitätsmerkmal Zuverlässigkeit. Oder ‚Feature Freeze‘, wenn ein richtiger Begriff für ein Einfrieren des Bildschirms (Fehlerwirkung) gesucht wird.
  • Fehlerhafte Verwendung von Universal-Quantoren (immer, stets, nie, alle, jeder). Bsp.: Software-Tester sollen an allen Reviews im Unternehmen beteiligt werden.
    Oder: Immer, wenn es regnet, blitzt es.
    Es gibt natürlich auch richtige All-Aussagen, wie z.B. ‚Zu jeder Entwicklungsaktivität sollte es eine korrespondiere Testaktivität geben.‘ Oder: ‚Jede natürliche Zahl hat einen Nachfolger.‘

 

Regel Nummer 5: Der blaue Elefant

• Wenn nur in einer Antwort-Option der Schlüsselbegriff aus der Frage behandelt wird, ist das vermutlich die richtige Antwort.
  Oder anders: Wird in der Frage nach blauen Elefanten gefragt und blaue Elefanten werden nur in einer Antwortoption erwähnt, ist das (meistens) die richtige Wahl.Plattes Beispiel: Was ist eine gute Metrik, um den Testfortschritt zu bestimmen?
  • A) Die Anzahl der gefundenen Fehler.
  • B) Die Anzahl der insgesamt bis zum Release getesteten Features und nicht getesteten Features.
  • C) Der wöchentliche Fortschritt in der mit Testfällen erreichten Anforderungsüberdeckung.
  • D) Der Anteil der Fehler die vor dem Release-Termin gefunden wurden im Vergleich zur Gesamtzahl aller gefundenen Fehlern.
• Vorsicht: Ein blauer Elefant im falschen Kontext ist ein roter Hering! Beispiel: Wenn B) so lauten würde: ‚Der Fortschritt beim Anwachsen der Anzahl der nicht getesteten Anforderungen‘ … Schlüsselwort Fortschritt plus absolut unsinnige Aussage.
  Solche Formulierungen kommen gerne mal raus, wenn Prüfunsgkommissionen versuchen Distraktoren zu optimieren – d.h. einzelne Distraktoren (!) solange zu ändern, bis sie auch Kreuze bekommen. Für mich eine Praxis, die auf eine rote Liste gehört.
• Variante: In der richtigen Antwort werden Synonyme des Fragebegriffs oder zum Fragebegriff direkt zugehörige Konzepte verwendet.Beispiel: Was ist ein typisches Kennzeichen einer risikoorientierten Teststrategie?
  • A) Mit den Test-Aktivitäten so früh wie möglich beginnen.
  • B) Tester an Reviews von Anwendungsfällen auf Systemebene beteiligen.
  • C) Vorrangig dort Testen, wo von Fehlern hohe Schäden zu erwarten sind
  • D) Anzahl von Testfällen auf ein sinnvolles Maß reduzieren – Testfallexplosion vermeiden.
    – Nur Option C) hat einen direkten Bezug zu dem Begriff Risiko (möglicher Schaden wird erwähnt). A) B) und D) sind typische rote Heringe. Alle sind gute Testpraktiken, aber nicht notwendig Teil einer risiko-orientierten Strategie.

 

Regel Nummer 6: Ausschlussprinzip und Das Prinzip des geringsten Bullshits

Anwendbar, wenn alle Antwortmöglichkeiten sehr, sehr ähnlich klingen. Nicht alle Prüfungsautoren sind Meister der Sprache und manche formulieren ungeschickt.
Andere spielen Thomas Mann und ergehen sich in Schachtelsätzen, die genau betrachtet, sieht man einmal von Deutsch-Abiturprüfungen, die wiederum nicht als MC-Tests gestaltet sind und auch anders benotet werden, oder Latein-Grammatik-Tests, wo dies sinnvoll sein kann, ab, nichts in einem MC-Test und genau so wenig in einem Blogbeitrag, verloren haben. (Entschuldigung – ich konnte wirklich nicht widerstehen …)

Sehr ähnliche Antwortoptionen kommen allerdings auch gerne vor, wenn ein Prüfungsautor versucht hat Distraktoren über mehrere Runden zu optimieren. Dabei passt er falsche und richtige Antworten mehrfach an, bis diese alle wirklich fast gleich sind. (Liebe Prüfer, wenn ihr so rumbasteln müsst, taugt die Frage nix. Also wegwerfen und eine andere Frage ausdenken.)

3 Strategien:

• Mit den Prinzipien 1-5 kann man die Antwort herausfiltern, die am wenigsten falsch ist, d.h. am besten zu Szenario, Lehrmaterial und Fragestellung passt.
• Oder: Überlegen, wie man seine beiden Top-Optionen selbst als richtige Antwort formuliert hätte. Die Option wählen, die dem am nächsten kommt.
• Oder: Wirklich ähnliche Antwortoptionen unterscheiden sich nur in ganz wenigen Worten. Diese Worte unterstreicht man und wendet Regel 4, Regel 5 oder Regel 7 an.

 

Regel Nummer 7: Wenn sonst nichts hilft – suche nach abstrakten Mustern – wenn das auch nicht hilft, wirf eine Münze.

Im absoluten Notfall gehe ich die Frage wie das Erkennen eines abstrakten Musters in einem IQ-Test an.
These ist dabei:
Eine Antwort ist sicher anders als die anderen.
Was ist das abstrakte Muster, das sie unterscheidet?

Diese Technik ist damit eigentlich die Verallgemeinerung des ‚blauen Elefanten.‘

Triviales Beispiel:

Ist eine Antwort auffällig kürzer oder als die anderen? Dieses Muster führt sehr selten zum Erfolg, da es auf praktisch jeder Checkliste für Prüfungsautoren steht. Die meisten Prüfungsausschüsse und Prüfer achten beim Testdesign darauf, dass sich die richtige Antwort nicht durch eine ungewöhnliche Länge verrät.
Andere Muster entgehen den Autoren und Gutachtern gelegentlich.

Beispiele aus der Prüfungs-Realität:

In einer Prüfungsfrage ging es um Informationen, die in einem Formular fehlen. Diese waren benannt und durchnummeriert aufgelistet . Zusätzlich war ein Formularmuster mit einem Teil der Nummern aus der Liste abgebildet. Ich hatte die Frage mehrfach gelesen und immer noch nicht verstanden, was der Frageautor eigentlich wollte. Schließlich wählte ich die  Antwortoption, in der nur die Nummern aus dem Formularmuster vorkamen. Das war tatsächlich die richtige Antwort.

Die richtige Antwort unterschied sich von der falschen in einem anderen Fall dadurch, dass in der richtigen Antwort ein geschlossenes mathematisches Intervall angegeben war. In den falschen Antwortoptionen waren durchweg offene Intervalle angegeben.

Das Schöne an Regel 7 ist: Je mehr ein Frage-Autor bemüht ist, Muster zu vermeiden, z.B. um die Regeln 4 oder 5 auszuhebeln, desto eher baut er ein anderes deutliches Muster in seine Frage ein, das für ihn (und seine Gutachter) unsichtbar ist.

 

Regel Nummer 8: B ist meistens richtig – ist eine Urban Legend!

Den wahren Grund, warum so oft B empfohlen wird, können Sie über eine Suchmaschine erfahren. Suchen Sie einfach nach den Begriffen ‚Al Bundy‘ + ‚Frage 2‘ …