Ein blinder A/B-Test spielt zwei Versionen desselben Audios, ohne zu sagen, welche welche ist. Gleiche ihre Lautheit an, spiel dieselbe kurze Passage aus beiden in gemischter Reihenfolge, wähle in jeder Runde eine und schau dir die Dateinamen erst am Ende an. Mach mindestens 10 Runden. Dass du in 10 Runden 9-mal oder öfter dieselbe Datei wählst, ist durch Raten unwahrscheinlich (p ≈ 0,011).
Warum blind testen
Weißt du, welche Datei die neue Revision ist, der teure Master oder die verlustfreie Datei, erwartest du, dass sie besser klingt, und hörst sie eher so. Ein offener Vergleich, wie ein normaler A/B-Test eines Mixes, misst deine Ohren und deine Erwartungen zusammen. Ein Blindtest nimmt die Beschriftung weg. Zum Wählen bleibt nur der Klang.
Ein Blindtest lohnt sich, wenn eine Entscheidung knapp oder teuer ist. Typische Fälle sind die Freigabe eines von zwei Mastern, die Wahl zwischen zwei Mix-Revisionen spät im Projekt und die Frage, ob ein MP3 mit hoher Bitrate gut genug ist, um es statt eines WAV zu verschicken.
Blinder A/B-Test, ABX und Doppelblindtest
Diese Tests beantworten verschiedene Fragen.
- Blinder A/B-Präferenztest. Du hörst zwei unbeschriftete Versionen und wählst die, die dir besser gefällt. Er beantwortet die Frage „Welche mag ich lieber, wenn ich die Namen nicht sehe?“
- ABX-Test. Du hörst A und B, dann ein unbekanntes X, das eines von beiden ist, und sagst, welches X ist. Er beantwortet die Frage „Höre ich überhaupt einen Unterschied?“ Das ist der übliche Test für verlustfreies gegen verlustbehaftetes Audio.
- Doppelblindtest. Weder der Hörer noch die Person, die den Test leitet, weiß, welche Datei läuft. Software, die die Dateien mischt und die Namen verbirgt, macht einen Test doppelblind, weil niemand im Raum einen Hinweis geben kann.
Ein Präferenztest kann nicht beweisen, dass du keinen Unterschied hörst. Verteilen sich deine Wahlen gleichmäßig, klingen die Versionen für dich entweder gleich oder du magst sie gleich gern. Für Entscheidungen in Mixing und Mastering reicht das meist, denn die Frage ist, welche du behältst.
So machst du einen blinden A/B-Test
- Gleiche die Lautheit an. Miss die integrierten LUFS jeder Datei und senk die lautere auf die leisere ab. Etwa 1 dB Unterschied verzerrt die Wahl, und im Blindtest verrät er auch die lautere Datei. Der Ratgeber zur Pegelangleichung zeigt, wie es geht.
- Richte die Dateien aus. Beide Versionen müssen am selben Sample beginnen, damit jede Runde denselben Moment im Song spielt.
- Wähle kurze Passagen. Eine oder zwei Phrasen aus dem Abschnitt, um den es dir geht, reichen. Bei langen Passagen vergleichst du Erinnerungen statt Klänge.
- Misch in jeder Runde neu. Die Reihenfolge der beiden Versionen muss sich von Runde zu Runde zufällig ändern, sonst lernst du das Muster.
- Leg fest, was du beurteilst. Wähle eine Eigenschaft pro Test, etwa den Vocal-Pegel oder den Bass, und beurteile nur die.
- Verbirg die Namen bis zum Ende. Schau dir zwischen den Runden keine Ergebnisse an und wechsle mittendrin weder Kopfhörer noch Lautstärke.
ABSeq hat einen Blind Test, der diese Schritte für Track A und B ausführt. Jede Runde spielt dieselbe kurze Passage aus beiden, gemischt und als Version A und Version B beschriftet, und du wählst die, die dir besser gefällt. Du stellst 1 bis 50 Runden und die Sekunden pro Passage ein. Auto Gain ist standardmäßig an, und die Dateinamen erscheinen erst im Ergebnis. Die Hilfe erklärt, wie du einen Blind Test einrichtest. Es ist ein Präferenztest, kein ABX-Test.
Wie viele Runden du brauchst
Eine Runde sagt dir nichts. Bei zwei Versionen trifft ein Tipp in der Hälfte der Fälle die eine, eine einzelne Wahl ist also ein Münzwurf. Über viele Runden mittelt sich Raten bei etwa der Hälfte, und eine beständige Vorliebe sticht heraus.
| Runden | Nötige gleiche Wahl | Wahrscheinlichkeit durch Raten |
|---|---|---|
| 10 | 9 oder mehr | etwa 1,1 % (p ≈ 0,011) |
| 16 | 12 oder mehr | etwa 3,8 % (p ≈ 0,038) |
Dieselben Zahlen gelten für ABX. Dort zählst du richtige Antworten statt Wahlen. Bei 16 ABX-Durchgängen liegt die Wahrscheinlichkeit, 12 oder mehr durch Raten richtig zu haben, unter 5 %.
Mehr Runden geben eine klarere Antwort, ermüden aber die Ohren. Brauchst du mehr als 16, teil sie auf zwei Sessions mit einer Pause dazwischen auf.
Das Ergebnis lesen
- Eine klare Vorliebe, etwa 9 von 10. Du hörst einen Unterschied und bevorzugst eine Version. Behalte sie oder finde heraus, was sie besser macht.
- Ein Gleichstand, etwa 6 von 10. Der Unterschied ist zu klein, als dass du auf diesem System eine Version bevorzugst. Entscheide nach anderen Gründen, etwa Dateigröße oder Kosten.
- Eine klare Vorliebe für die Version, die deiner Erwartung nach verlieren sollte. Prüf zuerst die Pegelangleichung. Sind die Pegel gleich, hat die Änderung dem Track vielleicht geschadet.
Notiere das System, auf dem du getestet hast. Ein Ergebnis auf Kopfhörern gilt nicht automatisch im Auto oder auf dem Handylautsprecher. Wiederhole knappe Fälle auf einem zweiten System.
Verlustfrei gegen MP3 oder AAC blind testen
Um zu testen, ob du eine verlustbehaftete Kodierung hörst, vergleiche die verlustfreie Datei (WAV oder FLAC) mit einem MP3 oder AAC aus demselben Master. Gleiche die Lautheit an und prüf die Ausrichtung wie bei jedem anderen Test. Ein ABX-Test ist hier die übliche Wahl, denn die Frage ist, ob du einen Unterschied hörst, nicht welche Version dir gefällt.
Prüf zuerst den True Peak des Masters. Ein Master mit 0 dBFS Sample Peak kann Inter-Sample-Peaks über 0 dBTP haben. Die können clippen, wenn die Datei in AAC oder MP3 umgewandelt wird. Dann hörst du vielleicht das Clipping und nicht den Codec. Der Ratgeber zu True Peak erklärt den Unterschied, und der Ratgeber zum Vergleich zweier Audiodateien behandelt weitere Formatchecks.
Häufige Fehler
- Die Pegelangleichung auslassen, sodass die lautere Datei gewinnt oder sich verrät.
- Drei oder vier Runden machen und das Ergebnis als endgültig nehmen.
- Mittendrin den Stand prüfen und dann nach der Version hören, die gerade vorn zu liegen scheint.
- So lange Passagen nehmen, dass du deine Erinnerung an jede vergleichst.
- Unterwegs die Lautstärke oder die Kopfhörer wechseln.
Fragen
Was ist ein blinder A/B-Test bei Audio?
Ein blinder A/B-Test spielt zwei Versionen desselben Audios, ohne zu sagen, welche welche ist, und du wählst in jeder Runde die, die dir besser gefällt. Die Dateinamen erscheinen erst am Ende. So kommt deine Wahl aus dem Klang und nicht aus dem Wissen, welche Datei neu oder teuer ist.
Was ist der Unterschied zwischen ABX-Test und A/B-Test?
Ein A/B-Präferenztest fragt, welche von zwei unbeschrifteten Versionen dir besser gefällt. Ein ABX-Test spielt A, B und ein unbekanntes X und fragt, welches X ist. Er testet also, ob du überhaupt einen Unterschied hörst. ABX ist der übliche Test für verlustfreies gegen verlustbehaftetes Audio.
Wie viele Runden sollte ein Blindtest haben?
Mindestens 10. In 10 Runden liegt die Wahrscheinlichkeit, 9-mal oder öfter dieselbe Datei durch Raten zu wählen, bei etwa 1,1 %. In 16 Runden liegt sie für 12 oder mehr bei etwa 3,8 %. Ein bis fünf Runden können eine echte Vorliebe nicht von Glück trennen.
Hört man verlustfreies Audio im Blindtest?
Das hängt vom Hörer, der Musik, der Kodierung und dem Wiedergabesystem ab. Die Antwort liefert also dein eigener Test. Mach einen ABX-Test mit angeglichener Lautheit und ausgerichteten Dateien und zähl die richtigen Antworten. Bei 16 Durchgängen sind 12 oder mehr richtige wahrscheinlich kein Raten.
Was ist ein Doppelblindtest bei Audio?
Bei einem Doppelblindtest weiß weder der Hörer noch die Person, die den Test leitet, welche Datei läuft. So kann niemand versehentlich einen Hinweis geben. Software, die die Dateien mischt und ihre Namen bis zum Ende verbirgt, macht von sich aus einen Doppelblindtest.