Un test A/B à l'aveugle joue deux versions du même audio sans vous dire laquelle est laquelle. Égalisez leur loudness, jouez le même court passage des deux dans un ordre mélangé, choisissez-en une à chaque manche, et ne regardez les noms des fichiers qu'à la fin. Faites au moins 10 manches. Choisir le même fichier 9 fois ou plus sur 10 a peu de chances d'arriver par hasard (p ≈ 0,011).
Pourquoi tester à l'aveugle
Quand vous savez quel fichier est la nouvelle révision, le master coûteux ou le fichier sans perte, vous vous attendez à ce qu'il sonne mieux, et vous avez tendance à l'entendre ainsi. Une comparaison à vue, comme une comparaison A/B de mix classique, mesure à la fois vos oreilles et vos attentes. Un test à l'aveugle retire les étiquettes, il ne reste que le son pour choisir.
Le test à l'aveugle vaut l'effort quand une décision est serrée ou coûteuse. Cas typiques : valider l'un de deux masters, choisir entre deux révisions de mix en fin de projet, et vérifier si un MP3 à haut débit suffit pour être envoyé à la place d'un WAV.
A/B à l'aveugle, ABX et double aveugle
Ces tests répondent à des questions différentes.
- Test de préférence A/B à l'aveugle. Vous entendez deux versions sans étiquette et choisissez celle que vous préférez. Il répond à la question « laquelle est-ce que je préfère quand je ne vois pas les noms ? »
- Test ABX. Vous entendez A et B, puis un X inconnu qui est l'un des deux, et vous dites lequel est X. Il répond à la question « est-ce que j'entends une différence ? » C'est le test habituel pour comparer audio sans perte et audio avec perte.
- Test en double aveugle. Ni l'auditeur ni la personne qui mène le test ne savent quel fichier joue. Un logiciel qui mélange les fichiers et cache les noms rend un test double aveugle, car personne dans la pièce ne peut donner d'indice.
Un test de préférence ne peut pas prouver que vous n'entendez aucune différence. Si vos choix se partagent à égalité, soit les versions sonnent pareil pour vous, soit vous les aimez autant l'une que l'autre. Pour les décisions de mixage et de mastering, c'est en général suffisant, car la question est de savoir laquelle garder.
Comment mener un test A/B à l'aveugle
- Égalisez la loudness. Mesurez les LUFS intégrés de chaque fichier et baissez le plus fort au niveau du plus doux. Un écart d'environ 1 dB fausse le choix, et dans un test à l'aveugle il trahit aussi le fichier le plus fort. Le guide de l'égalisation des niveaux montre comment faire.
- Alignez les fichiers. Les deux versions doivent commencer au même échantillon, pour que chaque manche joue le même instant du morceau.
- Choisissez de courts passages. Une phrase ou deux de la section qui vous intéresse suffisent. Les longs passages vous font comparer des souvenirs au lieu de sons.
- Mélangez à chaque manche. L'ordre des deux versions doit changer au hasard d'une manche à l'autre, sinon vous apprenez le schéma.
- Décidez de ce que vous jugez. Choisissez une qualité par test, comme le niveau de la voix ou le grave, et ne jugez qu'elle.
- Cachez les noms jusqu'à la fin. Ne regardez pas les résultats entre les manches, et ne changez ni de casque ni de volume en cours de route.
ABSeq a un Blind Test qui suit ces étapes pour les pistes A et B. Chaque manche joue le même court passage des deux, mélangés et étiquetés Version A et Version B, et vous choisissez celle que vous préférez. Vous réglez de 1 à 50 manches et la durée de chaque passage en secondes, Auto Gain est activé par défaut, et les noms des fichiers n'apparaissent que dans les résultats. Le guide d'aide explique comment régler un test à l'aveugle. C'est un test de préférence, pas un test ABX.
Combien de manches faire
Une seule manche ne dit rien. Avec deux versions, une réponse au hasard tombe sur l'une ou l'autre une fois sur deux, donc un seul choix vaut un pile ou face. Sur de nombreuses manches, le hasard se rapproche de la moitié, et une préférence constante ressort.
| Manches | Même choix nécessaire | Probabilité par hasard |
|---|---|---|
| 10 | 9 ou plus | environ 1,1 % (p ≈ 0,011) |
| 16 | 12 ou plus | environ 3,8 % (p ≈ 0,038) |
Les mêmes chiffres valent pour l'ABX, où l'on compte les bonnes réponses au lieu des choix. Sur 16 essais ABX, 12 bonnes réponses ou plus ont moins de 5 % de chances de venir du hasard.
Plus de manches donnent une réponse plus nette mais fatiguent l'oreille. S'il vous en faut plus de 16, répartissez-les sur deux séances avec une pause entre les deux.
Lire les résultats
- Une préférence nette, comme 9 sur 10. Vous entendez une différence et préférez une version. Gardez-la, ou cherchez ce qu'elle fait de mieux.
- Un partage, comme 6 sur 10. La différence est trop faible pour que vous préfériez l'une ou l'autre sur ce système. Choisissez sur d'autres critères, comme la taille du fichier ou le coût.
- Une préférence nette pour la version que vous pensiez perdante. Vérifiez d'abord l'égalisation des niveaux. Si les niveaux sont égaux, le changement que vous avez fait a peut-être abîmé le morceau.
Notez le système sur lequel vous avez testé. Un résultat au casque ne vaut pas pour une voiture ou un haut-parleur de téléphone, donc refaites les cas serrés sur un second système.
Tester à l'aveugle le sans perte face au MP3 ou à l'AAC
Pour savoir si vous entendez un encodage avec perte, comparez le fichier sans perte (WAV ou FLAC) à un MP3 ou un AAC tiré du même master. Égalisez la loudness et vérifiez l'alignement comme pour tout autre test. Un test ABX est le choix habituel ici, car la question est de savoir si vous entendez une différence, pas laquelle vous aimez.
Vérifiez d'abord le true peak du master. Un master à 0 dBFS en sample peak peut avoir des crêtes inter-échantillons au-dessus de 0 dBTP, qui peuvent saturer à l'encodage en AAC ou en MP3. Dans ce cas, c'est peut-être la saturation que vous entendez, pas le codec. Le guide du true peak explique la différence, et le guide pour comparer deux fichiers audio couvre d'autres vérifications de format.
Erreurs fréquentes
- Sauter l'égalisation des niveaux, si bien que le fichier le plus fort gagne ou se trahit.
- Faire trois ou quatre manches et prendre le résultat pour définitif.
- Regarder le score à mi-parcours puis guetter la version qui semble gagner.
- Utiliser des passages si longs que vous comparez votre souvenir de chacun.
- Changer de volume ou de casque en cours de test.
Questions
Qu'est-ce qu'un test A/B à l'aveugle en audio ?
Un test A/B à l'aveugle joue deux versions du même audio sans vous dire laquelle est laquelle, et vous choisissez celle que vous préférez à chaque manche. Les noms des fichiers n'apparaissent qu'à la fin, donc votre choix vient du son et non du fait de savoir quel fichier est nouveau ou coûteux.
Quelle différence entre un test ABX et un test A/B ?
Un test de préférence A/B demande laquelle de deux versions sans étiquette vous préférez. Un test ABX joue A, B et un X inconnu, et demande lequel est X. Il teste donc si vous entendez une différence. L'ABX est le test habituel pour comparer audio sans perte et audio avec perte.
Combien de manches pour un test à l'aveugle ?
Au moins 10. Sur 10 manches, choisir le même fichier 9 fois ou plus a environ 1,1 % de chances d'arriver par hasard. Sur 16 manches, 12 fois ou plus a environ 3,8 % de chances. Une à cinq manches ne permettent pas de distinguer une vraie préférence de la chance.
Entend-on la différence du sans perte dans un test à l'aveugle ?
Cela dépend de l'auditeur, de la musique, de l'encodage et du système d'écoute, donc la réponse vient de votre propre test. Faites un test ABX avec la loudness égalisée et les fichiers alignés, et comptez les bonnes réponses. Sur 16 essais, 12 bonnes réponses ou plus ont peu de chances de venir du hasard.
Qu'est-ce qu'un test en double aveugle en audio ?
Dans un test en double aveugle, ni l'auditeur ni la personne qui mène le test ne savent quel fichier joue, donc personne ne peut donner d'indice par accident. Un logiciel qui mélange les fichiers et cache leurs noms jusqu'à la fin mène seul un test en double aveugle.