Um teste A/B cego toca duas versões do mesmo áudio sem dizer qual é qual. Iguale a loudness, toque o mesmo excerto curto das duas por ordem baralhada, escolha uma em cada ronda e só veja os nomes dos ficheiros no fim. Faça pelo menos 10 rondas. Escolher o mesmo ficheiro 9 ou mais vezes em 10 dificilmente acontece por palpite (p ≈ 0,011).
Porquê testar às cegas
Quando sabe qual é o ficheiro da revisão nova, do master caro ou sem perdas, espera que soe melhor e tende a ouvi-lo assim. Uma comparação a ver os nomes, como um teste A/B normal de uma mistura, mede o ouvido e as expectativas ao mesmo tempo. Um teste cego tira as etiquetas, e só sobra o som para escolher.
O teste cego compensa quando uma decisão é renhida ou cara. Casos típicos são aprovar um de dois masters, escolher entre duas revisões da mistura no fim de um projeto e verificar se um MP3 com bitrate alto chega para enviar em vez de um WAV.
A/B cego, ABX e duplo cego
Estes testes respondem a perguntas diferentes.
- Teste A/B cego de preferência. Ouve duas versões sem etiqueta e escolhe a que prefere. Responde a "de qual gosto mais quando não vejo os nomes?".
- Teste ABX. Ouve A e B, depois um X desconhecido que é um deles, e diz qual é o X. Responde a "consigo ouvir alguma diferença?". É o teste habitual para comparar áudio sem perdas e com perdas.
- Teste duplo cego. Nem quem ouve nem quem conduz o teste sabe que ficheiro está a tocar. Um software que baralha os ficheiros e esconde os nomes torna o teste duplo cego, porque ninguém na sala pode dar uma pista.
Um teste de preferência não prova que não ouve diferença. Se as escolhas se dividirem por igual, ou as versões lhe soam iguais ou gosta delas da mesma forma. Para decisões de mistura e masterização isso costuma chegar, porque a pergunta é qual manter.
Como fazer um teste A/B cego
- Iguale a loudness. Meça os LUFS integrados de cada ficheiro e baixe o mais alto até ao nível do mais baixo. Uma diferença de cerca de 1 dB enviesa a escolha e, num teste cego, também denuncia o ficheiro mais alto. O guia para igualar níveis mostra como.
- Alinhe os ficheiros. As duas versões têm de começar na mesma amostra, para que cada ronda toque o mesmo momento da canção.
- Escolha excertos curtos. Uma ou duas frases da secção que lhe interessa chegam. Excertos longos levam-no a comparar memórias em vez de sons.
- Baralhe em cada ronda. A ordem das duas versões tem de mudar ao acaso de ronda para ronda, ou acaba por aprender o padrão.
- Decida o que está a avaliar. Escolha uma qualidade por teste, como o nível da voz ou os graves, e avalie só isso.
- Esconda os nomes até ao fim. Não veja os resultados entre rondas e não mude de auscultadores nem de volume a meio.
O ABSeq tem um Teste cego que faz estes passos com as faixas A e B. Cada ronda toca o mesmo excerto curto das duas, baralhadas e com os nomes Versão A e Versão B, e escolhe a que prefere. Define de 1 a 50 rondas e os segundos por excerto, o Auto Gain vem ligado e os nomes dos ficheiros só aparecem nos resultados. O guia de ajuda explica como configurar um teste cego. É um teste de preferência, não um teste ABX.
Quantas rondas são precisas
Uma ronda não diz nada. Com duas versões, um palpite acerta numa delas metade das vezes, por isso uma escolha única é atirar uma moeda ao ar. Ao longo de muitas rondas, os palpites ficam perto de metade e uma preferência consistente destaca-se.
| Rondas | Mesma escolha necessária | Probabilidade por palpite |
|---|---|---|
| 10 | 9 ou mais | cerca de 1,1% (p ≈ 0,011) |
| 16 | 12 ou mais | cerca de 3,8% (p ≈ 0,038) |
Os mesmos números valem para o ABX, onde se contam respostas certas em vez de escolhas. Em 16 ensaios ABX, 12 ou mais respostas certas têm menos de 5% de probabilidade de vir de palpites.
Mais rondas dão uma resposta mais clara, mas cansam o ouvido. Se precisar de mais de 16, divida-as em duas sessões com uma pausa entre elas.
Ler os resultados
- Uma preferência clara, como 9 em 10. Ouve uma diferença e prefere uma versão. Fique com essa, ou descubra o que ela faz melhor.
- Uma divisão, como 6 em 10. A diferença é pequena demais para preferir uma delas neste sistema. Escolha por outros critérios, como o tamanho do ficheiro ou o custo.
- Uma preferência clara pela versão que esperava que perdesse. Verifique primeiro a igualação de níveis. Se os níveis estiverem iguais, a alteração que fez pode ter prejudicado a faixa.
Anote o sistema em que testou. Um resultado em auscultadores não se aplica a um carro nem ao altifalante de um telemóvel, por isso repita os casos renhidos num segundo sistema.
Teste cego entre áudio sem perdas e MP3 ou AAC
Para testar se ouve uma codificação com perdas, compare o ficheiro sem perdas (WAV ou FLAC) com um MP3 ou AAC feito a partir do mesmo master. Iguale a loudness e confirme o alinhamento como em qualquer outro teste. Aqui, o teste ABX é a escolha habitual, porque a pergunta é se ouve uma diferença e não de qual gosta.
Verifique primeiro o true peak do master. Um master com pico de amostra a 0 dBFS pode ter picos entre amostras acima de 0 dBTP, que podem saturar quando o ficheiro é codificado em AAC ou MP3. Nesse caso, pode estar a ouvir a saturação e não o codec. O guia de true peak explica a diferença, e o guia para comparar dois ficheiros de áudio trata de outras verificações de formato.
Erros comuns
- Saltar a igualação de níveis, e o ficheiro mais alto ganha ou denuncia-se.
- Fazer três ou quatro rondas e tratar o resultado como definitivo.
- Ver a pontuação a meio e depois procurar a versão que acha que está a ganhar.
- Usar excertos tão longos que acaba a comparar a memória de cada um.
- Mudar o volume ou os auscultadores a meio.
Perguntas
O que é um teste A/B cego em áudio?
Um teste A/B cego toca duas versões do mesmo áudio sem dizer qual é qual, e em cada ronda escolhe a que prefere. Os nomes dos ficheiros só aparecem no fim, por isso a escolha vem do som e não de saber que ficheiro é o novo ou o caro.
Qual é a diferença entre um teste ABX e um teste A/B?
Um teste A/B de preferência pergunta qual de duas versões sem etiqueta prefere. Um teste ABX toca A, B e um X desconhecido e pergunta qual é o X, por isso testa se consegue ouvir alguma diferença. O ABX é o teste habitual para comparar áudio sem perdas e com perdas.
Quantas rondas deve ter um teste cego?
Pelo menos 10. Em 10 rondas, escolher o mesmo ficheiro 9 ou mais vezes tem cerca de 1,1% de probabilidade de acontecer por palpite. Em 16 rondas, 12 ou mais tem cerca de 3,8%. De uma a cinco rondas não chegam para separar uma preferência real da sorte.
Consegue-se ouvir áudio sem perdas num teste cego?
Depende de quem ouve, da música, da codificação e do sistema de reprodução, por isso a resposta vem do seu próprio teste. Faça um teste ABX com a loudness igualada e os ficheiros alinhados e conte as respostas certas. Em 16 ensaios, 12 ou mais certas dificilmente são palpites.
O que é um teste duplo cego em áudio?
Num teste duplo cego, nem quem ouve nem quem conduz o teste sabe que ficheiro está a tocar, por isso ninguém pode dar uma pista sem querer. Um software que baralha os ficheiros e esconde os nomes até ao fim faz sozinho um teste duplo cego.