Um teste cego A/B toca duas versões do mesmo áudio sem dizer qual é qual. Iguale o loudness, toque o mesmo trecho curto das duas em ordem embaralhada, escolha uma a cada rodada e só veja os nomes dos arquivos no fim. Faça pelo menos 10 rodadas. Escolher o mesmo arquivo 9 vezes ou mais em 10 dificilmente acontece por chute (p ≈ 0,011).
Por que testar às cegas
Quando você sabe qual arquivo é a revisão nova, a master cara ou o arquivo sem perdas, você espera que ele soe melhor, e tende a ouvi-lo assim. Uma comparação às claras, como um teste A/B de mixagem comum, mede o seu ouvido e as suas expectativas juntos. Um teste cego tira os nomes, e só sobra o som para decidir.
O teste cego vale o esforço quando a decisão é apertada ou cara. Os casos típicos são aprovar uma de duas masters, escolher entre duas revisões de mix no fim de um projeto e conferir se um MP3 de bitrate alto é bom o bastante para enviar no lugar de um WAV.
Teste cego A/B, ABX e duplo-cego
Esses testes respondem a perguntas diferentes.
- Teste cego A/B de preferência. Você ouve duas versões sem nome e escolhe a que prefere. Ele responde "de qual eu gosto mais quando não vejo os nomes?".
- Teste ABX. Você ouve A e B, depois um X desconhecido que é um dos dois, e diz qual é o X. Ele responde "eu consigo ouvir alguma diferença?". É o teste mais usado para comparar áudio sem perdas com áudio com perdas.
- Teste duplo-cego. Nem quem ouve nem quem aplica o teste sabe qual arquivo está tocando. Um software que embaralha os arquivos e esconde os nomes torna o teste duplo-cego, porque ninguém na sala pode dar uma dica.
Um teste de preferência não prova que você não ouve diferença. Se as suas escolhas se dividem por igual, ou as versões soam iguais para você ou você gosta das duas na mesma medida. Para decisões de mixagem e masterização, isso costuma bastar, porque a pergunta é qual manter.
Como fazer um teste cego A/B
- Iguale o loudness. Meça o LUFS integrado de cada arquivo e abaixe o mais alto até o mais baixo. Uma diferença de cerca de 1 dB já puxa a escolha e, em um teste cego, também entrega qual é o arquivo mais alto. O guia de level matching mostra como.
- Alinhe os arquivos. As duas versões precisam começar na mesma amostra, para cada rodada tocar o mesmo momento da música.
- Escolha trechos curtos. Uma ou duas frases da parte que importa bastam. Trechos longos fazem você comparar lembranças em vez de sons.
- Embaralhe a cada rodada. A ordem das duas versões tem que mudar ao acaso de uma rodada para outra, senão você aprende o padrão.
- Decida o que você está avaliando. Escolha uma qualidade por teste, como o nível da voz ou os graves, e avalie só isso.
- Esconda os nomes até o fim. Não olhe os resultados entre as rodadas e não troque de fone nem mude o volume no meio.
O ABSeq tem um Teste cego que faz esses passos com as faixas A e B. Cada rodada toca o mesmo trecho curto das duas, embaralhadas e identificadas como Versão A e Versão B, e você escolhe a que prefere. Você define de 1 a 50 rodadas e os segundos por trecho, o Auto Gain vem ligado por padrão e os nomes dos arquivos só aparecem nos resultados. O guia de ajuda mostra como configurar um teste cego. É um teste de preferência, não um teste ABX.
Quantas rodadas você precisa
Uma rodada não diz nada. Com duas versões, um chute cai em qualquer uma metade das vezes, então uma escolha só é cara ou coroa. Em muitas rodadas, o chute fica perto da metade, e uma preferência constante se destaca.
| Rodadas | Mesma escolha necessária | Chance por chute |
|---|---|---|
| 10 | 9 ou mais | cerca de 1,1% (p ≈ 0,011) |
| 16 | 12 ou mais | cerca de 3,8% (p ≈ 0,038) |
Os mesmos números valem para o ABX, em que você conta respostas certas em vez de escolhas. Em 16 tentativas de ABX, 12 ou mais acertos têm menos de 5% de chance de vir de chute.
Mais rodadas dão uma resposta mais clara, mas cansam o ouvido. Se precisar de mais de 16, divida em duas sessões com uma pausa entre elas.
Como ler os resultados
- Uma preferência clara, como 9 de 10. Você ouve uma diferença e prefere uma versão. Fique com ela, ou descubra o que ela faz melhor.
- Um empate, como 6 de 10. A diferença é pequena demais para você preferir uma das duas neste sistema. Decida por outros critérios, como tamanho de arquivo ou custo.
- Uma preferência clara pela versão que você achava que ia perder. Confira primeiro se os níveis estão iguais. Se estiverem, a mudança que você fez pode ter piorado a faixa.
Anote em que sistema você testou. Um resultado em fones de ouvido não vale automaticamente para o carro ou para o alto-falante do celular, então repita os casos apertados em um segundo sistema.
Teste cego de áudio sem perdas contra MP3 ou AAC
Para saber se você ouve uma codificação com perdas, compare o arquivo sem perdas (WAV ou FLAC) com um MP3 ou AAC feito a partir da mesma master. Iguale o loudness e confira o alinhamento como em qualquer outro teste. Aqui o ABX é a escolha mais comum, porque a pergunta é se você ouve diferença, não de qual você gosta.
Confira antes o true peak da master. Uma master com sample peak de 0 dBFS pode ter picos entre amostras acima de 0 dBTP, que podem clipar quando o arquivo é codificado em AAC ou MP3. Nesse caso você pode estar ouvindo o clipping, e não o codec. O guia de true peak explica a diferença, e o guia de como comparar dois arquivos de áudio mostra outras checagens de formato.
Erros comuns
- Pular a igualação de nível, e o arquivo mais alto ganha ou se entrega.
- Fazer três ou quatro rodadas e tratar o resultado como definitivo.
- Olhar o placar no meio e depois ficar procurando a versão que parece estar ganhando.
- Usar trechos tão longos que você compara a lembrança de cada um.
- Mudar o volume ou trocar de fone no meio do teste.
Perguntas
O que é um teste cego A/B de áudio?
Um teste cego A/B toca duas versões do mesmo áudio sem dizer qual é qual, e você escolhe a que prefere em cada rodada. Os nomes dos arquivos só aparecem no fim, então a sua escolha vem do som e não de saber qual arquivo é o novo ou o caro.
Qual a diferença entre teste ABX e teste A/B?
Um teste A/B de preferência pergunta qual de duas versões sem nome você prefere. Um teste ABX toca A, B e um X desconhecido e pergunta qual é o X, então ele testa se você consegue ouvir alguma diferença. O ABX é o teste mais usado para comparar áudio sem perdas com áudio com perdas.
Quantas rodadas um teste cego deve ter?
Pelo menos 10. Em 10 rodadas, escolher o mesmo arquivo 9 vezes ou mais tem cerca de 1,1% de chance de acontecer por chute. Em 16 rodadas, 12 ou mais têm cerca de 3,8% de chance. De uma a cinco rodadas não separam uma preferência real da sorte.
Dá para ouvir a diferença do áudio sem perdas em um teste cego?
Depende de quem ouve, da música, da codificação e do sistema de reprodução, então a resposta vem do seu próprio teste. Faça um teste ABX com o loudness igualado e os arquivos alinhados e conte os acertos. Em 16 tentativas, 12 ou mais acertos dificilmente são chute.
O que é um teste duplo-cego de áudio?
Em um teste duplo-cego, nem quem ouve nem quem aplica o teste sabe qual arquivo está tocando, então ninguém dá uma dica sem querer. Um software que embaralha os arquivos e esconde os nomes até o fim faz um teste duplo-cego sozinho.