Слепой A/B тест проигрывает две версии одного аудио и не говорит, где какая. Выровняйте их громкость, проигрывайте один и тот же короткий фрагмент обеих в случайном порядке, выбирайте одну в каждом раунде и смотрите названия файлов только в конце. Проведите не меньше 10 раундов. Выбрать один и тот же файл 9 и более раз из 10 наугад маловероятно (p ≈ 0,011).
Зачем тестировать вслепую
Когда вы знаете, какой файл новая ревизия, дорогой мастер или файл без потерь, вы ждете, что он прозвучит лучше, и склонны так его и слышать. Сравнение с открытыми названиями, как обычный A/B тест микса, измеряет ваш слух вместе с ожиданиями. Слепой тест убирает подписи, и выбирать остается только по звуку.
Слепой тест стоит усилий, когда решение спорное или дорогое. Типичные случаи: утвердить один из двух мастеров, выбрать между двумя ревизиями сведения в конце проекта или проверить, хватит ли MP3 с высоким битрейтом вместо WAV.
Слепой A/B, ABX и двойной слепой тест
Эти тесты отвечают на разные вопросы.
- Слепой A/B тест предпочтений. Вы слышите две версии без подписей и выбираете ту, что нравится больше. Он отвечает на вопрос, какая версия нравится вам больше, когда вы не видите названий.
- ABX тест. Вы слышите A и B, потом неизвестный X, который совпадает с одним из них, и говорите, какой из них X. Он отвечает на вопрос, слышите ли вы разницу вообще. Это обычный тест для сравнения звука без потерь и с потерями.
- Двойной слепой тест. Ни слушатель, ни тот, кто проводит тест, не знают, какой файл играет. Программа, которая перемешивает файлы и прячет названия, делает тест двойным слепым, потому что в комнате никто не может подсказать.
Тест предпочтений не может доказать, что вы не слышите разницы. Если выборы разделились поровну, версии звучат для вас одинаково или нравятся одинаково. Для решений по сведению и мастерингу этого обычно достаточно, потому что вопрос в том, какую версию оставить.
Как провести слепой A/B тест
- Выровняйте громкость. Измерьте интегральные LUFS каждого файла и приглушите более громкий до более тихого. Разница около 1 dB склоняет выбор, а в слепом тесте еще и выдает громкий файл. Гайд по выравниванию громкости показывает как.
- Выровняйте файлы по времени. Обе версии должны начинаться с одного сэмпла, чтобы каждый раунд играл один и тот же момент песни.
- Берите короткие фрагменты. Хватит одной-двух фраз нужной части. На длинных фрагментах вы сравниваете воспоминания, а не звук.
- Перемешивайте каждый раунд. Порядок двух версий должен меняться случайно от раунда к раунду, иначе вы выучите закономерность.
- Решите, что вы оцениваете. Выберите одно качество на тест, например уровень вокала или низ, и оценивайте только его.
- Прячьте названия до конца. Не смотрите результаты между раундами и не меняйте наушники или громкость посередине.
В ABSeq есть слепой тест, который проходит эти шаги для треков A и B. В каждом раунде звучит один и тот же короткий фрагмент обоих треков в случайном порядке под названиями «Версия A» и «Версия B», и вы выбираете ту, что нравится больше. Вы задаете от 1 до 50 раундов и секунды на фрагмент, Auto Gain включен по умолчанию, а названия файлов появляются только в результатах. В справке описано, как настроить слепой тест. Это тест предпочтений, а не ABX тест.
Сколько нужно раундов
Один раунд ничего не говорит. При двух версиях догадка попадает в каждую в половине случаев, так что один выбор равен подброшенной монетке. На многих раундах догадки усредняются около половины, и устойчивое предпочтение становится заметным.
| Раунды | Нужно одинаковых выборов | Вероятность угадать |
|---|---|---|
| 10 | 9 и более | около 1,1% (p ≈ 0,011) |
| 16 | 12 и более | около 3,8% (p ≈ 0,038) |
Те же числа подходят для ABX, где считают верные ответы, а не выборы. В 16 попытках ABX вероятность получить 12 и более верных ответов наугад меньше 5%.
Больше раундов дают более ясный ответ, но утомляют слух. Если нужно больше 16, разбейте их на две сессии с перерывом.
Как читать результаты
- Ясное предпочтение, например 9 из 10. Вы слышите разницу и предпочитаете одну версию. Оставьте ее или разберитесь, что она делает лучше.
- Разделение, например 6 из 10. На этой системе разница слишком мала, чтобы вы предпочли какую-то версию. Выбирайте по другим причинам, например по размеру файла или цене.
- Ясное предпочтение версии, которая по вашим ожиданиям должна была проиграть. Сначала проверьте выравнивание громкости. Если уровни равны, возможно, ваше изменение навредило треку.
Запишите, на какой системе вы тестировали. Результат в наушниках не переносится на машину или динамик телефона, так что спорные случаи повторите на второй системе.
Слепой тест звука без потерь против MP3 или AAC
Чтобы проверить, слышите ли вы кодирование с потерями, сравните файл без потерь (WAV или FLAC) с MP3 или AAC, сделанным из того же мастера. Выровняйте громкость и проверьте совпадение по времени, как в любом другом тесте. Обычно здесь выбирают ABX тест, потому что вопрос в том, слышите ли вы разницу, а не в том, что вам нравится.
Сначала проверьте true peak мастера. У мастера с пиком по сэмплам 0 dBFS могут быть межсэмпловые пики выше 0 dBTP, и при кодировании в AAC или MP3 они могут клиповать. Тогда вы, возможно, услышите клиппинг, а не кодек. Гайд по true peak объясняет разницу, а гайд как сравнить два аудиофайла описывает другие проверки форматов.
Частые ошибки
- Пропустить выравнивание громкости, и тогда громкий файл побеждает или выдает себя.
- Провести три-четыре раунда и считать результат окончательным.
- Посмотреть счет посередине и потом выслушивать версию, которая, как вам кажется, побеждает.
- Брать такие длинные фрагменты, что вы сравниваете воспоминания о каждом.
- Менять громкость или наушники по ходу теста.
Вопросы
Что такое слепой A/B тест в звуке?
Слепой A/B тест проигрывает две версии одного аудио и не говорит, где какая, а вы в каждом раунде выбираете ту, что нравится больше. Названия файлов появляются только в конце, поэтому выбор идет от звука, а не от знания, какой файл новый или дорогой.
Чем ABX тест отличается от A/B теста?
A/B тест предпочтений спрашивает, какая из двух версий без подписей нравится вам больше. ABX тест проигрывает A, B и неизвестный X и спрашивает, какой из них X, то есть проверяет, слышите ли вы разницу вообще. ABX обычно используют для сравнения звука без потерь и с потерями.
Сколько раундов нужно в слепом тесте?
Не меньше 10. В 10 раундах вероятность наугад выбрать один и тот же файл 9 и более раз около 1,1%. В 16 раундах вероятность 12 и более около 3,8%. За один-пять раундов не отличить настоящее предпочтение от везения.
Можно ли услышать звук без потерь в слепом тесте?
Это зависит от слушателя, музыки, кодирования и системы воспроизведения, поэтому ответ даст ваш собственный тест. Проведите ABX тест с выровненной громкостью и совпадающими по времени файлами и посчитайте верные ответы. В 16 попытках 12 и более верных ответов вряд ли получатся наугад.
Что такое двойной слепой тест в звуке?
В двойном слепом тесте ни слушатель, ни тот, кто проводит тест, не знают, какой файл играет, так что никто не может случайно подсказать. Программа, которая перемешивает файлы и прячет названия до конца, сама проводит двойной слепой тест.