블라인드 A/B 테스트는 같은 오디오의 두 버전을 어느 쪽인지 알려 주지 않고 재생합니다. 음량을 맞추고, 두 파일의 같은 짧은 구간을 섞인 순서로 재생하고, 라운드마다 하나를 고르고, 파일 이름은 마지막에만 확인합니다. 최소 10라운드는 하세요. 10번 중 9번 이상 같은 파일을 고르는 일은 추측으로는 잘 일어나지 않습니다(p ≈ 0.011).
왜 블라인드로 테스트하나
어느 파일이 새 수정본인지, 비싼 마스터인지, 무손실 파일인지 알면 더 좋게 들릴 거라고 기대하고, 실제로 그렇게 듣기 쉽습니다. 일반적인 믹스 A/B 테스트처럼 보면서 하는 비교는 귀와 기대를 함께 잽니다. 블라인드 테스트는 이름표를 없애서 소리만으로 고르게 합니다.
결정이 박빙이거나 비용이 클 때 블라인드 테스트를 할 만합니다. 두 마스터 중 하나를 승인할 때, 프로젝트 막바지에 두 믹스 수정본 중 하나를 고를 때, 고음질 MP3를 WAV 대신 보내도 될지 확인할 때가 대표적입니다.
블라인드 A/B, ABX, 더블 블라인드
이 테스트들은 서로 다른 질문에 답합니다.
- 블라인드 A/B 선호도 테스트. 이름 없는 두 버전을 듣고 더 좋은 쪽을 고릅니다. "이름을 못 볼 때 어느 쪽이 더 좋은가?"에 답합니다.
- ABX 테스트. A와 B를 듣고, 둘 중 하나인 미지의 X를 들은 뒤 X가 어느 쪽인지 답합니다. "차이가 들리기는 하나?"에 답합니다. 무손실과 손실 오디오를 비교할 때 흔히 쓰는 테스트입니다.
- 더블 블라인드 테스트. 듣는 사람도, 테스트를 진행하는 사람도 어느 파일이 재생되는지 모릅니다. 파일을 섞고 이름을 숨기는 소프트웨어를 쓰면 방 안의 누구도 힌트를 줄 수 없으므로 더블 블라인드가 됩니다.
선호도 테스트로는 차이가 안 들린다는 것을 증명할 수 없습니다. 선택이 고르게 갈리면 두 버전이 나에게 같게 들리거나, 둘 다 똑같이 좋은 것입니다. 믹싱과 마스터링 결정에서는 어느 쪽을 남길지가 질문이므로 대개 이걸로 충분합니다.
블라인드 A/B 테스트하는 법
- 음량을 맞춥니다. 파일마다 인티그레이티드 LUFS를 측정하고 큰 쪽을 작은 쪽까지 낮춥니다. 약 1 dB 차이도 선택을 기울게 하고, 블라인드 테스트에서는 큰 파일이 어느 쪽인지 드러내기까지 합니다. 방법은 음량 맞추기 가이드에 있습니다.
- 파일을 정렬합니다. 두 버전이 같은 샘플에서 시작해야 라운드마다 곡의 같은 순간이 재생됩니다.
- 짧은 구간을 고릅니다. 신경 쓰는 구간의 한두 프레이즈면 충분합니다. 구간이 길면 소리가 아니라 기억을 비교하게 됩니다.
- 라운드마다 섞습니다. 두 버전의 순서가 라운드마다 무작위로 바뀌어야 합니다. 그렇지 않으면 패턴을 외우게 됩니다.
- 무엇을 판단할지 정합니다. 보컬 레벨이나 저역처럼 테스트마다 한 가지를 정하고 그것만 판단하세요.
- 마지막까지 이름을 숨깁니다. 라운드 사이에 결과를 보지 말고, 중간에 헤드폰이나 볼륨을 바꾸지 마세요.
ABSeq에는 트랙 A와 B로 이 단계를 진행하는 Blind Test가 있습니다. 각 라운드는 두 파일의 같은 짧은 구간을 섞어서 Version A와 Version B라는 이름으로 재생하고, 마음에 드는 쪽을 고르면 됩니다. 라운드는 1에서 50까지, 구간당 초도 직접 정하고, Auto Gain은 기본으로 켜져 있으며, 파일 이름은 결과에서만 나옵니다. 블라인드 테스트 설정법은 도움말에 있습니다. ABX 테스트가 아니라 선호도 테스트입니다.
몇 라운드가 필요한가
한 라운드로는 아무것도 알 수 없습니다. 두 버전이면 추측이 절반의 확률로 어느 쪽에든 맞으므로 한 번의 선택은 동전 던지기입니다. 라운드가 많아지면 추측은 절반 근처로 평균이 맞춰지고, 일관된 선호가 드러납니다.
| 라운드 | 같은 선택 필요 횟수 | 추측으로 나올 확률 |
|---|---|---|
| 10 | 9번 이상 | 약 1.1% (p ≈ 0.011) |
| 16 | 12번 이상 | 약 3.8% (p ≈ 0.038) |
ABX에도 같은 숫자가 적용됩니다. 선택 대신 정답 수를 셉니다. ABX 16회 시행에서 12번 이상 맞힐 확률은 추측으로는 5% 미만입니다.
라운드가 많을수록 답이 분명해지지만 귀가 지칩니다. 16라운드보다 많이 필요하다면 중간에 쉬는 시간을 두고 두 세션으로 나누세요.
결과 읽는 법
- 10번 중 9번처럼 뚜렷한 선호. 차이가 들리고 한 버전을 선호하는 것입니다. 그 버전을 남기거나, 무엇이 더 나은지 알아내세요.
- 10번 중 6번처럼 갈린 결과. 이 시스템에서는 어느 쪽을 선호하기에 차이가 너무 작습니다. 파일 크기나 비용 같은 다른 기준으로 고르세요.
- 질 거라고 예상한 버전에 대한 뚜렷한 선호. 먼저 음량 맞추기를 확인하세요. 레벨이 같다면 내가 한 변경이 트랙을 해쳤을 수 있습니다.
테스트한 시스템을 적어 두세요. 헤드폰에서 나온 결과가 차나 폰 스피커로 그대로 이어지지 않으므로, 박빙인 결과는 두 번째 시스템에서 반복하세요.
무손실과 MP3, AAC 블라인드 테스트
손실 인코딩이 들리는지 테스트하려면 무손실 파일(WAV나 FLAC)과 같은 마스터로 만든 MP3나 AAC를 비교하세요. 다른 테스트처럼 음량을 맞추고 정렬을 확인합니다. 어느 쪽이 좋은지가 아니라 차이가 들리는지가 질문이므로 여기서는 보통 ABX 테스트를 씁니다.
먼저 마스터의 트루피크를 확인하세요. 샘플피크 0 dBFS인 마스터에도 0 dBTP를 넘는 인터샘플 피크가 있을 수 있고, AAC나 MP3로 인코딩할 때 클리핑될 수 있습니다. 그러면 코덱이 아니라 클리핑을 듣게 됩니다. 그 차이는 트루피크 가이드에서 설명하고, 다른 포맷 점검은 두 오디오 파일 비교하기 가이드에서 다룹니다.
흔한 실수
- 음량 맞추기를 건너뛰어서 큰 파일이 이기거나 스스로 드러나는 것.
- 서너 라운드만 하고 결과를 확정으로 보는 것.
- 중간에 점수를 확인하고 이기고 있는 것 같은 버전을 찾아 듣는 것.
- 구간이 너무 길어서 각 구간의 기억을 비교하게 되는 것.
- 도중에 볼륨이나 헤드폰을 바꾸는 것.
자주 묻는 질문
오디오 블라인드 A/B 테스트란 무엇인가요?
블라인드 A/B 테스트는 같은 오디오의 두 버전을 어느 쪽인지 알려 주지 않고 재생하며, 라운드마다 더 좋은 쪽을 고르는 테스트입니다. 파일 이름은 마지막에만 나오므로 어느 파일이 새것이거나 비싼지 아는 것이 아니라 소리로 고르게 됩니다.
ABX 테스트와 A/B 테스트는 어떻게 다른가요?
A/B 선호도 테스트는 이름 없는 두 버전 중 어느 쪽이 더 좋은지 묻습니다. ABX 테스트는 A, B, 미지의 X를 재생하고 X가 어느 쪽인지 물어서 차이가 들리기는 하는지 테스트합니다. 무손실과 손실 오디오 비교에는 보통 ABX를 씁니다.
블라인드 테스트는 몇 라운드를 해야 하나요?
최소 10라운드입니다. 10라운드에서 같은 파일을 9번 이상 고를 확률은 추측으로는 약 1.1%입니다. 16라운드에서 12번 이상은 약 3.8%입니다. 1에서 5라운드로는 진짜 선호와 운을 구별할 수 없습니다.
블라인드 테스트에서 무손실 음원을 구별할 수 있나요?
듣는 사람, 음악, 인코딩, 재생 시스템에 따라 다르므로 답은 직접 테스트해야 나옵니다. 음량을 맞추고 파일을 정렬한 상태로 ABX 테스트를 하고 정답 수를 세세요. 16회 시행에서 12번 이상 맞혔다면 추측일 가능성은 낮습니다.
오디오 더블 블라인드 테스트란 무엇인가요?
더블 블라인드 테스트에서는 듣는 사람도, 테스트를 진행하는 사람도 어느 파일이 재생되는지 모르므로 누구도 실수로 힌트를 줄 수 없습니다. 파일을 섞고 마지막까지 이름을 숨기는 소프트웨어는 그 자체로 더블 블라인드 테스트를 진행합니다.