Procedury i metodologia testowa

Procedury i metodologia testowa opisuje ogólne ramy i procedury, jakimi posługuję się podczas testów i recenzji na blogu Audiofanatyk™. Dzięki niemu będziesz w stanie lepiej zrozumieć sposób, w jaki opisuję sprzęt i zasady, którymi się kieruję w trakcie wykonywania różnorodnych czynności. Zyskasz wtedy większą pewność co do wiarygodności moich recenzji oraz artykułów.

Podział strukturalny recenzji AF

Na przestrzeni wielu lat pracy ze sprzętem audio, forma i struktura recenzji zmieniała się u mnie parokrotnie, ale generalnie zawsze oscylowała wokół podstawowych bloków:

Wstęp
Dane techniczne
Jakość wykonania
Jakość dźwięku + pomiary
Obserwacje, porównania, jakiekolwiek uwagi (jeśli były takowe poczynione)
Podsumowanie

Aktualny podział nie odbiega od powyższego, choć przeszedł modyfikacje, aby jeszcze bardziej uczynić recenzje czytelniejszymi i łatwiejszymi w odbiorze. Obowiązkowym elementem obecnym w recenzjach na AF są i będą pomiary akustyczne audio. Stosując poprawną metodologię i należycie skonfigurowany sprzęt o dobrych parametrach, są one bardzo cenione przez potencjalnych użytkowników recenzowanego sprzętu. Dają im bowiem pewność względem tego, co faktycznie kupują i czy rzeczywiście wszystko jest tak, jak obiecywał producent.

Recenzje na łamach AF od ok. 2017 roku są doskonalone w obszarze korelacji pomiarów z odsłuchami, w myśl filozofii „wiem co słyszę, słyszę co wiem”.

Recenzje komercyjne a prywatne

Na samym początku każdej recenzji umieszczam informację, od kogo sprzęt został pozyskany. Ponieważ na blogu dopuszczam realizację recenzji komercyjnych, sprzęt może pochodzić z oficjalnych kanałów dystrybucyjnych i sklepów. Część sprzętu to mój osobisty zakup ze środków własnych, a niektóre urządzenia pochodzą ze środków uzyskanych m.in. ze sprzedaży produktów na sklepie lub donacji od patronów. Są to urządzenia, które kupuję stricte na testy, a których normalnie nie byłbym w stanie wypożyczyć lub byłoby to mocno utrudnione. Niemniej spora część pochodzi po prostu z grzecznościowego wypożyczenia, za które jestem zawsze ogromnie wdzięczny.

Wszystkie recenzje wykonuję od lat dokładnie w ten sam sposób, bez względu na to od kogo sprzęt pochodzi i czego ode mnie oczekuje. Mają miejsce te same pomiary na tym samym sprzęcie, a całości towarzyszy taka sama staranność w wykonywaniu odsłuchów. Fakt bycia recenzją komercyjną w żadnym wypadku nie ma wpływu na ocenę testowanego produktu. W przeciwnym razie zaprzeczałoby to fundamentalnej istocie bloga Audiofanatyk™. Pozwalam natomiast na ewentualną podmianę egzemplarza/modelu na inny w sytuacji, gdy stwierdzam w nim defekty lub sprzęt po prostu mi się nie widzi.

Elementy subiektywne i obiektywne jako spójna całość

Recenzje audio od zawsze były, są i będą opiniami subiektywnymi, opartymi na odczuciach, wrażeniach i osobistych punktach odniesienia osoby oceniającej. Ludzki słuch niestety ma to do siebie, że jest bardzo zawodny i mylący, bo reagujący na muzykę (dźwięk) jak na hałas, wobec którego wyzwalane są różnego rodzaju reakcje obronne, takie jak kompensacja, adaptacja czy equalizacja. Bardzo często zdarza się, że dźwięk z tego samego źródła wieczorem jednego dnia będzie się podobał, a drugiego dnia z rana już nie. Z taką recenzją, ale też każdą opinią nt. dźwięku, można później w dowolny sposób polemizować i zarzucać autorowi różne rzeczy (i często słusznie).

W tym kontekście pomiary jako element obiektywny są stosowane zawsze i traktowane jako suplement/bezpiecznik dla wrażeń słuchowych. Nie da się bowiem usłyszeć czegoś, co fizycznie nie istnieje i w wymierny sposób możemy stwierdzić, że nie zachodzi. Dlatego szanując odmienne opinie i zdania, własne staram się weryfikować w przestrzeni wymiernej i fizycznej. Zdobyte w ten sposób dane jestem w stanie porównać np. na osi czasu z innym egzemplarzem tych samych słuchawek.

Sposób mierzenia sprzętu audio

W przypadku słuchawek pełnowymiarowych i kompaktów, są one mierzone na skalibrowanym aktywnym fantomie pomiarowym typu EACS (Ears And Cheek Simulator). Fantom posiada własne zasilanie, jak również znajduje się w dedykowanej, odizolowanej komorze bezechowej. Dzięki temu jest w pełni odseparowany od większości czynników zewnętrznych mogących wpłynąć na pomiar. Sprzęt jest podłączony na stałe do systemu Motu M4 + Sabaj A20h, który jednocześnie jest moim głównym systemem odsłuchowym z racji ogromnej czystości i dostatecznej mocy. Dane pomiarowe są na ogół uśrednionym wynikiem pozyskiwanym z kilku serii odczytów dla obu kanałów w różnych pozycjach w oparciu o standard IEC 60942. Uzyskiwane dane są wystarczające do celów weryfikacyjnych względem treści recenzji.

Słuchawki dokanałowe mierzę na samodzielnie opracowanym systemie pomiarowym w oparciu o normę IEC 60318-4. Pomiar wykonywany jest bez tipsów, bezpośrednio na wyjściu przetwornika, a co znacząco zwiększa powtarzalność wyników. Pomiary są później kompensowane w oparciu o naturalne uszczelnienie, jakie w innej sytuacji umożliwiałby tips słuchawki.

Sprzęt elektroniczny mierzę z kolei na dedykowanym systemie pomiarowym specjalnie przystosowanym do takich zadań i w oparciu o sztuczne obciążenie 32/300 Ohm (single ended).

Ze względu na kilkukrotne próby wyłudzenia informacji i materiałów związanych z wykonywanymi pomiarami, nie podaję dokładnych modeli urządzeń pomiarowych, kapsuł, modułów oraz ich specyfikacji, jakie są wykorzystywane na blogu.

Co dokładnie mierzę i w jakim zakresie

Pomiary mogą obejmować m.in.:

odczyt częstotliwościowy (20 Hz – 20 kHz @94 dB SPL),
badanie zbieżności parowania przetworników lewego i prawego,
badanie impedancji całkowitej,
koherencję pomiarową (zbieżność pomiarów akustycznych z kilku prób pomiarowych celem ustalenia powtarzalności pod kątem aplikacji/założenia),
odczyt impulsowy (szybkość reakcji membrany) dla lewego i prawego przetwornika,
czystość, czyli zniekształcenia THD+N (do -80 dB @94 dB SPL dla słuchawek i ok. -115 dB dla sprzętu elektronicznego),
rezonanse i wygaszanie się na osi czasu (CSD),
impedancję wyjściową na wyjściu wzmacniacza słuchawkowego,
różnice tonalne i czystości w kontekście różnych sposobów podłączenia lub użytych kodeków.

Co do zasady staram się pomiary wykonywać zawsze, gdy jest taka możliwość. Wyjątkami są określone rodzaje urządzeń, których nie jestem w stanie zmierzyć w sposób satysfakcjonujący ze względu na ich specyfikę. Ponieważ pomiary wykonuję hobbystycznie i amatorsko, odbywa się to w domowych warunkach, a więc w środowisku rzeczywistym. Stawia to dodatkowe wyzwania, które trzeba pogodzić np. z zagospodarowaniem przestrzennym czy aranżacją akustyczną.

Czasami dopiero po paru latach pojawia się możliwość jakkolwiek sensownego i skutecznego pomierzenia danego rodzaju urządzeń (np. DACów), bo dopiero wtedy zakupiony został dedykowany do tego sprzęt. W starszych recenzjach pomiarów może brakować całkowicie lub w jakiejś części. Z kolei pokazywane dane także mogą różnić się skalą badania albo zakresem, ponieważ moja wiedza rozwijała się wraz z każdą kolejną recenzją na bieżąco.

Od 2024 roku, pomiary umieszczam w ramach specjalnie wydzielonej sekcji Materiały dodatkowe na końcu każdej recenzji. W ten sposób treść jest bardziej czytelna i płynniejsza w lekturze.

Akuratność pomiaru a różnica względem odsłuchu

Mój główny fantom wyposażony jest w tzw. sztuczne uszy. Imitują one realne uszy ludzkie i w efekcie fale odbite generowane przez małżowinę uszną. Daje to jedne z najbardziej wiarygodnych rezultatów pomiarowych. Niemniej należy pamiętać, że pomiary odbywają się na cały czas na „symulatorze”, który mimo wszystko uśrednia lub wprost pomija pewne cechy anatomiczne, takie jak głębokość kanałów słuchowych, profil ucha słuchacza, czy jego indywidualna izofona. Dlatego nie jest w stanie odzwierciedlić zwłaszcza tych skrajnych i rzadkich scenariuszy anatomicznych, jak również nie symuluje rezonansów zachodzących bezpośrednio w kanale słuchowym. Odczyty pomiarowe należy więc traktować jako dane surowe, tzw. Raw Data.

W pomiarach nie stosuję żadnych krzywych docelowych (tzw. targetów). Powodem jest chęć uniknięcia sugerowania czytelnikowi własnych preferencji słuchowych oraz suflowania gotowych krzywych jako tych jedynych słusznych. Stoi to w sprzeczności z założeniami badań przeprowadzanych w tym zakresie oraz własnych preferencji użytkownika, wynikających np. z uwarunkowań anatomicznych. Założenie jest takie, że użytkownik wie co słyszy (tj. posiada podstawową wiedzę z tego zakresu), dlatego dane surowe są dla niego najlepszym materiałem do analizy. Jeśli materiały te nie są zrozumiałe, pozostaje obszerna część opisowa recenzji.

Preferowana głośność i własny słuch

Preferuję stosunkowo ciche słuchanie na poziomie zmierzonym między 65 a 68 dB SPL. Na takim też poziomie dokonuję oceny odsłuchowej w recenzjach. Głośność urządzeń ustawiam niżej niż większość użytkowników, zwłaszcza że w słuchawkach spędzam praktycznie całe dnie. Łączy się to z potwierdzonymi badaniami medycznymi, potwierdzając źródło tychże preferencji (nadczułość w rejonie 6 kHz). Z tego powodu część słuchawek odbieram jako trochę jaśniejsze, niż są w rzeczywistości. Mając tego faktu świadomość, w recenzjach staram się to od razu uwzględniać przy ocenach i opisach wrażeń.

Wykorzystywana muzyka

W recenzji wykorzystywany jest szereg muzycznych formatów cyfrowych, głównie FLAC i WAV w wersjach 16 oraz 24 bit z bardzo różnych gatunków, najczęściej elektronicznych, eksperymentalnych, ambientowych i elektroakustycznych, ale z uwzględnieniem również jazzu, klasyki, bluesa, elektropopu, synthu, dynamicznej muzyki filmowej oraz utworów muzycznych obfitych w bas. Sumarycznie sprowadza się to do bardzo żmudnego, ale dokładnego oceniania sprzętu audio trafiającego na testy. Dzięki temu mam jednak pewność, że ocena, mimo że subiektywna, opiera się o należycie zachowanych ku jej wydaniu fundamentach.

Większość swoich albumów nabywam za pośrednictwem serwisu Bandcamp. Można się z nią zapoznać przechodząc na mój profil w tymże serwisie.

Słuchawkowe punkty odniesienia

Słuchawkami testowymi są z reguły wszystkie słuchawki, jakie w danej chwili posiadam. Na wyposażeniu bloga znajdują się m.in. (stan na 12-2024):

AKG HSC171
AKG K1000
AKG K240 DF (1980, odbudowane na przetwornikach z K140S)
AKG K240 Sextett
AKG K240 MKII
AKG K271 MKII
Audeze LCD-XC Creator Edition (2018)
Audio-Technica ATH-A990Z
Audio-Technica ATH-AD500X
Audio-Technica ATH-AD900X
Audio-Technica ATH-R70X
Aune AR5000
Austrian Audio Hi-X60 (2021)
Beyerdynamic DT1990 PRO MKI
Creative Aurvana SE
Fostex TH616
JVC SR100X-B
Philips Fidelio X2HR
Sennheiser HD 580 (1992)
Sennheiser HD 800 S (2022)

Słuchawki Bluetooth wireless:

Haylou S35 ANC

Słuchawki dokanałowe i TWS:

Final Audio Design ZE8000 MK2
KZ ESX
KZ ZAX (+ KZ AE01)
KZ ZEX
KZ ZSX (+ TRN BT20 Pro)
KZ ZVX (+ KZ AZ10)
Motorola Motobuds+
Sony MH1c

Sposób końcowego oceniania sprzętu

Od paru lat każdy sprzęt trafiający na blog staram się ocenić w jego klasie cenowej za pomocą oceny numerycznej. Przyjmuje ona skalę 1,0-10,0 i składa się z trzech części:

Jakość wykonania i wyposażenie (skala 1-10, waga: 25%)
Jakość dźwięku (skala 1-10, waga: 50%, uwzględnione pomiary)
Ergonomia i praktyczność (skala 1-10, waga: 25%, uwzględnione konsekwencje wynikające z niektórych pomiarów)

W jakości wykonania uwzględniam sposób wykonania sprzętu, z jakich materiałów, z jak dużą dbałością o szczegóły. Staram się ocenić estymowaną trwałość sprzętu oraz dołączonych do niego akcesoriów.

Jakość dźwięku opisuje dokładnie to, czym jest. W tym miejscu sporą rolę odgrywają pomiary, które są dużą częścią składową oceny. Dlatego można ją traktować jako ocenę podwójną: stąd 50% wagi. W ten sposób słuchawki nawet niekoniecznie grające czysto, ale wciąż sprawiające przyjemność z odsłuchu (np. sprzęt vintage), mogę ocenić uczciwie.

Na koniec oceniam ergonomię i praktyczność, a więc wygodę, mnogość funkcji, przydatność w codziennym życiu. Tu premiowane są np. uniwersalność muzyczna, łatwość w napędzeniu czy pojemność baterii.

Rekomendacje, wyróżnienia i Polecane

Na bazie średniej ze wszystkich ocen składowych formułuję ocenę całościową, która w sytuacji posiadania ułamka np. 8,75 przyjmuje wartość 8,7 lub 8,8 wg mojej osobistej decyzji i odczuć. Oceną wyjściową jest zawsze 5/10. Oznacza ona sprzęt przeciętny, którego bez problemu da się używać, ale ani nie mający w sobie rzeczy wybitnych, ani przekreślających. Im wyższa ocena, tym bardziej symbolizuje ona sprzęt idealny, perfekcyjny, oferujący świetny stosunek ceny do możliwości. Analogicznie, oceny poniżej 5/10 wskazują na poważne wady, niewygodę, brak dbałości o sferę techniczną i dźwiękową, nawet po wyjęciu poza nawias moich własnych preferencji.

W sytuacji, gdy sprzęt osiągnie ocenę końcową 8,0/10 lub wyższą, kwalifikuje się na Rekomendację. Wyróżnienie to przyznaję uznaniowo, pod kątem tego, czy dany produkt sam bym dla siebie zakupił w danej cenie. Obok rekomendacji, wyróżnienia można otrzymać również osobno za:

jakość dźwięku (np. słuchawki mają wady konstrukcyjne lub kosmiczną cenę, ale jakość dźwięku jest super)
możliwości (mimo gorszych wyników, sprzęt oferuje świetne możliwości konfiguracyjne lub bardzo ładnie reaguje na equalizację)
opłacalność (mimo wad w danej cenie nadal jest bardzo opłacalnym zakupem, jeśli się z jego wadami pogodzimy)

Od 2025 roku stosowane są dodatkowo „maskotki ocenowe” w formie pingwinków, jeszcze bardziej obrazowo symbolizujących moje odczucia związane z ocenianym sprzętem. Przykładowo, uradowany pingwinek w pontonie symbolizuje słuchawki, które uratowały Rekomendację rzutem na taśmę (granica oceny 8,0/10). Natomiast smutny pingwinek w kostce lodu symbolizuje ten sprzęt, który niestety nie wywołuje u mnie ciepłych odczuć.

Sprzęt, który subiektywnie oceniłem pozytywnie ma szansę trafić potem do zestawień Polecane. Promuję w nich dobre i sprawdzone słuchawki oraz urządzenia, które uważam za warte zakupu i sam bym nabył dla siebie.

Zmiany i rewizje post factum sprzętu testowanego

Należy pamiętać, że oceny i wyróżnienia są przyznawane w momencie posiadania sprzętu na testach w danym punkcie czasu, wskazywanym datą publikacji wpisu. Recenzja nie obejmuje zmian, jakie producent wprowadza po swojej stronie do produktu (często bez wiedzy samych użytkowników) w zakresie brzmienia, ceny, pakowania czy wyposażenia. Mój blog nie ma szans na bieżąco śledzić ich wprowadzania już po wykonanych odsłuchach. Jeśli dochodzi do mnie sporo sygnałów, że sprzęt np. gra inaczej (lepiej/gorzej) od egzemplarza recenzowanego, najwyżej mogę umieścić odpowiednią adnotację z datą.