Rozciąganie czasu o 10 procent w atempo i rubberband: timing, transjenty, brzmienie i stereo, pomiar

ffmpeg ma dwa filtry, które zmieniają tempo przy zachowaniu wysokości dźwięku. atempo jest częścią samego ffmpeg i działa metodą WSOLA: tnie dźwięk na nakładające się fragmenty i przesuwa każdy tak, aby jak najdokładniej pasował do poprzedniego. rubberband przekazuje dźwięk bibliotece Rubber Band Library, która pracuje w dziedzinie częstotliwości i przy transjentach stosuje własne reguły.

Pomiar wykonano przy tempie 0,9 i 1,1, czyli przy zmianie, która z utworu w 120 BPM robi utwór w 108 lub 132 BPM. Badano wpływ obu metod na timing, pojedyncze uderzenia, tony i obraz stereo. Pomiar nie rozstrzyga, która metoda brzmi lepiej.

Jak mierzono

• Metody: ffmpeg 7.1.5 z Rubber Band Library 3.3.0, 44,1 kHz, wyjście jako 32-bitowy zapis zmiennoprzecinkowy. atempo i rubberband w ustawieniach domyślnych, do tego rubberband z transients=mixed, transients=smooth, window=long i channels=together.
• Czas: 20 krótkich kliknięć, każde z 2 ms tonu 3 kHz, co 0,5 s. Zmierzone zostały długość wyjścia, położenie każdego kliknięcia względem pozycji docelowej oraz to, czy docierają wszystkie kliknięcia.
• Uderzenia: 12 pojedynczych stop i werbli w odstępie nieco ponad sekundy, każde przesunięte o kolejne 37 ms względem siatki, aby trafiało w inne miejsca okien. Ocena opierała się na obwiedni RMS 3 ms: na chwili, w której osiąga połowę szczytu, i na jej poziomie 10 i 20 ms wcześniej.
• Tony: czyste sinusy 110, 440 i 1760 Hz oraz piły 55, 110, 220 i 440 Hz, po 5 s, rozciągnięte przy tempie 0,9, 0,95, 1,05 i 1,1. Przy sinusie liczy się, jak głęboko poziom w oknach 10 ms spada poniżej średniej. Przy pile liczy się energia między harmonicznymi, odniesiona do całej energii i porównana z nieprzetworzoną piłą.
• Miks: 16 s stereo ze stopy, werbla, hi-hatów, basu, plamy i leadu. Zmierzone zostały korelacja obu kanałów, poziom i czas obliczeń, z trzech przebiegów najkrótszy.
• Próby kontrolne: pierwsze liczenie podwójnych uderzeń znalazło już w nieprzetworzonym uderzeniu od 10 do 13 wejść, ponieważ obwiednia 0,25 ms podąża za drganiami stopy; liczenie odbywa się więc na 3 ms i zawsze obok oryginału. Pierwszy przebieg z jedną piłą 110 Hz sprawiał, że atempo wyglądał na czysty, a seria przez cztery tony podstawowe pokazuje, że był to wyjątek.

Czas: rubberband go trafia, atempo przesuwa pojedyncze uderzenia

Wartość ujemna oznacza wcześniej lub krócej, niż wymagano. Przy każdej metodzie dotarło wszystkie 20 kliknięć. rubberband dostarczył długość co do próbki i postawił każde uderzenie w odległości 0,62 ms od jego miejsca w ustawieniu domyślnym oraz przy smooth i together, przy window=long w odległości 0,75 ms, a przy mixed 2,00 ms. Nie było to oczywiste: filtr uruchamia bibliotekę w trybie czasu rzeczywistego, a tam według jej dokumentacji na początku sygnału nie ma korekty opóźnienia ani latencji. Zostało przesunięcie od 3,0 do 7,3 ms, które zmienia znak razem z kierunkiem rozciągnięcia.

atempo rozpoczynał cały sygnał wyjściowy od 15 do 20 ms za wcześnie, a jego długość była o 21 do 27 ms za mała. Dla timingu większe znaczenie ma błąd, który różni się między uderzeniami: przy tempie 0,9 sięgał 10,84 ms, a przy 1,1 do 8,37 ms. Metoda dzieli dźwięk na okna po 2048 próbek, co przy 44,1 kHz odpowiada 46,4 ms, i umieszcza każde okno tam, gdzie najlepiej pasuje do poprzedniego. Uderzenie wewnątrz okna przesuwa się razem z nim.

Transjenty: rubberband buduje narastanie przed uderzeniem

Poziomy przed uderzeniem są odniesione do jego szczytu i stanowią najwyższą wartość z dwunastu uderzeń. W oryginale jest w tym miejscu cisza. Przy rubberband obwiednia wyłania się z szumu już 30 ms przed uderzeniem i 10 ms przed nim osiąga od −12,3 do −22,8 dB, przy window=long 20 ms wcześniej wciąż stoi −17,1 dB. Samo uderzenie traci od 0,5 do 2,0 dB szczytu. Wykres pokazuje to narastanie przy obu ustawieniach.

atempo nie ma narastania; 20 ms przed uderzeniem nie ma niczego. Wartości 10 ms wcześniej biorą się z czegoś innego: przy niektórych uderzeniach fragment ataku zaczyna się kilka milisekund przed właściwym wejściem, a między nimi leży spadek. Szczyt zostaje przy tym zachowany z dokładnością do 0,24 dB.

Czyste tony: ustawienie domyślne rubberband traci poziom

Liczby podają, jak głęboko poziom równego tonu spada w oknie 10 ms poniżej średniej. W ustawieniu domyślnym rubberband wykrywa transjenty nawet w czystym sinusie i zeruje tam fazy, tak jak dokumentacja opisuje ustawienie crisp. Skutkiem są spadki do 11,5 dB, przy tempie 0,95 i 110 Hz 10,4 dB. Przy 440 Hz wysokość wahała się przy tym od −7,0 do +11,5 centa, przy 110 Hz widmo nie zawierało już czystej linii do odczytu.

transients=mixed zeruje fazy według dokumentacji tylko poza zakresem typowych tonów podstawowych, i dokładnie tak wygląda tabela: 440 Hz pozostaje spokojne, 110 i 1760 Hz tracą poziom jak w ustawieniu domyślnym. transients=smooth nigdy nie zeruje i poza jednym przypadkiem trzyma ton w granicach 0,4 dB, z odchyleniem 0,0 centa. atempo równie dobrze trzyma poziom, ale przesuwa wysokość o małą stałą wartość, przy 440 Hz o +0,4 centa przy tempie 0,9 i o −0,4 centa przy 1,1.

Tony bogate w harmoniczne: żadna metoda nie pozostaje czysta przy każdym tonie podstawowym

Wiersze metod podają, o ile energia między harmonicznymi leży ponad energią oryginału. Piła ma harmoniczne aż po górę pasma i reprezentuje bas, plamy i leady. We wszystkich czterech tempach przyrost wynosił przy atempo od 1,4 do 40,3 dB, w ustawieniu domyślnym rubberband od 15,4 do 46,5 dB, przy transients=smooth od 4,2 do 26,1 dB.

Odstającą wartością atempo jest niski ton. Przy 55 Hz i tempie 0,9 zakłócenia leżą 9,8 dB poniżej całej energii, poziom spada o 5,2 dB, a wysokość wędruje do +20,4 centa. Jeden okres ma tam 802 próbki, okno 2048; nie dla każdego miejsca znajduje już pasujący odpowiednik. Przy tempie 1,1 ta sama wartość spada do +10,3 dB, a przy 110 Hz atempo we wszystkich czterech tempach mieścił się w 2,0 dB od oryginału.

Obraz stereo, poziom i czas obliczeń

Przed rozciągnięciem korelacja wynosiła 0,92. W ustawieniu domyślnym rubberband przetwarza kanały osobno; według dokumentacji skutkuje to bardziej rozmytym obrazem stereo i mniejszą zgodnością mono. Przy smooth korelacja spadła do 0,49, a przy mixed do 0,75. channels=together utrzymuje ją w każdym połączeniu powyżej 0,91.

Nie usuwa to spadku poziomu przy smooth: miks jest o 2,6 do 3,0 dB cichszy także z together. Strata powstaje więc wewnątrz kanałów. Korelację konkretnego miksu przed i po przetwarzaniu pokazuje miernik korelacji stereo i mid/side.

Na Raspberry Pi 4 atempo działał od 19 do 26 razy szybciej niż w czasie rzeczywistym, rubberband od 3,7 do 8,1 raza. Obie wartości wystarczają dla każdego pliku; w tempie trwającego projektu różnica byłaby natomiast odczuwalna.

Co z tego wynika

• Dla perkusji i całych miksów, w których liczy się timing: rubberband=tempo=…:channels=together. Każde uderzenie wylądowało w odległości 0,48 ms od przypisanego mu miejsca, a obraz stereo pozostał przy 0,92. Ceną są spadki na równych tonach i narastanie przed każdym uderzeniem.
• Dla plam, wokalu i wytrzymanych dźwięków: rubberband=tempo=…:transients=smooth:channels=together. Czyste tony pozostały prawie bez zmian, obraz stereo przy 0,91, a harmoniczne ucierpiały najmniej, z przyrostem od 4 do 26 dB. Miks staje się o 2,6 do 3,0 dB cichszy i wymaga potem ponownego ustawienia głośności.
• atempo tam, gdzie nie ma stałych uderzeń ani niskich tonów. Brzmienie, poziom i obraz stereo zostały zachowane najlepiej, ale pojedyncze uderzenia przesuwały się o do 10,84 ms, a ton 55 Hz przy tempie 0,9 stracił większość czystości.
• Tempo jako współczynnik: 120 na 132 BPM to tempo 1,1, 120 na 108 BPM to tempo 0,9. Czasy opóźnień i długości nut, które pasują do nowego tempa, oblicza kalkulator BPM i czasu opóźnienia.

Zakres i ograniczenia

• Sygnały były syntetyczne, nie nagrania. Głos, instrumenty akustyczne i pogłos nie były badane, a test odsłuchowy nie był częścią pomiaru.
• ffmpeg nie daje przy rubberband wyboru silnika i korzysta przez to ze starszego silnika R2. Według dokumentacji silnik R3 daje przy większości materiału lepsze wyniki, zwłaszcza przy złożonych miksach, wokalu i mocnym basie, ale wymaga znacznie więcej mocy obliczeniowej. Przez ffmpeg jest niedostępny.
• Czasy obliczeń dotyczą Raspberry Pi 4 przy zmiennym obciążeniu; na innym sprzęcie wartości bezwzględne są inne.
• Granice oceny, 3 ms dla obwiedni i okna 10 ms dla poziomu, współdecydują o tym, jak duży wydaje się spadek. Krótsze okna pokazują głębsze spadki.

Źródła

• ffmpeg: Filters Documentation: sekcje o atempo i rubberband; opcje i wartości domyślne pochodzą z wbudowanej pomocy ffmpeg 7.1.5.
• FFmpeg, libavfilter/af_atempo.c: WSOLA jako metoda i rozmiar okna z częstotliwości próbkowania podzielonej przez 24, zaokrąglony w górę do potęgi dwójki.
• FFmpeg, libavfilter/af_rubberband.c: uruchomienie biblioteki w trybie czasu rzeczywistego i bez wyboru silnika.
• Rubber Band Library: RubberBandStretcher: silniki R2 i R3 oraz to, który z nich jest domyślny, brak korekty latencji w trybie czasu rzeczywistego, ustawienia transjentów, okna i kanałów.