Spektrogram - Spectrogram

A kimondott szavak spektrogramja "XIX. Század". A frekvenciák a függőleges tengelyen felfelé nőnek, a vízszintes tengelyen pedig az idő. A jobb oldali felirat azt mutatja, hogy a szín intenzitása a sűrűséggel együtt nő.

3D spektrogram: Az akkumulátor töltő RF spektruma idővel megjelenik

A spectrogram egy képi ábrázolása a spektrum a frekvenciák egy jelet, és így változik az idővel. Alkalmazása az audio jelet , spectrograms néha sonographs , voiceprints vagy voicegrams . Továbbá szonogram . Ha az adatokat egy 3D -s ábrán ábrázolják, vízeséseknek nevezhetjük őket .

A spektrogramokat széles körben használják a zene , a nyelvészet , a szonár , a radar , a beszédfeldolgozás , a szeizmológia és más területeken. Az audio spektrogramok felhasználhatók a kimondott szavak fonetikus azonosítására és az állatok különböző hívásainak elemzésére .

A spektrogram előállítható optikai spektrométerrel , sávszűrő- bankokkal , Fourier-transzformációval vagy hullám-transzformációval (ebben az esetben skála- vagy scalogram- néven is ismert ).

Scaleograms a DWT és a CWT hangminta

A spektrogramot általában hőtérképként ábrázolják , azaz olyan képként, amelynek intenzitása a szín vagy a fényerő változtatásával jelenik meg .

Formátum

Általános formátum a két geometriai dimenziójú gráf: az egyik tengely az időt , a másik tengely a gyakoriságot jelöli ; egy harmadik dimenziót, amely jelzi egy adott frekvencia amplitúdóját egy adott időpontban , a kép minden pontjának intenzitása vagy színe jelenti.

A formátumnak sok változata van: néha a függőleges és a vízszintes tengelyek váltakoznak, így az idő fel -le fut; néha vízesésként, ahol az amplitúdót a 3D felület magassága képviseli a szín vagy az intenzitás helyett. A frekvencia és amplitúdó tengelyek lehetnek lineárisak vagy logaritmikusak , attól függően, hogy mire használják a grafikont. A hangot általában logaritmikus amplitúdótengellyel ábrázolják (valószínűleg decibelben vagy dB -ben ), a frekvencia pedig lineáris a harmonikus kapcsolatok hangsúlyozásához, vagy logaritmikus a zenei, hangviszonyok hangsúlyozásához.

Generáció

A fényspektrogramok idővel közvetlenül optikai spektrométerrel készíthetők .

A spektrogramokat az időtartomány jeléből kétféleképpen lehet létrehozni: közelítő szűrőbankként, amely egy sor sávszűrőből származik (ez volt az egyetlen módja a modern digitális jelfeldolgozás megjelenése előtt), vagy kiszámítható a időjelet a Fourier -transzformáció segítségével . Ez a két módszer valójában két különböző idő -frekvencia ábrázolást képez , de bizonyos körülmények között egyenértékűek.

A sávszűrő módszer általában analóg feldolgozást alkalmaz a bemeneti jel frekvenciasávokra osztására; az egyes szűrők kimenetének nagysága vezérli a jeladót, amely a spektrogramot képként rögzíti a papírra.

A spektrogram létrehozása az FFT használatával digitális folyamat . A digitálisan mintavételezett adatokat az időtartományban darabokra bontják, amelyek általában átfedésben vannak, és Fourier -t átalakítják, hogy kiszámítsák a frekvencia -spektrum nagyságát az egyes darabokra. Ezután minden darab egy függőleges vonalnak felel meg a képen; a nagyság és a frekvencia mérése egy adott időpillanatban (a darab felezőpontja). Ezeket a spektrumokat vagy idődiagramokat ezután "egymás mellé fektetik" a kép vagy a háromdimenziós felület kialakításához, vagy kissé átfedik őket különböző módokon, azaz ablakok . Ez a folyamat lényegében megfelel a számítástechnikában a négyzetes nagyságát a rövid idejű Fourier-transzformáció (STFT) a jel - azaz, az ablak szélessége , . ${\ displaystyle s (t)}$${\ displaystyle \ omega}$${\ displaystyle \ mathrm {spektrogram} (t, \ omega) = \ bal | \ mathrm {STFT} (t, \ omega) \ jobb |^{2}}$

Korlátozások és újraszintézis

A fenti képlet alapján úgy tűnik, hogy egy spektrogram nem tartalmaz információt az általa képviselt jel pontos vagy akár hozzávetőleges fázisáról . Emiatt nem lehetséges megfordítani a folyamatot, és nem lehet másolatot készíteni az eredeti jelről egy spektrogramból, bár olyan helyzetekben, amikor a pontos kezdeti fázis nem fontos, lehetséges az eredeti jel hasznos közelítésének előállítása. Az Analysis & Resynthesis Sound Spectrograph egy példa egy számítógépes programra, amely megpróbálja ezt megtenni. A Pattern Playback egy korai beszédszintetizátor volt, amelyet a Haskins Laboratories -ban fejlesztettek ki az 1940 -es évek végén, és amely a beszéd akusztikus mintáinak képeit (spektrogramokat) alakította vissza hanggá.

Tény, hogy van némi fázis információ spektrogramját, de úgy tűnik, más formában, mint késleltetés (vagy csoport késedelem ), amely a kettős , a pillanatnyi frekvencia .

Az elemzőablak mérete és alakja változhat. Egy kisebb (rövidebb) ablak pontosabb eredményt ad az időzítésben, a frekvenciaábrázolás pontosságának rovására. Egy nagyobb (hosszabb) ablak pontosabb frekvenciaábrázolást biztosít, az időbeli megjelenítés pontosságának rovására. Ez egy példája a Heisenberg -féle bizonytalansági elvnek , miszerint két konjugált változó pontosságának szorzata nagyobb vagy egyenlő egy állandóval (B*T> = 1 a szokásos jelölésekkel).

Alkalmazások

• A korai analóg spektrogramokat számos területen alkalmazták, beleértve a madárhívások tanulmányozását (például a cinege ), a jelenlegi kutatások továbbra is a modern digitális berendezéseket használták, és minden állati hangra alkalmazták. A digitális spektrogram mai használata különösen hasznos a frekvenciamoduláció (FM) tanulmányozására állati hívások során. Pontosabban, az FM csipogás, a szélessávú kattintások és a társadalmi harmonizáció megkülönböztető jellemzői a legkönnyebben láthatók a spektrogrammal.
• A spektrogramok hasznosak a beszédhiányok leküzdésében és a lakosság mélyen süket részének beszédképzésében
• A fonetika és a beszédszintézis tanulmányozását gyakran elősegítik a spektrogramok.
• A mély tanuláson alapuló beszédszintézis során a spektrogramot (vagy spektrogramot a mel skálán ) először egy seq2seq modell jósolja meg, majd a spektrogramot egy neurális vokóderbe táplálják a szintetizált nyers hullámforma levezetéséhez.
• A spektrogram előállítási folyamatának megfordításával olyan jelet lehet létrehozni, amelynek spektrogramja tetszőleges kép. Ezzel a technikával lehet elrejteni egy képet egy hangrészletben, és számos elektronikus zenei előadó alkalmazta. Lásd még a szteganográfiát .
• Néhány modern zenét spektrogramok közbenső médiumok felhasználásával hoznak létre; a különböző frekvenciák intenzitásának megváltoztatása az idő múlásával, vagy akár újak létrehozása rajzolással, majd inverz transzformációval. Lásd: Hang időskála-hangmagasság módosítása és Phase vokoder .
• A spektrogramok segítségével elemezhetők a tesztjel átvitelének eredményei egy jelfeldolgozón, például egy szűrőn, annak teljesítményének ellenőrzésére.
• Nagyfelbontású spektrogramokat használnak az RF és mikrohullámú rendszerek fejlesztésében
• Spektrogramokat használnak a vektorhálózati elemzőkkel mért szórási paraméterek megjelenítésére
• Az amerikai geológiai felmérés és az IRIS konzorcium közel valós idejű spektrogram kijelzőket biztosít a szeizmikus állomások megfigyelésére
• A spektrogramok visszatérő ideghálózatokkal használhatók a beszédfelismeréshez.

Lásd még

Hivatkozások

Külső linkek

• Tekintse meg a számítógép mikrofonjával rögzített beszéd vagy más hangok online spektrogramját.
• Hangszín sorozat létrehozása, amelynek spektrogramja megfelel egy tetszőleges szövegnek, online
• További információ olyan jel létrehozásáról, amelynek spektrogramja tetszőleges kép
• Cikk, amely leírja a szoftver spektrogram fejlesztését
• A spektrogramok története és a műszerek fejlesztése
• Hogyan lehet azonosítani a szavakat spektrogramban egy nyelvészprofesszor havi rejtélyspektrogram kiadványából.
• Sonogram Visible Speech GPL Licencelt ingyenes szoftver a Spectrogram Signal Files generálásához.