ספקטרוגרמה

ספקטרוגרמה של המילים "nineteenth century". התדרים עולים בציר האנכי, והזמן בציר האופקי. המקרא מימין מראה שבהירות הצבע עולה עם העוצמה.

ספקטרוגרמה תלת ממדית: ספקטרום ה-RF של מטען סוללות מוצג לאורך זמן

ספקטרוגרמה היא ייצוג חזותי של ספקטרום התדרים של האות והשתנותו עם הזמן. כאשר מדובר באות אודיו, ספקטרוגרמה נקראת לעתים סונוגרפיה, טביעת-קול (על משקל טביעת אצבע) או קולגרמה. בייצוג תלת ממדי, אפשר שתקרא תרשים מפל מים .

ספקטרוגרמות נמצאות בשימוש נרחב במוזיקה, בלשנות, סונאר, מכ"ם, עיבוד דיבור , סייסמולוגיה ועוד. אפשר להשתמש בספקטרוגרמות אודיו לזיהוי פונטי של מילים מדוברות, ולניתוח קריאות של בעלי חיים .

את הספקטרוגרמה אפשר ליצור באמצעות ספקטרומטר אופטי, סדרה של מסנני תדרים, התמרת פורייה או התמרת Wavelet (ואז היא ידועה גם כסקאלוגרמה).

סקלאוגרמות מהתמרות Wavelet רציפה ובדידה לדגימת אודיו

ספקטרוגרמה מתוארת לרוב כמפת חום, כלומר כתמונה שבה הגודל מיוצג על ידי שינוי צבע או בהירות .

תבנית

תבנית שכיחה היא גרף שבו שני ממדים גאומטריים מייצגים זמן ותדר והמימד השלישי מציין את המשרעת (Amplitude) של תדר מסוים בזמן מסוים. המשרעת מיוצגת על ידי הבהירות או הצבע של הנקודה.

ישנן לתבנית וריאציות רבות: הציר האנכי והציר האופקי לעתים מוחלפים, כך שהזמן הוא בציר האנכי. אפשר להשתמש בתרשים מפל מים שבו המשרעת מיוצגת על ידי גובהו של משטח תלת מימדי ולא צבע או בהירות. צירי התדירות והמשרעת יכולים להיות לינאריים או לוגריתמיים, לפי הצורך. אודיו יוצג לרוב עם ציר משרעת לוגריתמי (לרוב בדציבלים, או dB), והתדר יהיה לינארי כדי להדגיש יחסים הרמוניים, או לוגריתמי כדי להדגיש קשרים מוזיקליים וטונליים.  ספקטרוגרמה נותנת ביטוי חזותי מובחן לאלמנטים שונים בצליל כגון הרמוניות בכפולות שלמות של תדר יסוד, חזרה על צליל, גובה הצליל או עוצמתו.

יצירת ספקטרוגרמה

אפשר ליצור ספקטרוגרמות אור במישרין על ידי קריאות של ספקטרומטר אופטי, במשך זמן מסוים.

אפשר ליצור ספקטרוגרמות מאותות על ציר זמן באחת משתי דרכים: קירוב על ידי סדרה של מסנני תדרים (זו הייתה הדרך היחידה לפני עידן עיבוד האותות הדיגיטלי המודרני), או חישוב באמצעות התמרת פורייה . שתי השיטות יוצרות ייצוגי זמן-תדר שונים, אך שקולים בתנאים מסוימים.

שיטת מסנני התדרים מתבססת לרוב על עיבוד אנלוגי כדי לחלק את אות הקלט לפסי תדר; גודל ערכי הפלט של כל מסנן שולט במתמר שכותב את הספקטרוגרמה כתמונה על נייר.

יצירת ספקטרוגרמה באמצעות FFT מתבססת על חלוקת ציר הזמן לקטעים, לרוב עם חפיפה ביניהם. על כל קטע אפשר להפעיל פונקציית חלון. עבור כל קטע, המשרעות של התדרים בספקטרום מחושבות על ידי התמרת פורייה ומיוצגות כקו אנכי. הקווים האנכיים, מוצבים זה לצד זה ויוצרים תמונה או משטח תלת מימדי, על פי תבנית ההצגה שנבחרה.

מגבלות וסינתזה מחדש

הספקטרוגרמה אינה מכילה מידע מלא על הפאזה של האות המיוצג. מסיבה זו, יצירת הספקטרוגרמה אינה הפיכה ולא ניתן לשחזר ממנה את האות המקורי. בספקטרוגרמה קיים מידע פאזה מסוים, אך הוא מופיע בצורת השהיית זמן (או השהיית קבוצה ). במצבים בהם הפאזה המדויקת אינה חשובה, ייתכן וניתן לחשב קירוב שימושי של האות המקורי. ספקטרוגרף הצליל של אנליזה וסינתזה מחדש הוא דוגמה לתכנית מחשב שמנסה לעשות זאת. ה- Pattern Playback היה סינתיסייזר דיבור מוקדם, שתוכנן במעבדות Haskins בסוף שנות ה-40, שהמיר ספקטרוגרמות בחזרה לצליל.

גודל של קטע, או חלון, יכול להיות בטווח רחב של ערכים. חלון קצר יותר, ייתן תוצאות מדויקות יותר על ציר הזמן, על חשבון הדיוק בתדר, ולהיפך. בחירת גודל הקטע, או החלון, מהווה פשרה בין דיוק בזמן לדיוק בתדר.

יישומים

• ספקטרוגרמות אנלוגיות מוקדמות יושמו בתחומים רבים כולל חקר קריאות ציפורים (כגון זו של ירגזי מצוי), והמחקר נמשך כיום עם ציוד דיגיטלי מודרני ועוסק בקולות כל בעלי החיים. במחקר העכשווי הספקטרוגרמה הדיגיטלית שימושית במיוחד לחקר אפנון תדר (FM) בקריאות של בעלי חיים. בפרט, המאפיינים המובחנים של ציוצי FM, קליקים בפס רחב ויצירת הרמוניה חברתית מוצגים חזותית בצורה הנוחה ביותר באמצעות ספקטרוגרמה.
• ספקטרוגרמות שימושיות בסיוע בהתגברות על ליקויים בדיבור ובאימון דיבור לסובלים מחרשות קשה.
• מחקרים של פונטיקה וסינתזת דיבור מתאפשרים באופן תדיר באמצעות ספקטרוגרמות.
• בסינתזת דיבור על בסיס למידה עמוקה, ספקטרוגרמה (או ספקטרוגרמה בסולם mel ) נחזית תחילה על ידי מודל seq2seq, ולאחר מכן מוזנת למקודד דיבור עצבי (neural vocoder) כדי להפיק את הגל הגולמי המסונתז.
• על ידי היפוך תהליך יצירת ספקטרוגרמה, ניתן לייצר אות שהספקטרוגרמה שלו היא תמונה שרירותית. טכניקה זו מאפשרת להסתיר תמונה בקטע אודיו ומספר אמני מוזיקה אלקטרונית עשו בה שימוש . ראה גם סטגנוגרפיה .
• מקצת מהמוזיקה המודרנית נוצרת באמצעות ספקטרוגרמות כמדיום ביניים; שינוי עוצמת תדרים שונים לאורך זמן, או אפילו יצירת תדרים חדשים, על ידי ציורם ולאחר מכן היפוך הספקטרוגרמה. ראה Audio timescale-pitch modification ו- Pase vocoder .
• ניתן להשתמש בספקטרוגרמות לניתוח התוצאות של העברת אות בדיקה דרך מעבד אותות, כגון מסנן, כדי לבדוק את ביצועיו.
• ספקטרוגרמות בחדות גבוהה משמשות בפיתוח מערכות RF ומיקרוגל
• כיום נעשה שימוש בספקטרוגרמות להצגת פרמטרי פיזור הנמדדים באמצעות מנתחי רשת וקטוריים
• המכון הגיאולוגי של ארה"ב ותאגיד IRIS מספקים תצוגות ספקטרוגרמה כמעט בזמן אמת לניטור תחנות סייסמיות
• ניתן להשתמש בספקטרוגרמות עם רשתות עצביות חוזרות לזיהוי דיבור.  

הפניות

1. ^ JL Flanagan, Speech Analysis, Synthesis and Perception, Springer- Verlag, New York, 1972

2. ^ Sejdic, E.; Djurovic, I.; Stankovic, L. (August 2008). "Quantitative Performance Analysis of Scalogram as Instantaneous Frequency Estimator". IEEE Transactions on Signal Processing. 56 (8): 3837–3845. Bibcode:2008ITSP...56.3837S. doi:10.1109/TSP.2008.924856. ISSN 1053-587X. S2CID 16396084.

3. ^ "Spectrograph". www.sfu.ca. Retrieved 7 April 2018.

4. ^ "Spectrograms". ccrma.stanford.edu. Retrieved 7 April 2018.

5. ^ "STFT Spectrograms VI – NI LabVIEW 8.6 Help". zone.ni.com. Retrieved 7 April 2018.

6. ^ "The Analysis & Resynthesis Sound Spectrograph". arss.sourceforge.net. Retrieved 7 April 2018.

7. ^ Boashash, B. (1992). "Estimating and interpreting the instantaneous frequency of a signal. I. Fundamentals". Proceedings of the IEEE. Institute of Electrical and Electronics Engineers (IEEE). 80 (4): 520–538. doi:10.1109/5.135376. ISSN 0018-9219.

8. ^ http://fourier.eng.hmc.edu/e161/lectures/fourier/node2.html

9. ^ "BIRD SONGS AND CALLS WITH SPECTROGRAMS ( SONOGRAMS ) OF SOUTHERN TUSCANY ( Toscana – Italy )". www.birdsongs.it. Retrieved 7 April 2018.

10. ^ Saunders, Frank A.; Hill, William A.; Franklin, Barbara (1 December 1981). "A wearable tactile sensory aid for profoundly deaf children". Journal of Medical Systems. 5 (4): 265–270. doi:10.1007/BF02222144. PMID 7320662. S2CID 26620843.

11. ^ "Spectrogram Reading". ogi.edu. Archived from the original on 27 April 1999. Retrieved 7 April 2018.

12. ^ "Praat: doing Phonetics by Computer". www.fon.hum.uva.nl. Retrieved 7 April 2018.

13. ^ "The Aphex Face – bastwood". www.bastwood.com. Retrieved 7 April 2018.

14. ^ "SRC Comparisons". src.infinitewave.ca. Retrieved 7 April 2018.

15. ^ "constantwave.com – constantwave Resources and Information". www.constantwave.com. Retrieved 7 April 2018.

16. ^ "Spectrograms for vector network analyzers". Archived from the original on 2012-08-10.

17. ^ "Real-time Spectrogram Displays". earthquake.usgs.gov. Retrieved 7 April 2018.

18. ^ "IRIS: MUSTANG: Noise-Spectrogram: Docs: v. 1: Help".

19. ^ Geitgey, Adam (2016-12-24). "Machine Learning is Fun Part 6: How to do Speech Recognition with Deep Learning". Medium. Retrieved 2018-03-21.

קישורים חיצוניים

• See an online spectrogram of speech or other sounds captured by your computer's microphone.
• Generating a tone sequence whose spectrogram matches an arbitrary text, online
• Further information on creating a signal whose spectrogram is an arbitrary image
• Article describing the development of a software spectrogram
• History of spectrograms & development of instrumentation
• How to identify the words in a spectrogram from a linguistic professor's Monthly Mystery Spectrogram publication.
• Sonogram Visible Speech GPL Licensed freeware for the Spectrogram generation of Signal Files.