משתמש:רמוע/טיוטה

תורת האינפורמציה פותחה במקור על ידי קלוד שאנון על מנת לענות על שאלות מתחום הטלקומוניקציה, אולם בהמשך התברר שיש לה שימושים רבים בפיזיקה ובפרט בתרמודינמיקה. אינפורמציה, עליה ניתן לחשוב באופן אבסטרקטי כרצף של אחדות ואפסים, נשמרת, מאוחסנת ומטופלת בעולם הפיזיקלי, כך שבמובן מסוים אינפורמציה מוגבלת על ידי חוקי הפיזיקה, ויש לשני התחומים ממשק רחב. בפרט, ניתן לקשר בין אנטרופיה כפי שהיא מוגדרת במכניקה סטטיסטית לבין אנטרופיית שאנון, אם כי הפרשנות המדויקת של הקשר בין המושגים שנויה במחלוקת (ערך זה יציג שתי גישות שונות). עם זאת, ישנה הסכמה שתהליך השגת האינפורמציה על מערכת (מדידה) משפיע על היכולת להפיק ממנה עבודה.

ביטוי מפורסם לקשר בין אינפורמציה לפיזיקה הוא בפרדוקס השד של מקסוול ובפתרונות השונים שהוצעו לו, אף שהפרדוקס הועלה קודם לפיתוח תורת האינפורמציה על ידי קלוד שאנון בשנת 1948 ולכן לא נוסח במונחים מתורת אינפורמציה במפורש.

אינפורמציה כאנטרופיה שלילית

המושג אנטרופיה שלילית (Negentropy) נטבע לראשונה על ידי ארווין שרדינגר בספרו "מה הם חיים?", אולם מי שפיתח את הקשר בין אנטרופיה שלילית לאינפורמציה היה לאון ברילואן, במאמרים ובספר שפורסמו בשנות ה-50.

בתורת האינפורמציה, נדרשת אינפורמציה $I_{b}=K\ln {(P_{0}/P_{1})}$ כדי להקטין את מספר המאורעות האפשריים מ-$P_{0}$ ל-$P_{1}$ (כאשר כל המצבים בהסתברות שווה), כאשר K קובע את היחידות של האנטרופיה, ונבחר אותו להיות קבוע בולצמן, $k_{B}$. ברילואן מבחין בין אינפורמציה חופשית, שהיא אבסטרקטית, לבין אינפורמציה קשורה, שהיא מקרה פרטי של אינפורמציה חופשית שבו ניתן לפרש את המצבים האפשריים כמצבים של מערכת פיזיקלית, ונתמקד באינפורמציה הקשורה (הסימון $I_{b}$ מתייחס לאינפורמציה הקשורה, bound). את האינפורמציה הקשורה ניתן לייצג על ידי חריטה על סלע, כתיבה על דף נייר, שמירה על דיסק און קי, ניקוב כרטיס או כל אמצעי מקביל, ומכאן שהטיפול והשימוש באינפורמציה הקשורה מוגבל על ידי חוקי הפיזיקה. יש לציין שהדיון המקורי של שאנון באינפורמציה היה תיאורטי, ולא התייחס לייצוגים פיזיקליים של אינפורמציה, כלומר במונחים אלו הוא התייחס לאינפורמציה חופשית.

האנטרופיה של המערכת הפיזיקלית כאשר יש לה $P_{0}$ או $P_{1}$ מצבים זמינים היא $S_{0}=k_{B}\ln {P_{0}}$ ו-$S_{1}=k_{B}\ln {P_{1}}$ בהתאמה, אז $S_{1}=S_{0}-I_{b}$ כך שניתן לראות שגידול באינפורמציה הקשורה גורר ירידה באנטרופיה של המערכת, ומכאן ההתייחסות לאינפורמציה כאל אנטרופיה שלילית. ניתן לפרש תוצאה זו כך: אנטרופיה היא מדד לאינפורמציה החסרה לנו לתיאור המצב המיקרוסקופי של המערכת באופן מלא. באופן מקביל, כאשר האנטרופיה של המערכת גדלה, אנו מאבדים אינפורמציה לגביה. לדוגמא, ניקח מיכל ובו מחיצה שבצידה האחד גז אחד, ובצד השני גז אחר. הסרת המחיצה תגרום לערבוב הגזים, תהליך בלתי הפיך שגורם לאנטרופיה של המערכת לגדול. האינפורמציה שלנו לגבי המערכת קטנה: לפני הערבוב, ידענו איזה סוג גז נמצא בכל צד, בעוד שכעת אין לנו מידע לגבי סוגי הגז במיקומים שונים במיכל.

מדידות פיזיקליות

ברילואן מציג מספר תכונות לגבי הקשר בין אינפורמציה לאנטרופיה שלילית:

1. ניתן להמיר אינפורמציה באנטרופיה שלילית של המערכת ולהפך.
2. מדידה של המערכת, שבה אנו מפיקים אינפורמציה לגבי המערכת, גורמת לגידול באנטרופיה שלה.
3. האנטרופיה השלילית המינימאלית הנדרשת על מנת לבצע תצפית היא $k_{B}\ln {2}$, שכן כמות האינפורמציה המינימאלית שניתן להפיק במדידה היא סיבית אחת. למעשה, השאלה הכי פשוטה שאנו יכולים לשאול על מנת להגדיל את האינפורמציה שלנו לגבי המערכת היא שאלת כן\לא.

אינפורמציה כהצדקה למכניקה הסטטיסטית

במאמר משנת 1957, הפיזיקאי אדווין תומפסון ג'יינס הציע לבסס את נכונות המכניקה הסטטיסטית על רעיונות מתורת האינפורמציה, במקום על משוואות תנועה והנחת הארגודיות. ג'יינס הציע שהנחת היסוד הפיזיקלית בבניית תיאוריה צריכה להיות בלתי מוטה, כלומר לא להניח שום דבר אפריורי, ובמילים אחרות נרצה תיאוריה שבה אי-הודאות שלנו היא הגבוהה ביותר האפשרית. תורת האינפורמציה מלמדת אותנו שהגודל שמודד את אי הודאות הוא האנטרופיה, $H(p_{1},\ldots ,p_{n})=-K\sum _{i}p_{i}\ln {p_{i}}$. מכיוון שזהו גם הביטוי המתמטי לאנטרופיה במכניקה סטטיסטית, נוכל לייחס לאנטרופיה הפיזיקלית את אותן תכונות מתמטיות המאפיינות אי ודאות.

בהתחשב בכך, ג'יינס הציע שכדי להסיק מסקנות על סמך מידע חלקי (במעבדה, מודדים גודל מאקרוסקופי שאינו מתאר את המצב המיקרוסקופי של המערכת בצורה מלאה) ומבלי להניח הנחות נוספות, נרצה לבחור את התיאור של המערכת שבו אי הודאות לגבי המערכת גדול ביותר, או האנטרופיה היא מקסימלית. כל בחירה אחרת של האנטרופיה של המערכת מניחה ידע נוסף לגביה, דבר שאינו אפשרי לפי ההנחות שג'יינס הציע. אם כך, ניתן להבין את עקרון האנטרופיה המקסימלית כהרחבה של עקרון האדישות.

ג'יינס כותב שמכאן ניתן להסיק ש"אין בחוקי התנועה הכלליים דבר שמספק לנו אינפורמציה נוספת לגבי המצב של המערכת מעבר למה שהשגנו באמצעות מדידה", כאשר הוא מתייחס למצב של המערכת בזמן מסוים (ולא לניבוי של מצב המערכת העתידי, שכן דורש שימוש במשוואות התנועה). כלומר, ניתן להגיע למסקנות שאליהן מגיעה המכניקה הסטטיסטית מבלי להניח שום הנחה פיזיקלית.

ביקורות

ביקורת על גישתם של ברילואן וג'יינס היא שההתייחסות לאנטרופיה כאל אינפורמציה חסרה הופכת את האנטרופיה למושג סובייקטיבי, בעוד שפועל מדובר בתכונה אובייקטיבית של מערכות פיזיקליות. בחלק הבא מתוארת פרשנות אובייקטיבית לקשר בין אנטרופיה לאינפורמציה.

אנטרופיה וסיבוכיות קולמוגורוב

אנטרופיה במכניקה סטטיסטית היא מושג סטטיסטי, שמתייחס לצבר ולא לאירועים (מצבי המיקרו השונים) מהם הוא מורכב. האנטרופיה של התפלגות $p$ מוגדרת ${\textstyle S[p]=\sum _{x}p(x)\ln {(1/p(x))}}$ ואין תכונה מיקרוסקופית פיזיקלית $f(x)$ של המערכת שניתן לבטא את האנטרופיה כממוצע שלה ${\textstyle S[p]=\sum _{x}p(x)f(x)}$, בשונה מגדלים תרמודינמיים אחרים (לדוגמא, הטמפרטורה היא ממוצע של האנרגיה הקינטית של החלקיקים המרכיבים את המערכת). הפיזיקאי צ'ראלס בנט הראה שממוצע של סיבוכיות קולמוגורוב של מצבי המיקרו של המערכת הוא קירוב טוב לאנטרופיה (המקרוסקופית) של המערכת עבור רוב ההתפלגויות $p$.

סיבוכיות קולמוגורוב (או "אנטרופיה אלגוריתמית") $H(x)$ של מחרוזת $x$ היא אורך התוכנה הקצרה ביותר שיכולה ליצר אותה כפלט (בנט משתמש בהגדרות של לאוניד לוין וגרגורי צ'ייטין לאנטרופיה אלגוריתמית, אולם לא נתמקד כאן בהבדלים בין ההגדרות). בהקשר הפיזיקלי, מדובר במספר הביטים המינימאלי שנדרש על מנת לתאר את מצב המיקרו $x$, וכאמור עבור מערכת פיזיקלית, $H(x)$ אינו תכונה פיזיקלית ברורה של מצב המיקרו.

החסם שבנט מצא לקשר בין אנטרופיה לסיבוכיות קולמוגורוב הוא

$$S_{2}[p]<\sum _{x}p(x)H(x)\leq S_{2}[p]+H(p)+O(1)$$

כאשר ${\textstyle S_{2}[p]=\sum _{x}p(x)\log _{2}{(1/p(x))}}$ היא האנטרופיה המאקרוסקופית של המערכת ביחידות בינאריות, שמתארת עד כמה ההתפלגות $p$ מחולקת על פני מצבי מיקרו שונים, $H(x)$ היא כאמור סיבוכיות קולמוגורוב של מצב מיקרוסקופי $x$, ו-$H(p)$ היא סיבוכיות קולמוגורוב של ההתפלגות $p$, כלומר כמות הביטים שנדרשים על מנת לתאר את ההתפלגות (בדיוק גדול כרצוננו, במידה וקיימים מצבים עבורם $p(x)$ לא רציונאלי). עבור מערכות טיפוסיות, $H(p)$ הוא מסדר גודל של כמה אלפי ביטים, שכן הוא נקבע על פי משוואות תנועה, תנאי השפה וכן הלאה (כאשר לרוב פיזיקאים מנסים לתאר את הטבע באמצעות מודלים פשוטים יחסית, ולכן גם התיאור של המודל יהיה פשוט יחסית ביחס למורכבות האמיתית המערכת). לעומת זאת, האנטרופיה ${\textstyle S_{2}[p]}$ של מערכת מאקרוסקופית היא מסדר גודל של $10^{23}$ ביטים (מסדר גודל של קבוע אבוגדרו), ולכן השגיאה היחסית שמתקבלת מחישוב האנטרופיה לפי האנטרופיה האלגוריתמית היא לרוב קטנה.

דוגמא

עבור גז אידאלי חד-אטומי, עם N אטומים במסה m הנמצא בנפח V, האנטרופיה נתונה על ידי משוואת סאקר-טטרוד, $S=k_{B}N\ln \left[{\frac {V}{N}}\left({\frac {mk_{B}T}{2\pi \hbar ^{2}}}\right)^{3/2}\right]+{\frac {5}{2}}k_{B}N$. עבור מול הליום ($^{4}He$) בטמפרטורה 300 קלווין ובנפח ליטר, האנטרופיה היא בערך ${\textstyle 100J/K}$. לפי הפרשנות שהאנטרופיה היא הממוצע של האנטרופיה האלגוריתמית של המערכת (עד כדי קבוע בולצמן), מספר הביטים הנדרש לתיאור המערכת הוא ${\frac {S}{k_{B}}}\approx 10^{25}$ ביטים, שהם כ-17 ביטים לאטום.

סיבוכיות קולמוגורוב של גז בולצמן

כפי שראינו לעיל, בנט הציע להשתמש בממוצע של סיבוכיות קולמוגורוב של המערכת כקירוב טוב לאנטרופיה שלה כפי שהיא מוגדרת במכניקה הסטטיסטית. וויצ'ך זורק פיתח רעיון זה, והראה שניתן להגיע מתוך שיקולים אלגוריתמיים לתוצאות פיזיקליות.

נתבונן שוב בגז האידאלי מהדוגמא. ניתן לתאר את הגז על ידי המיקום והתנע שלו (באופן כללי, ב-D מימדים). התיאור של מיקום כל חלקיק נעשה ברזולוציה כלשהי $\Delta _{x}$, ועבור רזולוציה זו ניתן לחלק את הנפח V לתאים בנפח $\Delta V=(\Delta _{x})^{D}$. בדומה, התנע מתואר גם הוא ברזולוציה $\Delta _{p}$ בכל מימד. ישנם ${\mathcal {C}}=\left({\frac {V}{\Delta V}}\right)\left({\frac {\sqrt {mk_{B}T}}{\Delta _{p}}}\right)^{D}$ תאים במרחב הפאזה של כל חלקיק, ולכן עבור N חלקיקים בלתי מובחנים ישנן $\Omega ={\frac {{\mathcal {C}}^{N}}{N!}}$ אפשרויות לתיאור המערכת, ונוכל לתאר את הקונפיגורציות השונות באמצעות אינדקסים $1,2,\ldots ,\Omega$ בעלי ערך אופייני מסדר גודל $\Omega$, כך שאורך התיאור הממוצע של המערכת בביטים הוא

$$K\approx \log _{2}\Omega =N\left[\log _{2}{{\frac {V}{N\Delta V}}+{\frac {D}{2}}\log _{2}{\frac {mk_{B}T}{(\Delta _{p})^{2}}}}\right]+O(1)$$

וזוהי למעשה משוואת סאקר-טטרוד, שהתקבלה ישירות משיקולים של אורך התיאור של המערכת (כאשר הפיתוח המדויק של איבר השגיאה $O(1)$ מפורט במאמר).

הגדרה חדשה לאנטרופיה

זורק מציע להגדיר מחדש את האנטרופיה בפיזיקה כסכום של האינפורמציה החסרה לגבי המערכת (אנטרופיית שאנון, H) ושל התיאור המדויק הקצר ביותר של מה שידוע על המערכת (סיבוכיות קולמוגורוב שלה, K), ${\mathcal {S}}=H+K$. הוא מכנה גודל זה "אנטרופיה פיזיקלית".

ניתוח השד של מקסוול לאור ההגדרה של זורק

ראו גם – השד של מקסוול

הניתוח של זורק דן במנוע סילארד, בו השד שולט במיכל עם גז של חלקיק יחיד הנמצא באחד משני צדדי מחיצה. לשד יש זיכרון של ביט אחד, ועל ידי מדידה הוא יכול לבדוק באיזה צד החלקיק נמצא ולנצל זאת להפקת אנרגיה. אנו מניחים שהמצב של הזכרון של השד מייצג את היד או חוסר הידע של השד לגבי המערכת. סך העבודה שמתבצעת מתחלקת לשני סוגים: ${\textstyle \Delta W^{(+)}=T(H_{f}-H_{i})}$ היא העבודה הזמינה כתוצאה מהשינוי באנטרופיית גיבס\שאנון של המערכת ו-$\Delta W^{(-)}=T(K_{f}-K_{i})$ היא העבודה שמתבצעת על הזכרון של השד. העבודה הכוללת היא סכום העבודות הללו,

$$\Delta W=\Delta W^{(+)}+\Delta W^{(-)}=T(H_{f}-H_{i}+K_{f}-K_{i})=T\Delta (H+K)=T\Delta {\mathcal {S}}$$

מכאן שה"אנטרופיה הפיזיקלית" מתארת נאמנה את המערכת במלואה, כולל זכרונו של השד.

שמירה ומחיקה של אינפורמציה

כמות האינפורמציה שמערכת פיזיקלית יכולה לשמור קשורה במספר המצבים הפיזיקליים המובחנים הזמינים שלה. באופן כללי, מערכת עם $W$ מצבים מובחנים יכולה לשמור $\log _{2}{W}$ ביטים. מכיוון שמספר המצבים הזמינים למערכת מגדיר גם את האנטרופיה של המערכת, $S=k_{B}\ln {W}$, כמות האינפורמציה שהמערכת יכולה לרשום היא $I=S(E)/k_{B}\ln {2}$, כאשר $S(E)$ האנטרופיה התרמודינמית של מערכת שערך התצפית של האנרגיה שלה הוא $E$.

עקרון לנדאור

במאמר מ-1961, רולף לנדאור דן בכך שעיבוד אינפורמציה (שינויים מסוימים המבוצעים על זיכרון פיזי כללי) כרוך בפליטת חום מינימאלית, בלי תלות בקצב השינוי או המדיום הפיזי שבו האינפורמציה נשמרת. לנדאור קושר בין הפיכות לוגית להפיכות תרמודינמית, וטוען שביצוע פעולה לוגית בלתי הפיכה (כמו פעולת AND) גורר שינוי בלתי הפיך במצב הפיזיקלי של הזכרון, דבר שגורם לפיזור חום מהמערכת. הוא מנתח את הפעולה SET TO 1, שמשנה את ערכו של ביט בזיכרון ל-1, בלי תלות בערכו המקורי. כפי שצוין, זיכרון המחשב תואם מצב פיזיקלי מובחן כלשהו, ופעולה זו מקטינה פי 2 את מספר המצבים הזמינים למערכת (ערכו של הביט ידוע לאחר ביצוע הפעולה, כך שכל המצבים של הזיכרון שבהם הביט הוא 0 אינם זמינים יותר). מכאן שהאנטרופיה של הזיכרון קטנה ב-$k_{B}\ln {2}$. מכיוון שהאנטרופיה של המערכת כולה אינה יכולה לקטון, היא צריכה לעבור למקום אחר בצורת חום בשיעור לפחות $k_{B}\ln {(2)}\ T$ (כאשר $T$ הטמפרטורה של המערכת). יש לציין שביצוע של פעולה הפיכה, כמו NOT, אינו משפיע על האנטרופיה של המערכת, שכן על אף שהוא משנה את המצב הפיזי של המערכת, הוא לא מקטין את מספר המצבים הזמינים בה.

עקרון זה אושש בניסוי שמדד את החום שנפלט ממחיקה שבוצעה על זכרון של ביט יחיד.

לקריאה נוספת

• Machta, J. "Entropy, information, and computation." American Journal of Physics 67.12 (1999): 1074-1077.‏
• Lutz, Eric, and Sergio Ciliberto. "From Maxwells demon to Landauers eraser." Phys. Today 68.9 (2015): 30.‏
• Landauer, Rolf. "Information is physical." Physics Today 44.5 (1991): 23-29.‏
• Parrondo, Juan MR, Jordan M. Horowitz, and Takahiro Sagawa. "Thermodynamics of information." Nature physics 11.2 (2015): 131-139.‏