אינפורמציה הדדית

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האינפורמציה ההדדית של שני משתנים מקריים היא גודל המודד את הקשר ההדדי ביניהם.

הגדרה

האינפורמציה ההדדית בין שני משתנים דיסקרטיים ${\displaystyle X}$ ו-${\displaystyle Y}$ מוגדרת כ:

${\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!}$

כאשר ${\displaystyle p(x,y)}$ היא ההתפלגות המשותפת שלהם, ו- ${\displaystyle p(x),p(y)}$ היא ההתפלות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

${\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,}$

כאשר במקרה זה ${\displaystyle p(x,y)}$ היא הצפיפות המשותפת שלהם, ו- ${\displaystyle p(x),p(y)}$ היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס ${\displaystyle e}$, ומציינים את הבסיס מראש.

הסבר אינטואיטיבי

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת ${\displaystyle X}$ מלמדת על תוצאת ${\displaystyle Y}$:

1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. בתרשים לעיל, אין חפיפה כלל.
2. בקיצוניות השנייה, אם תוצאת ${\displaystyle X}$ מלמדת לחלוטין על תוצאת ${\displaystyle Y}$ (לדוגמה, אם מדובר באותו משתנה, או אם ${\displaystyle Y=2X+1}$), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר ${\displaystyle I(X;Y)=H(X)}$. בתרשים לעיל, החפיפה היא מושלמת.

הקשר לגדלים אחרים בתורת האינפורמציה

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

${\displaystyle {\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}}$

ראו גם

• אנטרופיה (סטטיסטיקה)
• אנטרופיה מותנית