Ömsesidig information

Beräkning av ömsesidig information

Obligatorisk information

För att beräkna ömsesidig information behövs sannolikheten (chansen) för alla möjliga händelser och sannolikheten för att de ska inträffa samtidigt. För att mäta den ömsesidiga informationen mellan månad och temperatur behöver vi till exempel veta hur många dagar under året som är 10 grader Celsius, hur många dagar under året som är mars och slutligen hur många dagar som är 10 grader Celsius i mars.

Formel

Formeln kräver att man summerar, eller adderar, många termer eller tal. Varje möjligt resultat har sin egen term. I ovanstående beräkning av ömsesidig information mellan månad och temperatur använder vi följande variabler:

• p(x,y) = sannolikheten för att det är x grader Celsius i månad y.
• t(x) = sannolikheten för att det är x grader Celsius (vilken dag som helst på året).
• m(y) = sannolikheten för att det är månad y.

Detta innebär att m(3) är lika med sannolikheten för att en slumpmässigt vald dag infaller i mars. Detta är 31/365, eller ungefär 0,085, eftersom 31 av 365 dagar på året infaller i mars.

En mandatperiod skulle vara följande:

p ( x , y ) log ( p ( x , y ) t ( x ) m ( y ) ) {\displaystyle p(x,y)\log {\left({\frac {p(x,y)}{t(x)m(y)}}\right)}\\,\! }

I denna formel betyder "log" logaritm.

Genom att addera alla möjliga termer får man värdet för den ömsesidiga informationen.

Förståelse av ömsesidig information

Möjliga värden

Ju större den ömsesidiga informationen är, desto mer får man veta om ett slumpmässigt värde (t.ex. månad) när man får veta om ett annat (t.ex. temperatur).

• Om den ömsesidiga informationen är noll kan man inte avgöra något om ett värde när man får ett annat.
• Om du till exempel vet om du fick krona eller klave i ett myntkast förra gången säger det ingenting om vad som kommer att hända nästa gång.

• Om den ömsesidiga informationen är liten kan det fortfarande saknas ömsesidig information. Ibland verkar slumpmässiga händelser ha ett mönster på kort sikt, men totalt sett finns det ingen ömsesidig information.

• Om den ömsesidiga informationen är stor finns det troligen ett samband mellan de två sakerna som undersöks.
• Eftersom temperatur och månad är sammankopplade skulle deras ömsesidiga information vara mycket större än noll.
• Det är inte lätt att veta om den ömsesidiga informationen är betydande eller stor.

• Om den ömsesidiga informationen är ett, så kan du veta exakt vilket värde det andra värdet är.
• Om man till exempel väljer ett slumpmässigt skrivbord i ett klassrum kan läraren veta exakt vilken elev som kommer att sitta där. När vi vet vilket skrivbord som valdes ut kan vi få reda på exakt vilken elev som sitter där.

Viktiga fakta

Den ömsesidiga informationen ändras inte beroende på vilket av de två slumpmässiga värdena som avslöjas. Detta innebär att vi vet lika mycket om temperaturen när vi får veta månaden som vi vet om månaden när vi får veta temperaturen.

Ömsesidig information är svår att jämföra. Om vi beräknar den ömsesidiga informationen för väder och ett annat värde för ett kortspel kan de två värdena inte lätt jämföras.

Relaterade sidor

• Informationsteori