Informationsmængde

Informationsmængde ${\displaystyle I}$ er inden for informationsteori et kvantitativt mål for mængden af information, der kommer fra en måling eller et udsagn. Hvis udsagnet har sandsynligheden ${\displaystyle P}$ for at være sandt uden a priori viden, er informationsmængden defineret som:

${\displaystyle I=-\log _{2}P}$

Hvis et system kan være i forskellige tilstande med hver deres sandsynlighed, kan en gennemsnitlig informationsmængde beregnes. Dette kaldes også for entropien.^[1]

Motivation

Informationsmængde kan forstås ved at overveje, hvilke egenskaber mængden bør have:

1. Hvis et udsagn siger noget åbenlyst, der altid er rigtigt, vil sandsynligheden ${\displaystyle P}$ for, at udsagnet er rigtigt være 1, mens informationen må være 0. Funktionen ${\displaystyle f}$, der beskriver informationsmængden, skal altså opfylde:

${\displaystyle I=f(P=1)=0}$

2. Hvis noget er mere usandsynligt, må informationen i udsagnet omvendt blive større. Ændring i informationsmængde ${\displaystyle \Delta I}$ og ændring i sandsynlighed ${\displaystyle \Delta P}$ må altså have omvendte fortegn:

${\displaystyle \operatorname {sgn}(\Delta I)=-\operatorname {sgn}(\Delta P)}$

3. Hvis der bliver givet to udsagn med hver deres uafhængige sandsynlighed, er sandsynligheden for at begge er rigtige givet ved produktet:

${\displaystyle P_{\text{tot}}=P_{1}P_{2}}$

Information ville dog normalt blive tænkt på som noget, der kan lægges oven i tidligere information. Dvs. at den samlede information skal være summen:

${\displaystyle I_{\text{tot}}=I_{1}+I_{2}}$

Derfor skal informationsmængden være en funktion af sandsynlighed, så den opfylder:

${\displaystyle f(P_{1}P_{2})=f(P_{1})+f(P_{2})}$

Krav 3 opfyldes af logaritmen ${\displaystyle \log }$, så informationsmængde må generelt kunne defineres som:

${\displaystyle I=-k\log P}$

Her sørger det negative fortegn for, at definitionen overholder krav 2. Hvis en sandsynlighed for 1 sættes ind, giver logaritmen 0, så krav 1 er også opfyldt. Konstanten ${\displaystyle k}$ skal være positiv, men kan ellers vælges frit. I informationsteori sættes konstanten typisk til 1. Inden for statistisk mekanik i fysik er konstanten dog lig med Boltzmanns konstant.

Logaritmens basis kan også frit vælges, men typisk vælges to-talslogaritmen ${\displaystyle \log _{2}}$ i informationsteori skønt den naturlige logaritme ${\displaystyle \ln }$ bruges i fysik. Dermed bliver den endelige definition:

Enheden for informationsmængde er da bits.^[1]

Kildehenvisninger