Informationsmængde

Informationsmængde er inden for informationsteori et kvantitativt mål for mængden af information, der kommer fra en måling eller et udsagn. Hvis udsagnet har sandsynligheden for at være sandt uden a priori viden, er informationsmængden defineret som:

Hvis et system kan være i forskellige tilstande med hver deres sandsynlighed, kan en gennemsnitlig informationsmængde beregnes. Dette kaldes også for entropien.[1]

Motivation

Informationsmængde kan forstås ved at overveje, hvilke egenskaber mængden bør have:

1. Hvis et udsagn siger noget åbenlyst, der altid er rigtigt, vil sandsynligheden for, at udsagnet er rigtigt være 1, mens informationen må være 0. Funktionen , der beskriver informationsmængden, skal altså opfylde:

2. Hvis noget er mere usandsynligt, må informationen i udsagnet omvendt blive større. Ændring i informationsmængde og ændring i sandsynlighed må altså have omvendte fortegn:

3. Hvis der bliver givet to udsagn med hver deres uafhængige sandsynlighed, er sandsynligheden for at begge er rigtige givet ved produktet:

Information ville dog normalt blive tænkt på som noget, der kan lægges oven i tidligere information. Dvs. at den samlede information skal være summen:
Derfor skal informationsmængden være en funktion af sandsynlighed, så den opfylder:

Krav 3 opfyldes af logaritmen , så informationsmængde må generelt kunne defineres som:

Her sørger det negative fortegn for, at definitionen overholder krav 2. Hvis en sandsynlighed for 1 sættes ind, giver logaritmen 0, så krav 1 er også opfyldt. Konstanten skal være positiv, men kan ellers vælges frit. I informationsteori sættes konstanten typisk til 1. Inden for statistisk mekanik i fysik er konstanten dog lig med Boltzmanns konstant.

Logaritmens basis kan også frit vælges, men typisk vælges to-talslogaritmen i informationsteori skønt den naturlige logaritme bruges i fysik. Dermed bliver den endelige definition:

Enheden for informationsmængde er da bits.[1]

Kildehenvisninger

  1. ^ a b Blundell, Stephen J.; Blundell, Katherine M. (2006). "15.1 Information and Shannon entropy". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. p. 153-154. ISBN 978-0-19-856770-7.