Naiv Bayes klassifikator

En naiv Bayes klassifikator er en klassifikator baseret på Bayes' teorem, der anvender den naive antagelse, at alle parametre er uafhængige. I modsætning til Bayes' teorem beregner man som regel ikke normalisatoren ved klassificering, da denne vil være konstant for alle de forskellige klasser, og vil derfor bare kræve ekstra beregningstid, uden det har betydning for resultatet. Naiv Bayes klassifikatoren hører under supervised learning og kan blandt andet bruges som spam filter eller til analysering af teksters synspunkt.^[1]

Sandsynlighed ved numeriske værdier

Givet et dataset med en parameter, der kun kan antage numeriske værdier (Ventetid i minutter, eksempelvis), beregnes sandsynligheden ved at benytte normalfordelingen med standardafvigelsen i stedet for variansen. ^[2]

Eksempel på brug

Dataprøve

Antag, at vi skal klassificere, om en dataprøve er menneske, hund eller varulv.

Givet er datasættet: ^[3]

Art	Højde	Kan lide at hyle	Kropsbehåring (I procent af dækket overflade)
Menneske	150	Ja	5
Menneske	190	Nej	12
Menneske	165	Nej	6
Menneske	160	Nej	2
Hund	90	Nej	97
Hund	110	Ja	93
Hund	70	Nej	85
Varulv	170	Ja	75
Varulv	150	Ja	85

Tabel

Fra disse data kan afvigelsen og gennemsnittet for hvert parameter for hver klasse kan nedenstående tabel opstilles:

Klasse	Gennemsnit (Højde)	Standardafvigelse (Højde)	Gennemsnit (Behåring)	Standardafvigelse (Behåring)
Menneske	166,25	14,7373	6,25	3,6315
Hund	90	16,3299	91,6667	4,9989
Varulv	160	10	80	5

Klassificering

Følgende dataprøve skal nu prøves klassificeret:

Højde	Kan lide at hyle	Behåring
140	Nej	70

Konklusion

Sandsynligheden for, det er et menneske er da givet ved:

p(Klasse=Menneske)=p(Menneske)*p(Hojde\vert Menneske)*p(Kanlideathyle\vert Menneske)*p(Behaaring\vert Menneske)

De forskellige værdier beregnes. Da træningssættet indeholder 4 prøver af menneske-klassen ud af 9 prøver i alt, giver det:

p(Menneske)=4/9

Da et af fire mennesker kan lide at hyle fås:

p(Kanlideathyle\vert Menneske)=1/4

De numeriske værdier giver:

p(Hojde\vert Menneske)={\tfrac {1}{\sqrt {2*\pi *14.7373}}}\,e^{-{\frac {(140-166.25)^{2}}{2*14.7373}}}=7.3059*10^{-12}

p(Behaaring\vert Menneske)={\tfrac {1}{\sqrt {2*\pi *3.6315}}}\,e^{-{\frac {(70-6.25)^{2}}{2*3.6315}}}=2.0214*10^{-244}

Hermed fås:

p(Klasse=Menneske)=p(Menneske)*p(Hojde\vert Menneske)*p(Kanlideathyle\vert Menneske)*p(Behaaring\vert Menneske)=1.6409*10^{-256}

For henholdsvis hund og varulv fås:

p(Klasse=Hund)=p(Hund)*p(Hojde\vert Hund)*p(Kanlideathyle\vert Hund)*p(Behaaring\vert Hund)=1.902*10^{-44}

p(Klasse=Varulv)=p(Varulv)*p(Hojde\vert Varulv)*p(Kanlideathyle\vert Varulv)*p(Behaaring\vert Varulv)=4.6805*10^{-16}

Resultat

Da værdien for varulv er højest, vil prøven blive klassificeret som en varulv.

Referencer

^ Pang, B., Lee, L., & Vaithyanathan, S. (2002, July). Thumbs up?: sentiment classification using machine learning techniques. In Proceedings of the ACL-02 conference on Empirical methods in natural language processing-Volume 10(pp. 79-86). Association for Computational Linguistics.
^ Math Works: Classification (engelsk) (Webside ikke længere tilgængelig)
^ Naive bayes: Worked example (engelsk) (Webside ikke længere tilgængelig)

[1] Pang, B., Lee, L., & Vaithyanathan, S. (2002, July). Thumbs up?: sentiment classification using machine learning techniques. In Proceedings of the ACL-02 conference on Empirical methods in natural language processing-Volume 10(pp. 79-86). Association for Computational Linguistics.

[2] Math Works: Classification (engelsk) (Webside ikke længere tilgængelig)

[3] Naive bayes: Worked example (engelsk) (Webside ikke længere tilgængelig)

[1]

[2]

[3]

Navigation

navigation

Themenportale