Kunstigt neuralt netværk

For alternative betydninger, se Netværk.

Kunstige neurale netværk (KNN, engelsk ANN) er modeller, der er mere eller mindre inspireret af biologiske neurale netværk. Typisk forsøges der benyttet matematiske stærke værktøjer til at implementere modellerne. Der findes mange modeller både mht. netværks- og neuronopbygning.

Vi ved ikke (2007) hvordan biologiske neurale netværk lærer, trænes og virker. Det vides ikke hvordan en enkelt biologisk neuron virker - og neuroner kommer i flere hundreder varianter,[1][2] og det vides heller ikke, hvad neuroner semantisk kommunikerer.[3][4][5][6] Så modellerne har ikke så meget med virkelighedens neuroner at gøre, men på trods af det har man lavet kunstige neurale netværk, der er noget af det bedste til fx robust at klassificere input-mønstre.

Modeller

McCulloch-Pitts-neuronen

McCulloch-Pitts-neuronen

I en af de mest simple modeller for neuronopbygning, McCulloch-Pitts-neuronen, kan signalerne, en neuron kan udsende, kun antage to former: enten 1 eller 0. Det vil sige, enten udsender en neuron et signal, eller så gør den ikke. Dette udgående signal afhænger af summeringen af de indgående signaler, en neuron modtager fra andre neuroner, samt størrelsen på en tærskelværdi (en Heaviside trinfunktion af summeringen). I denne neuronmodel er det altså tærskelværdien, der ud fra inputtet bestemmer, om outputtet skal være 0 eller 1.

I andre og mere generelt anvendelige modeller for neuronopbygning end McCulloch-Pitts-neuronen, er inputtet fra hver neuron til en anden neuron vægtet og trinfunktionen er erstattet med en anden funktion, fx sigmoid-funktionen. I disse modeller er oplæring af netværket til en given opgave et vigtigt element. Oplæringen består i justering af vægtene f.eks. ved at vise netværket et inputmønster igen og igen, og ud fra en sammenholdning med netværkets output hertil og det ønskede output, udfører man en vægtjustering. Ved McCulloch-Pitts-neuronen antages det, at et netværk baseret på denne neuronmodel allerede er oplært, dvs. hér tærskelværdien allerede er indstillet til den givne opgave.

I 1959 blev neurocomputeren Mark I perceptronen konstrueret. Den byggede på McCulloch-Pitts neuronmodel, men i udvidet form, og kunne anvendes til tegngenkendelse. Generelt er kunstige neurale netværk gode til mønstergenkendelse samt klassifikation af disse og finder derfor anvendelse inden for datalogien. Neurale netværk har bl.a. været anvendt til matching af fingeraftryk, genkendelse af proteinstrukturer og endda til at styre en bil.

Enkeltlags-perceptron

Hovedartikel: Enkeltlags-perceptron.

En enkeltlags-perceptron er et feedforward-netværk, hvilket indebærer, at intet output fra en neuron bruges som input til en neuron tidligere i netværket (Modsat et Hopfield-netværk eksempelvis).

En enkeltlags-perceptron er simpel at opbygge, da den kun har et input-lag (holdeplads for input-værdier) og et output-lag.

Enkeltlags-perceptronen kan kun modellere lineært adskillelige funktioner som de boolske and, or og not, hvorimod den ikke kan modellere en XOR-funktion, da den ikke er lineært adskillelig.

Flerlags-perceptron

Hovedartikel: Flerlags-perceptron.

Som enkeltlags-perceptronen er flerlags-perceptronen et feedforward-netværk. I modsætning til enkeltlags-perceptronen har den tilføjet (minimum) et lag mellem inputlaget og outputlaget, der gør den i stand til at modellere enhver delmængde af Rn (Universelle approksimationsteorem).

Aktiveringsfunktioner

Neuronerne i et neuralt netværk bruger forskellige aktiveringsfunktioner. Neuronens output er aktiveringsfunktionen af inputet.

I neuronlaget l er outputtet sigmoid, som er aktiveringsfunktionen, af summen af de vægtede inputneuroner plus en bias.[7] Sigmoidfunktion er en ikke-lineær aktiveringsfunktion som har en funktionsværdi mellem 0 og 1, og defineres som følgende:

Ikke-lineære aktiveringsfunktionerne er vigtige for et neuralt netværk, da man ikke ville kunne træne et neuralt netværk til at efterligne ikke-linære-funktioner uden dem.[8] Andre eksempler på aktiveringsfunktioner er:[9]

NavnFormelKommentar
Binær trin-funktion
ReLU
utæt ReLUkonstanten k er ofte mindre end en og større end nul.

Referencer

  1. ^ May 16, 2012, blogs.scientificamerican.com: Know Your Neurons: How to Classify Different Types of Neurons in the Brain’s Forest. Chapter 2: How to Classify Different Types of Neurons, or The Dendrology of the Neuron Forest Citat: "...So how many different types of neurons have scientists named so far? To find out, I contacted several neuroscientists who specialize in cell biology and what you could call neuron taxonomy. Perhaps unsurprisingly, no one has an exact number, but if you count all the types and subtypes in the entire nervous system, the answer is at least in the hundreds..."
  2. ^ Salk Institute. (2017, June 7). How cells divide tasks and conquer work. ScienceDaily: Citat: "...Despite advances in neuroscience, the brain is still very much a black box -- no one even knows how many different types of neurons exist..."
  3. ^ University Of Southern California. (2004, June 16). Gray Matters: New Clues Into How Neurons Process Information. ScienceDaily Citat: "... "It's amazing that after a hundred years of modern neuroscience research, we still don't know the basic information processing functions of a neuron," said Bartlett Mel..."
  4. ^ Weizmann Institute of Science. (2007, April 2). It's Only A Game Of Chance: Leading Theory Of Perception Called Into Question. ScienceDaily Citat: "..."Since the 1980s, many neuroscientists believed they possessed the key for finally beginning to understand the workings of the brain. But we have provided strong evidence to suggest that the brain may not encode information using precise patterns of activity."..."
  5. ^ University Of California - Los Angeles (2004, December 14). UCLA Neuroscientist Gains Insights Into Human Brain From Study Of Marine Snail. ScienceDaily Citat: "..."Our work implies that the brain mechanisms for forming these kinds of associations might be extremely similar in snails and higher organisms...We don't fully understand even very simple kinds of learning in these animals."..."
  6. ^ Yale University. (2006, April 13). Brain Communicates In Analog And Digital Modes Simultaneously. ScienceDaily Citat: "...McCormick said future investigations and models of neuronal operation in the brain will need to take into account the mixed analog-digital nature of communication. Only with a thorough understanding of this mixed mode of signal transmission will a truly in depth understanding of the brain and its disorders be achieved, he said..."
  7. ^ Neural networks and deep learning
  8. ^ Neural networks and deep learning
  9. ^ "7 Types of Activation Functions in Neural Networks: How to Choose?". Arkiveret fra originalen 5. april 2020. Hentet 3. april 2020.

Eksterne henvisninger

Wikimedia Commons har medier relateret til:
Autoritetsdata

Medier brugt på denne side

Mccullochpitts.png
Forfatter/Opretter: No machine-readable author provided. Elcuaz~commonswiki assumed (based on copyright claims)., Licens: CC BY-SA 3.0