Artificiellt neuronnät | ett slags dataprogram, inspirerat av biologiska neuroner

Ett neuralt nätverk modellerar ett nätverk av neuroner, som i den mänskliga hjärnan. Varje neuron utför enkla matematiska operationer: den tar emot data från andra neuroner, ändrar dem och skickar dem till andra neuroner. Neuronerna placeras i "lager": en neuron från ett lager tar emot data från neuronerna i andra lager, ändrar dem och skickar data till neuronerna i andra lager. Ett neuralt nätverk består av ett eller flera lager.

Det första lagret kallas "inmatningslagret" och tar emot data från omvärlden (t.ex. en bild eller text). Det sista lagret kallas "utgångslager". Uppgifterna från neuronerna i utgångslagret läses och används som nätverksresultat. De andra lagren kallas "dolda lager".

I ett enkelt "feed-forward"-nätverk är de data som neuronerna hanterar siffror. Varje neuron gör en vägd summa av värdet av neuronerna i det föregående lagret ( X i {\displaystyle X_{i}} i ekvationen nedan). Den lägger sedan till ett konstant värde (kallat "bias"). Slutligen tillämpas en matematisk funktion på detta värde, som kallas "aktiveringsfunktion". Aktiveringsfunktionen är vanligtvis en funktion som ger ett värde mellan 0 och 1, som tanh. Resultatet av aktiveringsfunktionen ( Y j {\displaystyle Y_{j}} i ekvationen nedan) skickas sedan till neuronerna i nästa lager.

Y j = A k t i v a t i o n ( ∑ i ∈ I n p u t s W e i g h t ( i , j ) ∗ X i + B i a s ( j ) ) {\displaystyle Y_{j}=Aktivering(\sum _{i\;\in \;Inputs}{Weight(i,j)}*X_{i}+Bias(j))}

En förlustfunktion definieras för nätverket. Förlustfunktionen försöker uppskatta hur väl det neurala nätverket klarar av sin uppgift. Slutligen tillämpas en optimeringsteknik för att minimera utfallet av kostnadsfunktionen genom att ändra nätets vikter och bias. Denna process kallas träning. Träningen sker ett litet steg i taget. Efter tusentals steg kan nätverket vanligtvis utföra sin tilldelade uppgift ganska bra.

Tänk på ett program som kontrollerar om en person är i livet. Det kontrollerar två saker - pulsen och andningen. Om en person antingen har puls eller andas kommer programmet att ge ut "levande", annars kommer det att ge ut "död". I ett program som inte lär sig med tiden skulle detta skrivas som:

Ett mycket enkelt neuralt nätverk, som består av bara en neuron och som löser samma problem, ser ut så här:

Värdena för puls, andning och levande är antingen 0 eller 1, vilket motsvarar falskt och sant. Om denna neuron får värdena (0,1), (1,0) eller (1,1) ska den alltså ge ut 1, och om den får (0,0) ska den ge ut 0. Neuronen gör detta genom att tillämpa en enkel matematisk operation på indata - den adderar de värden som den har fått tillsammans och lägger sedan till sitt eget dolda värde, som kallas "bias". Till att börja med är detta dolda värde slumpmässigt, och vi justerar det med tiden om neuronen inte ger oss det önskade resultatet.

Om vi adderar värden som (1,1) tillsammans kan vi få ett tal som är större än 1, men vi vill att vårt resultat ska ligga mellan 0 och 1! För att lösa detta kan vi tillämpa en funktion som begränsar vår faktiska utgång till 0 eller 1, även om resultatet av neuronens matematik inte låg inom intervallet. I mer komplicerade neurala nätverk tillämpar vi en funktion (t.ex. sigmoid) på neuronen, så att dess värde kommer att ligga mellan 0 och 1 (t.ex. 0,66), och sedan vidarebefordrar vi detta värde till nästa neuron hela vägen tills vi behöver vår utgång.

Det finns tre sätt för ett neuralt nätverk att lära sig: övervakad inlärning, oövervakad inlärning och förstärkningsinlärning. Dessa metoder fungerar alla genom att antingen minimera eller maximera en kostnadsfunktion, men var och en av dem är bättre för vissa uppgifter.

Nyligen använde en forskargrupp från University of Hertfordshire i Storbritannien förstärkningsinlärning för att få en humanoid robot iCub att lära sig att säga enkla ord genom att babbla.