Benutzer:StealthLab/KI

StealthLab KI Handbuch

Neuronale Netze

(Künstliche) neuronale Netze können bereits bekannte und auch unbekannte Datenmuster erkennen und zu Klassen zuordnen.

Perzeptron

Das Perzeptron ist ein einfaches neuronales Netz.

Einführung

• von Rosenblatt

• hier: Photo-Perzeptron

Aufbau

• Der Aufbau besteht aus drei Schichten:

• Retina
• Assoziationsschicht
• Ausgabeschicht

• Die binären Ausgaben der Neuronen der Retinaschicht werden über feste gewichtete Verbindungen in die Assoziationsschicht geleitet.

• Im Normalfall sind nicht alle Neuronen der Retinaschicht mit denen der Assoziationsschicht verbunden, damit wichtige Merkmalsbereiche zusammengefaßt werden können.

• Hierbei steht ein Rezeptives Feld für die Menge aller Neuronen in der Retinaschicht, welche mit einem Neuron aus der Assoziationsschicht verbunden sind.

• Beim sogenannten einlagigen Perzeptron müssen nur die Eingaben und die zugehörigen Gewichte zu den Neuronen der Ausgabeschicht berechnet werden.

Training allgemein

• In der Trainingsphase werden zu lernende Beispiele an das Netz angelegt. Dabei besteht jedes Trainingsbeispiel aus einem Paar (e,o) mit Eingabe (e) und der Soll-Ausgabe (o):

• Der Eingabevektor e enspricht einem spezifischen Datenmuster.
• Der Ausgabevektor o ist die dazugehörige Klasse.

• Innerhalb der Lernphase müssen die internen Parameter des Perzeptrons so zu angepasst werden, dass bei Eingabe e auch die zugehörige Soll-Ausgabe erscheint.

• Die Trainingsmenge besteht aus der Zusammenfassung aller o.g. Paare für ein bestimmtes Lernproblem.

• Werden alle Paare korrekt zugeordnet, so hat das Netz die Trainingsmenge gelernt. Werden auch ähnliche Eingabevektoren mit der Klasse o verknüpft werden, ist das Netz in der Lage ist zu generalisieren bzw. generalisierend zu Lernen (Stichwort: Generalisierung).

Algorithmus

• Beim Perzeptron entspricht die Ausgabefunktion der Aktivierungsfunktion, welche eine Schwellwertfunktion verwendet.

$o_{i}=a_{i}=S_{T}({\mbox{net}}_{i})$

• Berechnung der Ausgabe jedes Neurons der Ausgabeschicht:

• Wenn die Summe aller Produkte von Eingabe und Gewichtung größer ist als der Schwellwert:

$\sum \limits _{j}w_{ij}e_{j}\geq \theta _{j}$

• dann gilt:

$o_{i}=a_{i}=1$

• Ansonsten gilt, wenn die Summe kleiner ist als der Schwellwert:

$o_{i}=a_{i}=0$

Lernregel für das einlagige Perzeptron:

$w_{ij}({\mbox{t+1}})=w_{ij}({\mbox{t}})+\eta \cdot ({\overline {o}}_{i}-o_{i})\cdot e_{j}$

Die Gewichte der Verbindungen werden solange geändert bis die Ist-Ausgabe mit der Soll-Ausgabe übereinstimmt.

Sollte die Ist-Ausgabe mit der Soll-Ausgabe übereinstimmen, muss keine Änderung der Gewichte durchgeführt werden. Ansonsten werden die Gewichte in Richtung der Soll-Ausgabe wie folgt verschoben:

Korrektur Gewichtung:

$\Delta w_{ij}=\eta \cdot \delta _{i}\cdot e_{j}$

wobei:

$\delta _{i}=({\overline {o}}_{i}-o_{i})$

Das Perzeptron-Konvergenztheorem besagt, dass in endlicher Zeit alle Lernprobleme eingepflegt werden können, sofern das Problem überhaupt mit dem Perzeptron lösbar ist, da diese stark eingeschränkt sind.

Lineare Separierbarkeit

Die AND-Funktion ist separierbar:

$e_{1}=0,e_{2}=0\Rightarrow w_{1}e_{1}+w_{2}e_{2}=0<\theta$

$e_{1}=1,e_{2}=0\Rightarrow w_{1}e_{1}+w_{2}e_{2}=w_{1}<\theta$

$e_{1}=0,e_{2}=1\Rightarrow w_{1}e_{1}+w_{2}e_{2}=w_{2}<\theta$

$e_{1}=1,e_{2}=1\Rightarrow w_{1}e_{1}+w_{2}e_{2}=w_{1}+w_{2}\geq \theta$

Die XOR-Funktion ist nicht separierbar:

$e_{1}=0,e_{2}=0\Rightarrow w_{1}e_{1}+w_{2}e_{2}=0<\theta$

$e_{1}=1,e_{2}=0\Rightarrow w_{1}e_{1}+w_{2}e_{2}=w_{1}\geq \theta$

$e_{1}=0,e_{2}=1\Rightarrow w_{1}e_{1}+w_{2}e_{2}=w_{2}\geq \theta$

$e_{1}=1,e_{2}=1\Rightarrow w_{1}e_{1}+w_{2}e_{2}=w_{1}+w_{2}<\theta$

In diesem Fall nicht möglich, da die Summe zweier (positive) Zahlen nicht kleiner sein darf als die einzelnen Summanden.

Überwachtes Lernen

Überwachtes Lernen ist eine der zwei Methoden zum Training von (künstlichen) neuronalen Netzen, bei der ein Netz so lange von außen verändert wird, bis die vorgegebene Eingabe die geforderte Soll-Ausgabe liefert.

Einführung

• Anhand der Abweichung von der Soll-Ausgabe, wird das Netz gezielt in die Richtung verändert, was man als Lernschritt bezeichnet.
• Die Zusammenfassung aller Lernschritte nennt man Training.
• Im Normalfall wird bei jedem Lernschritt eine Fehlerfunktion berechnet, um zu sehen wie weit sich das Netz an den gewünschten Entzustand angenähert hat.
• Mit dieser Information kann die benötigte Veränderung der internen Netz-Parameter ermittelt werden.

• Lernverfahren für das mehrlagige Perzeptron:

• Backpropagation
• Quickprop
• RPROP

Backpropagation

Backpropagation (BP) ist ein überwachtes Lernverfahren für das mehrlagige Perzeptron.

Einführung

• Lernalgorithmus nach Rumelhart, Hinton und Williams

• BP ist ein weitverbreitetes Verfahren, welches in vielen Anwendungsbereichen untersucht wurde und erfolgreich verwendet wird.

• Erweiterungen von Backpropagation, mit denen auftretende Probleme teilweise behoben wurden:

• Momentum-Lernregel
• Gradient Reuse

• Aufbau:

• Eingabeschicht
• innere, verdeckte Schichten (Hidden layers)
• Ausgabeschicht

• Die verdeckten Neuron erhalten ihre Eingaben nur von anderen Neuronen, danach werden die Ausgaben an andere Neuronen weitergegeben.

• Der Informationsfluss verläuft von der Eingabeschicht zur Ausgabeschicht ohne Rückkopplung (Feed forward).

• Dieses Netz kann komplexe Entscheidungsregionen ausbilden, um beliebige Klassen

von Eingabedaten voneinander zu klassifizieren.

• Weil für die Neuronen der inneren Schichten kein Fehler zwischen Ist- und Soll-Ausgabe berechnet werden kann,

müssen die Gewichte mit dem folgenden Algorithmus angepasst werden.

• Neuronenfunktion:

$Y_{m}=S_{F}\left(\sum \limits _{n}w_{mn}\cdot x_{n}\right)$

$S_{F}({\mbox{net}}_{m})={\dfrac {1}{1+exp(-net_{m})}}$ (Fermi-Funktion)

• Lernregel:

$w_{mn}({\mbox{t+1}})=w_{mn}({\mbox{t}})+\eta \delta _{m}x_{n}$

$\eta >0$ Lernrate

$\delta _{m}$ Ausgabe-Fehler bei Neuron $m$

$x_{n}$ Eingabe $n$ zu Neuron $m$

$y_{m}$ Output von Neuron $m$

Für diese Ausgabe-Schicht gilt: $y_{i}=o_{i}$, wobei $i$ über alle $N$ Neuronen läuft.

Herleitung erweiterte Delta-Regel

Ziel ist es den geschätzten (sog. quadratischen) Fehler von den $M$ Ist-Ausgaben $o^{s}$ gegenüber den Soll-Ausgaben ${\overline {o}}^{s}$ (mit zugehörigen Eingabedaten) zu minimieren.

Fehlerfunktion:

$E={\dfrac {1}{2}}\sum \limits _{s=1}^{M}({\overline {o}}^{s}-o^{s})^{2}={\dfrac {1}{2}}\sum \limits _{s=1}^{M}\sum \limits _{i=1}^{N}({\overline {o}}_{i}^{s}-o_{i}^{s})^{2}$

Um $E$ mit der Methode des Gradientenabstiegs zu minimieren, müssen die Gewichte $w_{mn}$ wie folgt geändert werden:

$\Delta w_{mn}=-\eta \cdot {\dfrac {\partial E}{\partial w_{mn}}}$

Mit einer kleinen Lernrate $\eta >0$ wird ein Abstieg entlang des steilsten Gefälles von $E$ gemacht, wobei $E$ als Gebirge im Koordinatenraum der $w_{mn}$ anzusehen ist. Hierfür gilt annäherend:

$\Delta E=\sum \limits _{mn}{\dfrac {\partial E}{\partial w_{mn}}}\cdot \Delta w_{mn}=-\eta \sum \limits _{mn}{\begin{bmatrix}{\dfrac {\partial E}{\partial w_{mn}}}\end{bmatrix}}^{2}\leq 0$

Der quadratische Fehler $E$ nimmt also ab.

Nun ist die erste Ableitungen von $E$ nach $w_{mn}$ erforderlich, um die die Gewichte $w_{mn}$ berechnen zu können.

Folgende Indizes werden in den weiteren Berechnung verwendet:

$i$ Ausgabe-Schicht

$j$ zweite verdeckte Schicht

$k$ erste verdeckte Schicht

Für ein neues Paar $\langle e^{1},{\overline {o}}^{1}\rangle$ kann der obere Index $s$ bei der Fehlerfunktion weggelassen werden, sofern man davon ausgeht alle Paare (in allen Lernschritten) gleich oft zu verwenden und zusätzlich eine kleine Lernrate $\eta$ verwendet. Hierbei strebt $E$ im statistischen Mittel einem Minimum zu.

Fall 1

Fall 1 gilt für Gewichte $w_{ij}$, welche zur Ausgabe-Schicht gehören:

Wobei $S'_{F}$ die erste Ableitung von $S_{F}$ ist

${\dfrac {\partial E}{\partial w_{ij}}}=-({\overline {o}}_{i}-o_{i})\cdot S'_{F}({\mbox{net}}_{i})\cdot x'_{j}$

mit $net_{i}=\sum \limits _{j=1}^{N_{2}}w_{ij}\cdot x'_{j}$

wobei $x'_{j}$ die Eingaben für die Neuronen der Ausgabe-Schicht und auch Ausgaben der zweiten verdeckten Schicht.

$\delta _{i}=S'_{F}({\mbox{net}}_{i})\cdot d_{i}$ mit $d_{i}=({\overline {o}}_{i}-o_{i})$

Aus o.g. Gleichung mit $\Delta w_{mn}$ erhält man die Lernregel $w_{mn}({\mbox{t+1}})$ für die Ausgabe-Schicht.

es gilt: $m{\mathrel {\widehat {=}}}i$, $n{\mathrel {\widehat {=}}}j$ und $x_{n}{\mathrel {\widehat {=}}}x'_{j}$

Aufgrund der Beziehung von $S_{F}$ zur ersten Ableitung $S'_{F}$ und weil $S_{F}({\mbox{net}}_{i})=o_{i}$ kann die Formel wie folgt umgeschrieben werden:

$\Delta w_{ij}=\eta \cdot d_{i}\cdot o_{i}\cdot (1-o_{i})\cdot x'_{j}$

Dies entspricht $\Delta w_{mn}$ und $w_{mn}({\mbox{t+1}})$.

Fall 2

Fall 2 gilt für alle anderen Gewichte $w_{jk}$, also die zu den verdeckten Schichten:

Durch Ableiten von $E$ nach den Gewichten $w_{jk}$ zwischen zweiter und dritter Schicht (also zwischen erster und zweiter verdeckter Schicht) errechnet sich wegen $x'_{j}=S_{F}(\sum \limits _{k=1}^{N_{1}}w_{jk}x''_{k})$:

${\dfrac {\partial E}{\partial w_{jk}}}=-\sum \limits _{i=1}^{N}({\overline {o}}_{i}-o_{i})\cdot S'_{F}(\sum \limits _{j=1}^{N_{2}}w_{ij}\cdot x'_{j})\cdot w_{ij}\cdot$

${\dfrac {\partial E}{\partial w_{jk}}}=-\sum \limits _{i=1}^{N}({\overline {o}}_{i}-o_{i})\cdot S'_{F}({\mbox{net}}_{i})\cdot w_{ij}\cdot S'_{F}({\mbox{net}}_{j})\cdot x''_{k}$

wird Bezeichnungen aus dem 1. Fall aus der vorhergehenden Schicht verwendet, also $\delta _{i}=S'_{F}({\mbox{net}}_{i})\cdot d_{i}$ mit $d_{i}=({\overline {o}}_{i}-o_{i})$, so erhält man:

${\dfrac {\partial E}{\partial w_{jk}}}=-\sum \limits _{i=1}^{N}\delta _{i}\cdot w_{ij}\cdot S'_{F}({\mbox{net}}_{j})\cdot x''_{k}$

der Fehler für die Neurone der verdeckten Schicht $j$:

$\delta _{j}=S'_{F}({\mbox{net}}_{j})\cdot \sum \limits _{i=1}^{N}\delta _{i}\cdot w_{ij}$

dann erhält man:

$\Delta w_{jk}=\eta \cdot \delta _{j}\cdot x''_{k}$

• Damit die Formeln der zweiten Schicht funktioniert muss $m$ durch $j$, $n$ durch $k$ und $x_{n}$ durch $x''_{k}$ ersetzen werden.

• Dies wird von Schicht zu Schicht durchlaufen gelassen und durch das Anwenden der Kettenregel kommt immer eine zusätzliche Summation (die Fehler der darüberliegenden Schicht) in der Ableitung dazu.

• Durch vollständige Induktion nach der Anzahl der Schichten erhält man den Beweis für die Regularität in der Fortpflanzung der Fehler.

Algorithmus

Die erweiterten Delta-Regel werden in zwei Phasen verwendet:

Phase 1

• Der an das Netz angelegte Eingabevektor wird schichtenweise weiterberechnet aus der Aktivierungs- und Ausgabefunktionen und aus dem diesem erreichnet sich letztlich die Ist-Ausgabe an der Ausgabeschicht.

Phase 2

• Die Ist-Ausgabe (aus Phase 1) wird mit der Soll-Ausgabe verglichen, durch den Fehler hieraus lässt sich der Gesamtfehler für alle Neurone berechnen:

• Erst wird der Fehler für die Neuronen der Ausgabeschicht berechnet mittels der o.g. Gleichung $\delta _{i}=s'_{F}({\mbox{net}}_{i})\cdot d_{i}$ mit $d_{i}=({\overline {o}}_{i}-o_{i})$

• Nun kann der Fehler für die Neuronen der vorletzten Schicht berechnet werden mittels der ebenfalls o.g. Gleichung $\delta _{j}=s'_{F}({\mbox{net}}_{j})\cdot \sum \limits _{i=1}^{N}\delta _{i}\cdot w_{ij}$.

• In rückwärtiger Richtung wird dies bis zur Eingabeschicht wiederholt.

Übersicht

• Gewichte $w_{mn}$ erhalten kleine Zufallszahlen im Bereich von -0,1 bis 0,1.
• Konvergenzkriterium (z.B. Gesamtlernfehler $E<\epsilon$) wird festgelegt.
• maximal verfügbaren Zeit $tmax$ wird festgelegt.
• Anfangszeit wird auf $t:=0$ gesetzt.

• Erhöhen der Zeit: $t:=t+1$
• Gesamtfehler initialisieren: $E:=0$

Wiederholung für alle Trainingsmuster $M_{p}$:

a)

Mustereingaben $e$ anlegen

Ist-Ausgaben $o$ feststellen

Differenzen zwischen Soll- und Ist-Ausgabe ermitteln: $d_{i}=({\overline {o}}_{i}-o_{i})$

Hierbei werden die Ausgaben der Neuronen des Netzes erfasst (ausser die der Ausgabe-Schicht) im sog. Feed-Forward-Schritt.

b)

I.

Fehler $\delta _{i}$ für die Neuronen der Ausgabe-Schicht berechnen:

$\delta _{i}=s'F(net_{i})\cdot d_{i}$

II.

In rückwärtiger Richtung werden die Fehler für die Neurone berechnet, die in den Schichten näher Richtung Eingang liegen: $\delta _{n}=S'_{F}({\mbox{net}}_{n})\cdot \sum \limits _{m}\delta _{m}\cdot w_{mn}$

$m$ ist über alle Neuronen in der darüber liegenden Schicht Richtung Ausgabe.

Für die Formeln zum Berechnung der inneren Schichten muss $n$ durch $j$, $m$ durch $i$ ersetzt werden. Im nachfolgenden Schritt müsste $n$ durch $k$ und $m$ durch $j$ usw. fort. ausgetauscht werden.

c) Fehler $E_{p}$ für das Muster $M_{p}$ berechnen und mit dem Gesamtfehler $E$ summieren:

$E_{p}={\dfrac {1}{2}}\sum \limits _{i=1}^{N}({\overline {o}}^{i}-o^{i})^{2}$

$E:=E+E_{p}$

d) Gewichte ändern anhand $w_{mn}({\mbox{t+1}})=w_{mn}({\mbox{t}})+\eta \delta _{m}x_{n}$ und :$\delta _{i}=S'_{F}({\mbox{net}}_{i})\cdot d_{i}$ mit $d_{i}=({\overline {o}}_{i}-o_{i})$

3) Ab Schritt 2 wiederholen bis zur Konvergenz oder $t>t_{max}$.

Die Trainingsmenge soll mit minimalem Fehler zu reproduzieren werden, was ein Optimierungsproblem darstellt. Eine wichtige Rolle spielt auch der Gesamtfehler $E$ beim Trainieren.

Backpropagation kann man als ein Gradientenabstiegsverfahren bezeichnen, bei dem die Parameter (die Gewichte $w_{ij}$) in Richtung des steilsten Gefälles optimiert werden.

Die Überanpassung (Overfitting) kann zu falschen Ergebnissen bei unbekannten Daten führen, daher sollten diese Trainingsalgorithmen sorgfältig abgepasst werden.

Kritik

Verhalten von Backpropagation bei der Optimierung von multidimensionalen Problemen:

Lokale und globale Optimierung

Es gibt keine garantierte globale Optimierung (üblich bei Gradientenverfahren).

Abhängig vom Startpunkt (im Fehlergebirge) kann man in einem lokalen Minimum stecken bleiben.

Dies ist problematisch, wenn das Netz noch nicht fähig ist ausreichend Reproduktionsleistung zu zeigen.

Damit ein lokales Minimum verlassen werden kann um ein möglicherweise noch tiefer gelegenes Minimum (globales Minimum) zu erreichen, wird empfohlen eine zufällige Änderung der Gewichte und erneute Optimierung (Simulated Annealing bei Hopfield-Netzen) durchzuführen.

Verhalten bei Plateaus

Befinden sich auf dem Plateau keine Unterschiede, dann bleiben die Gewichte gleich und es findet keine Änderung statt.

Bei geringem Unterschied werden noch kleine Änderungen der Gewichte angewandt.

Man bewegt sich kriechend über das Plateau hinweg, sofern man nicht durch zufällige Änderungen der Gewichte das Plateau verlässt.

Verhalten in Schluchten

Schluchten (im Fehlergebirge) können zu Oszillationen führen.

Das Fehlergebirge kann man sich als Bergkessel vorstellen, bei dem der tiefste Punkt des Tales gesucht wird.

Wenn die gegenüberliegenden Bergwände nahe genug, springt man auf die gegenüberliegende Wand aufgrund der Gewichtsänderung.

Es kann aber auch passieren, dass die Schlucht verlassen wird und man sich in unvorteilhaften Tälern befindet.

Problematisch können auch Konfigurationsparameter werden:

Lernrate

Größe beinflusst das Verhalten stark:

• Bei einem zu hohen Wert der Lernrate können schmale Täler übersprungen werden oder bereits gefundene Minima werden wieder verassen. Auch besteht das Problem der Oszillation.

• Mit einer sehr großen Lernrate kann man schnell zum gewünschten Ziel gelangen durch große Schritte talabwärts. Hierbei können schmale Schluchten übersprungen werden. Des Weiteren können häufiger Oszillationen auftreten und ein Verlassen von zusagenden Bereichen ist wahrscheinlicher.

• Eine zu kleine Lernrate vermindert die Geschwindigkeit (sog. Konvergenzgeschwindigkeit) des Lernverfahrens.

Topologie

Wichtig ist die Wahl der Topologie.

Es gibt keine allgemein gültigen Regeln, jedoch sind die nachfolgenden Konfigurationen kritisch:

• Anzahl der Schichten
• Anzahl der Neuronen pro Schicht
• Netzwerkgraph

Für die praktische Anwendung empfiehlt es sich mehrere Topologien systematisch auszuprobieren.

Fehlerrate

Wichtig ist auch die Wahl der Fehlerrate, die den Reproduktionsfehler auf den Trainingsdaten angibt.

Hopfield-Netze

Hopfield-Netze sind neuronale Netze, die verrauschte oder auch nur teilweise vorhandene Datenmuster rekonstruieren können.

Boltzmann-Maschine

Die Boltzmannmaschine ist eine Erweiterung des Hopfield-Netzes, die mittels Zufallskomponente versucht falsche Klassifikationen zu verhindern und zusätzlich nimmt im Verlauf die Möglichkeit ab Korrekturen der Klassifikation durchzuführen.

ART-Netze

Adaptive Resonance Theory (ART) sind unüberwacht lernende neuronale Netze bei denen leicht neue Muster hinzugefügt werden können und bereits vorhanden Muster, weder zerstört, noch vergessen werden.

Einführung

• Adaptive Resonanztheorie (kurz: ART, zu deutsch: anpassungsfähige Resonanz-Theorie).
• Architekturkonzept für neuronale Netze
• von Stephen Grossberg und Gail A. Carpenter
• nicht überwacht lernende Algorithmen

Fuzzy-ART

• Fuzzy-ART basiert auf ART-1 und wird mit der Fuzzy-Logik erweitert.

• Verarbeitung auch von nicht-binäre Eingaben.

• Zuordnung zu verschiedenen Klassen gleichzeitig möglich.

• Verhinderung des unnötigen Anwachsens von Klassen.

Weitere ART-Netze

ART-2

• ART-2 entstammt ART-1 mit einer veränderten Architektur und kann auch nicht-binäre Eingaben verarbeiten.

ART-2a

• ART-2a ist eine schnellere Weiterentwicklung von ART-2 mit nur selten schlechteren Ergebnissen.

• Durch die erheblich gesteigerte Konvergenzgeschwindigket ist es für komplexere Aufgaben zu empfehlen.

ART-3

• ART-3 basiert auf ART-2 und modelliert chemische Vorgänge biologischer neuronaler Netze nach.

• Vorrangig beim Ähnlichkeitsvergleich von Vektoren, werden spezifische Auswirkungen bei der synaptischen Informationsübertragung und -verarbeitung nachgestellt.

• Leichterer Einsatz in kaskadierten Netzhierarchien.

ARTMAP

• auch Predictive ART (vorhersagendes ART)
• Elemente aus nicht-überwachten Lernen werden mit denen vom überwachtem Lernen vereint.
• Zwei ART-Netze werden miteinander kombiniert.

Fuzzy ARTMAP

• Ein ARTMAP aus zwei Fuzzy ART Modulen.

Kohonen-Netze

Kohonennetze sind neuronale Netze, die unüberwacht lernen und auf der biologischen Erkenntnis aufbauen, dass benachbarte Neuronen im Gehirn teilweise ähnliche Signale ausgeben.

Counterpropagation

Counterpropagation ist ein hybrides Lernverfahren, welches Elemente der Kohonen-Netze mit denen von ART verbindet.

PNN

Probabilistische Neuronale Netze (PNN) verwenden exponentielle Funktionen zur Aktivierung arbeiten mit Wahrscheinlichkeitsdichtefunktionen für jede Klasse.

RBF-Netze

RBF-Netze (von Radial-Basisfunktion) sind neuronale Netze, die Punkte nur klassifizieren, welche sich nahe den Zentren der radialen Aktivierungsfunktionen befinden.

Genetische Algorithmen

Genetische Algorithmen suchen mit einem zufälligen Suchverfahren Schritt für Schritt die optimale Lösung.

Cascade-Correlation-Netze

Cascade-Correlation-Netze sind neuronale Netze, die sich in ihrer Größe an die Problemstellung anpassen.

Wissensbasierte Systeme

Abgebildetes Wissen wird in intelligenten Informationssystemen nutzbar gemacht.

Methoden der Wissensrepräsentation und -verarbeitung

Methoden für vernünftige Ergebnisse, auch wenn das zu verarbeitende Wissen oft unsicher bzw. unvollständig ist.

Deduktions- und Inferenzsysteme

Element mit der Fähigkeit zum Ziehen logischer Schlussfolgerungen.

weitere Bereiche

Kollektive Intelligenz

Im Verbund von Individuen können Eigenschaften entwickeln werden, die für ein einzelnes Individuum nicht möglich gewesen wären.

Kybernetik

Steuerung und Regelung von Maschinen, sowie lebenden Organismen.