Neuronale Netzwerke B, SS05 Das Gehirn als Rechner http://www.igi.tugraz.at/lehre/NNB/SS05/ Institut für Grundlagen der Informationsverarbeitung (508)

Überblick

Lehrinhalt

Biologische informationsverarbeitende Systeme ('wetware') sind künstlichen in vielerlei Hinsicht überlegen. Wie wird Information in solchen Systemen verarbeitet? Was steckt hinter der Intelligenz menschlichen Handelns?

In dieser LV werden die wichtigsten Modelle für Informationsverarbeitung in Nervensystemen von biologischen Organismen vorgestellt und mittels Computer-Simulationen analysiert.

In den Übungen weden Sie die besprochenen quantitative Modelle in Matlab oder mittels Simulationsprogrammen wie GENESIS und NEURON untersuchen und eigene Experimente durchführen.

Unter dem Menüpunkten Links und Literatur finden Sie Pointers zu Informationen die Ihnen helfen sollen, sich eine Orientierung über den Stoff und das wissenschaftliche Umfeld dieser LV zu verschaffen.

Behandelte Themen (geplant)

1. Einführung in die Anatomie/Physiologie des Gehirns
2. Die Rechen-Komponenten des Gehirns: Neuronen und Synapses
3. Modelle für neuronale Schaltkreise auf verschiedenen Abstraktionsebenen
4. Plastizität von Neuronalen Schaltkreisen
5. Assoziative Speicher
6. Überwachtes Lernen in biologischen Organismen
7. Kodierung von Information im Nervensystem
8. Organisation von Berechnungen im Nervensystem
9. Globale Gehirntheorien
10. Experimentelle Methoden der Neuroscience

Tutorials (geplant)

1. Aktionspotentialgenerierung und das Hodgkin-Huxley Model
2. Räumliche Modelierung (Dentriten) von Neuronen
3. Synaptische Integration
4. Ionenkanäle erzeugen eine Vielfalt von Neuronentypen
5. Simulation eines großen Netzwerkes

Voraussetzungen

• Kenntnisse über Neuronale Netzwerke werden nicht vorausgesetzt (also inbesondere ein vorhergehender Besuch der LV Neuronale Netzwerke A wird nicht vorausgesetzt).

• Elementare Kenntnisse aus Mathematik und/oder Physik sind notwendig um die besprochenen Modelle zu verstehen.

Inhaltsverzeichnis mit Links zu Unterlagen

1. Einführung

• Das Menschliche Gehirn - nur ein Rechner? by W. Maass
• Spike Trains Demo Simulation
• 3D Anatomie des Gehirns
• Folien: Motivation (PDF)
• Folien: Geschichte (PDF)
• Folien: Einführung (PDF)

2. Nicht spikende Neuronenmodelle

• Vortragsfolien
• Java Applet zu den besprochenen Neuronenmodellen

3. Modelle für spikende Neuronen

• Spike Response Modell (SRM)
• Integrate-and-fire Modell (I&F Modell)
• Java Applet: Spiking Neurons
• Neural Microcircuits Homepage mit Simulationssoftware CSIM.

4. Rechnen mit spiking Neuronen

• Vortragsfolien
• folgende Abschnitte aus [GER]
  • 1.4 The Problem of Neuronal Coding
  • 1.5 Rate Codes
  • 1.6  Spike Codes
  • 4.5 Application: Coding by Spikes
• Das Paper von Bialek et. al. Reading a Neural Code, Science 91, über den neuralen Kode der Fliege kann man hier hier finden (letzter Eintrag in Liste).
• Face Recognition with SpikeNet (PDF), www.spikenet-technology.com
• Neural Networks as filters.

5. The Liquid State Machine Approach and related topics

• LSM Slides
• Find links to papers at the Neural Microcircuits Homepage (menu item 'References')
• Echo State Networks Slides. Links to papers at the publications page of Herbert Jäger (Tipp: Science paper 04).
• Networks at the Edge of Chaos Slides. Book Chapter What makes a dynamical system computationally powerful?

6. Synaptic Plasticity and Learning

• Introduction, Hebb, STDP, ICA Slides (update ICA!)
• STDP learning equations Slides
• For the interested: A recent paper on STDP
• A Tutorial on ICA
• Memory Slides
• Hopfield Networks Slides
• Hopfield Network Applet
• Supervised Learning Slides .

Neuigkeiten

Organisation

• Bitte melden Sie sich für die LV via TUG-Online an.
• Informationen für Studierende der Karl-Franzens Universität

• Erster Temin: Dienstag, 8.Maerz
• Vorlesung: Mittwochtag, 12:30-14:00, i11
• Übungen: Dienstag, 13:15-14:00, i11

• Dr. R. Legenstein
  • Institut für Grundlagen der Informationsverarbeitung
  • email: legi@igi.tu-graz.ac.at

Die Note für diese LV (Vorlesung und Übung zusammen) wird bestimmt durch die Punkte auf

• die Aufgabenblätter (50%), und
• einem Abschlußtest (50%).

% notwendiger Punkte			Note
90.0%	-	100%	sehr gut
80.0%	-	89.9%	gut
65.0%	-	79.9%	befriedigend
50.0%	-	64.9%	genügend
0%	-	49.9%	nicht genügend

Richtlinien zur Abgabe von Lösungen

• Sie dürfen Teams von bis zu 3 Studenten bilden, die gemeinsam die Ideen zur Lösung erarbeiten. Hierfür gelten die folgenden Regeln:
1. Sie müssen zu Beginn Ihrer Lösungen stets die Namen der anderen Mitarbeiter Ihres Teams aufführen.
2. Jedes Teammitglied muß die Lösungen in eigenen Worten formulieren und ein separates Lösungsblatt abgeben.
• Abgabe: in Papierform zwei Wochen nach Ausgabe der Aufgabe in der VO/UE. Verspätet abgegebene Lösungen werden mit 0 Punkten bewertet.
  

• Abschreibregelung: Falls Lösungen abgegeben werden bei denen offensichtlich abgeschrieben (z.B. längere identische Zeichenreihen) wurde, so werden alle beteiligten Lösungsblätter wie folgt bewertet (dies gilt auch für die Mitglieder eines ``Teams''):
1. Für die betreffende Aufgabe erhalten alle beteiligten Studenten 0 Punkte, gleichgültig wer von wem abgeschrieben hat.
2. Im Wiederholungsfall werden zusätzlich negative Punkte in der Höhe von 100% der maximal erreichbaren Punktezahl für die Aufgabe an alle Beteiligten vergeben.
• Lösungen von *-Aufgaben sind freiwillig. Diese Lösungen werden getrennt durchgesehen und unter Umständen später zurückgegeben. Die Punkte der *-Aufgaben werden zu den ``normalen'' Punkten addiert.
• Schreiben Sie Ihre Lösungen übersichtlich gegliedert und gut lesbar auf.
  • Schlecht verständliche oder unleserliche Lösungen müssen als falsch bewertet werden.
  • Verwenden Sie keine rote Farbe!

• Heften Sie die Lösungen zu jeder Aufgabe separat zusammen, wobei das ausgefüllte Angabeblatt als Deckblatt zu verwenden ist.

Richtlinien zur Abgabe von Lösungen

• Sie dürfen Teams von bis zu 3 Studenten bilden, die gemeinsam die Ideen zur Lösung erarbeiten. Hierfür gelten die folgenden Regeln:
1. Sie müssen zu Beginn Ihrer Lösungen stets die Namen der anderen Mitarbeiter Ihres Teams aufführen.
2. Jedes Teammitglied muß die Lösungen in eigenen Worten formulieren und ein separates Lösungsblatt abgeben.
• Abgabe: in Papierform zwei Wochen nach Ausgabe der Aufgabe in der VO/UE. Verspätet abgegebene Lösungen werden mit 0 Punkten bewertet.
  

• Abschreibregelung: Falls Lösungen abgegeben werden bei denen offensichtlich abgeschrieben (z.B. längere identische Zeichenreihen) wurde, so werden alle beteiligten Lösungsblätter wie folgt bewertet (dies gilt auch für die Mitglieder eines ``Teams''):
1. Für die betreffende Aufgabe erhalten alle beteiligten Studenten 0 Punkte, gleichgültig wer von wem abgeschrieben hat.
2. Im Wiederholungsfall werden zusätzlich negative Punkte in der Höhe von 100% der maximal erreichbaren Punktezahl für die Aufgabe an alle Beteiligten vergeben.
• Lösungen von *-Aufgaben sind freiwillig. Diese Lösungen werden getrennt durchgesehen und unter Umständen später zurückgegeben. Die Punkte der *-Aufgaben werden zu den ``normalen'' Punkten addiert.
• Schreiben Sie Ihre Lösungen übersichtlich gegliedert und gut lesbar auf.
  • Schlecht verständliche oder unleserliche Lösungen müssen als falsch bewertet werden.
  • Verwenden Sie keine rote Farbe!

• Heften Sie die Lösungen zu jeder Aufgabe separat zusammen, wobei das ausgefüllte Angabeblatt als Dekckblatt zu verwenden ist.

Literatur

Einführende Artikel

• Spike trains -- im Rhythmus neuronaler Zellen by W. Maass [html]
• Netzwerke von ,,spiking`` Neuronen: Die dritte Generation von Modellen für Neuronale Netzwerke by T. Natschläger [html]
• Das Menschliche Gehirn - nur ein Rechner? by W. Maass [html]
• Lectures on Computational Neuroscience by David Beeman [html]
• Chemistry of Drugs and the Brain / Emory University [http://www.emory.edu/CHEMISTRY/justice/chem190j/feb_3.htm]

Bücher

• [GER]Spiking Neuron Models by W. Gerstner and W. Kistler [html]
• [KAN]Essentials of Neural Science and Behaviour by E. Kandel, J. Schwartz, and T. Jessel
• [PUR]Neuroscience by D. Purves et al.
• [BEA]Neuroscience: Exploring the Brain by M. F. Bear et al.
• [DAY]Theoretical Neuroscience by P. Dayan and L. F. Abbott [Homepage]
• [PNN]Pulsed Neural Networks by W. Maass and C. M. Bishop [homepage]

Für die LV interessante Links

Informationen über das Gebiet Computational Neuroscience

• Computational Neuroscience on the WWW
• Computational Neuroscience in Europa
• Computational Neuroscience Allgemein
• Allgemeine links zur Neuroscience

Kurse

• Advanced Course in Computational Neuroscience
• Telluride Workshop on Neuromorphic Engineering

Neuromorphic Engineering, VLSI

• Bücher (kann man am Institut entlehnen):
  • Analog VLSI and Neural Systems (Carver, Mead): Ein Klassiker
  • Analog VLSI: Circuits and Principles (Liu et al.): Neu
• Telluride Workshop on Neuromorphic Engineering mit Links zu vielen Labs und Leuten.
• Electronic Vision(s) group, Univ. Heidelberg
• aVLSI Kurs am INI der ETH-Zürich.

Demos

• spike trains [www.cis.TUGraz.at/igi/tnatschl/spike_trains_eng.html]

• Hopfield Netzwerke  Demo 1, Demo 2, Demo 3

• Neural Java Homepage

Diverses

• 3D Anatomie des Gehirns