\input format


\begin{document}


\thispagestyle{empty}

Physik Department \hfill SoSe 2009 \\
TU München \hfill Übungsblatt 6 \\
Theoretische Physik \hfill 26.6.2009 \\

\vskip 1 truecm                                                  
\centerline{\bf Übung zur theoretischen Physik neuronaler Informationsverarbeitung}
\centerline{(Prof.\ J.\ L.\ van Hemmen)}
\vskip 1 truecm


\begin{Aufgabe}{Eigenschaften der Fundamentallösung der
    Kabelgleichung}
  Die Fundamentallösung der Kabelgleichung lautet
  \begin{equation}
    V_f(x,t) = \frac{ \Theta(t) }{ 2 \sqrt{ \pi t/\tau } \lambda \tau }
    \exp\left[ -t/\tau - \frac{ (x/\lambda)^2 }{4 t/\tau} \right] \,.
  \end{equation}
  Zeigen Sie folgende Eigenschaften der Fundamentallösung:
  \begin{enumerate}
  \item Die Gesamtladung fällt exponentiell ab.
  \item Die Ausbreitungsgeschwindigkeit des Maximums, d.i. der
    betrachtete Ort geteilt durch die Zeit, bis hier die Spannung ihr
    Maximum erreicht, ist $2 \lambda/\tau$ für Zeitpunkte $t \gg
    \tau$.
  \item $\lim_{t\to 0+} V_f(x,t) = \frac{1}{\tau} \delta(x)$
  \end{enumerate}
\end{Aufgabe}


\begin{Aufgabe}{Simulation eines Hopfield-Netzes}
  Gegeben seinen $N$ Neuronen mit Zuständen $S_i(t) \in \{+1,-1\}$ zur
  Zeit $t$ und $q$ Muster $\xi_i^\mu \in \{+1,-1\}$, wobei $1 \le i
  \le N$ und $1 \le \mu \le q$. Die Muster $\vec{\xi}^\mu =
  (\xi_1^\mu, \dots, \xi_N^\mu)$ bestehen aus unabhängigen, identisch
  verteilten Zufallszahlen mit Mittelwert 0. Das lokale Potential
  $h_i(t)$ an Neuron $i$ ist
  \begin{equation}
    h_i(t) = \sum_{j=1}^N J_{ij} S_j(t) \,.
  \end{equation}
  Der Zustand $\vec{S}$ zum Zeitschritt $t+\Delta t$ ergibt sich aus
  dem Zustand zur Zeit $t$ entsprechend der deterministischen Dynamik
  \begin{equation}
    S_i(t+\Delta t) = \sgn( h_i(t) ) \,.
    \label{eq:dyn}
  \end{equation}
  Die $q$ Muster seien zuvor bereits durch die Hebb'sche Regel
  \begin{equation}
    J_{ij} = \left\{ \begin{array}{ll} 
      \frac{1}{N} \sum_{\mu=1}^q \xi_i^\mu \xi_j^\mu & \mbox{für $i \neq j$} \\
      0 & \mbox{für $i=j$}
    \end{array}
    \right.
    \label{eq:J}
  \end{equation}
  gelernt worden. Ein derartiges Netzwerk stellt einen assoziativen
  Speicher dar, dessen Attraktoren den gespeicherten Mustern
  entsprechen.

  Berechnen Sie die zeitliche Entwicklung eines Hopfield-Netzes aus
  $N=100$ Neuronen im Computer. 
  
  Bestimmen Sie dazu zunächst $q$ Muster $\vec{\xi}^\mu$, $1 \le \mu
  \le q$, wobei die $\xi_i^\mu$ mit jeweils Wahrscheinlichkeit $1/2$
  auf $+1$ oder $-1$ gesetzt werden. Berechnen Sie dann nach
  \eqref{eq:J} die synaptischen Gewichte $J_{ij}$.
  
  Lassen Sie das Netzwerk mit allen Mustern als Anfangszustand, also
  \begin{equation}
    S_i(t_0) = \xi_i^\mu \,,
  \end{equation}
  für $\mu=1,\dots,q$, laufen. 
  
  Wieviele Muster werden korrekt "`erinnert"', sind also Fixpunkte
  unter der Dynamik \eqref{eq:dyn}?
  
  Berechnen Sie mit Ihrem Programm, welcher Prozentsatz an Mustern
  korrekt erinnert wird für $q=1, \dots, 100$.

  Steigern Sie auf $N=1000$ Neuronen und $q=10,20,30,\dots,200$!
\end{Aufgabe}


\vspace{2\parsep}

\hrulefill

\footnotesize Besprechung der Übungen am Freitag, den 3.7.2009 um
8.45 Uhr im Raum PH 2271 (Garching).

\vspace{1.5\parsep}

Übungsleitung: Moritz Franosch, mail@Franosch.org, http://www.t35.ph.tum.de .


\end{document}
