Andrzej Pacut             SNR   Sieci neuronowe


Semestr letni 2004/2005


Wykłady:       Czwartki, godz. 10:15 - 12:00, s. 164

Konsultacje:   Czwartki, godz. 12:15 – 13:00, pok. 522; inne terminy po uzgodnieniu (e-mail)

Projekt: Rozwiązanie zagadnienia klasyfikacji, identyfikacji, lub minimalizacji przy użyciu sieci neuronowych.

Egzamin:  Warunkiem przystąpienia do egzaminu jest oddanie projektu najpóźniej do godz. 12 we wtorek poprzedzający egzamin.

Uwaga: terminy i miejsce egzaminu są wyznaczone przez Dziekanat

Przykłady tematów egzaminacyjnych 2003 2004 2005

Projekty należy składać w Sekretariacie IAIS pok. 521.
 


Treść wykładu

UWAGA:

Slajdy - (w formacie pdf) są tylko przewodnikiem po materiale wykładu.

Slajdy wykłady 1-14 (pdf)

1. Wstęp Charakteryzacja dziedziny: sieci neuronowe. Bio-modelowanie, bio-inżynieria, modelowanie neuronowe. Charakteryzacja tematyki sieci neuronowych.

2. Korzenie biologiczne: neuron. Modelowanie neuronowe. Elementy budowlane systemu nerwowego. Budowa neuronu. Potencjał spoczynkowy, potencjał czynnościowy, model Hodgkin’a- Huxley’a. Transmisja sygnału między neuronami. Struktury połączeń neuronów.

3. Korzenie biologiczne: system nerwowy Funkcje systemu nerwowego. System nerwowy jako układ sterowania. Elementy budowy systemu nerwowego: receptory, efektory, budowa mózgu. Biologiczne sieci neuronowe, geometria skupień neuronów.  

4. Typowa sieć warstwowa  Struktura typowego neuronu, wagi, funkcja aktywacji. Warstwy: własności warstw, sieci warstwowe, sieci uporządkowane, perceptron wielowarstwowy. Sygnały w sieciach, reprezentacje sygnału. Struktura sieci neuronowych, sieci statyczne, sieci dynamiczne, trening sieci.

5. Problem klasyfikacji Klasy obiektów: obiekty i obrazy, cechy obiektów, klasy w przestrzeni obiektów, dziedziczenie klas, problem niejednoznaczności. Klasyfikacja obrazów: cechy, funkcja decyzyjna, dostępna informacja, klasyfikacja binarna Klasyfikacja liniowa: liniowa separowalność, liczba klas liniowo separowalnych, pojemność klasyfikacji liniowej. Klasyfikatory: klasyfikatory liniowe, binarne klasyfikatory liniowe, klasyfikatory nieliniowe, łączenie klas. Podejście probabilistyczne: klasyfikacja bayesowska, minimalizacja prawdopodobieństwa błędu, niezależne obserwacje binarne.

6. Perceptron Rosenblatta  Perceptron Rosenblatta: struktura perceptronu, perceptron jako klasyfikator, problem reprezentacji, kodowanie. Uczenie perceptronu Rosenblatta, trajektorie wag, płaszczyzny decyzyjne. Maszyny liniowe. Współczesne modyfikacje perceptronu.

7. Maszyna wektorów podpierających (SVM). Postać dualna perceptronu Rosenblatta. Region separujący, separacja optymalna, rola zbioru cech, dobór warstwy ukrytej. Dobór warstwy ukrytej, iloczyn skalarny w przestrzeni cech, warunek Mercera. SVM maksymalizujące margines, Rozwiązywanie problemów nieseparowalnych liniowo, SVM dla liniowej kary za naruszenie ograniczeń, skalowanie.

8: Sieci do celów aproksymacji: perspektywa historyczna: Adaline, algorytm $\alpha$-LMS, algorytm $\mu$-LMS, algorytm Kaczmarza, normalizowane najmniejsze kwadraty. Sieci sigmoidalne, problem doboru wag.

9. Problem aproksymacji funkcji Aspekty teoretyczne aproksymacji neuronowych: problem Hilberta i twierdzenie Kołmogorowa, aproksymacja funkcji ciągłych, nieciągłych, całkowalnych, aproksymacja funkcji ciągłych wraz z pochodnymi, aproksymacja funkcji losowych.

10. Techniki minimalizacji dla sieci neuronowych Metody minimalizacji; metody pierwszego rzędu: najszybszy spadek, gradient sprzężony; metody drugiego rzędu: Newtona, Levenberga-Marquardta, zmiennej metryki. Implementacje sieciowe: potrzeba obliczania lokalnych gradientów, wygładzanie inercyjne, modyfikacje typu delta-delta. Mody minimalizacji: wzorzec za wzorcem, moda wsadowa, modyfikacje.

11. Propagacja zwrotna gradientu Systemy warstwowe i systemy uporządkowane, obliczanie gradientów dla systemu warstwowego, obliczanie gradientów dla systemu uporządkowanego, przypadek wektorowy.

12. Propagacja gradientu w perceptronie wielowarstwowym. Graf wpływów. Propagacja do wagi, propagacja przez warstwę. Gradienty dla sieci dwuwarstwowej. Gradienty dla sieci wielowarstwowej. Operator propagacji zwrotnej. Propagacja zwrotna przez sieć. Aproksymacja drugich pochodnych.

13. Sieci neuronowe a układy dynamiczne Sieci dynamiczne. Zastosowania sieci dynamicznych. Reprezentacja NARX układów nieliniowych, zastosowanie sieci neuronowych do modelowania i identyfikacji układów nieliniowych. Propagacja zwrotna w układach dynamicznych. Gradienty wag dla sieci wyjścia, sieci stanu. Gradienty wag dla układu dynamicznego sieci. Porównania.

14. Stabilność sieci dynamicznych. Problemy stabilności w sieciach rekurencyjnych, sieci Hopfielda z czasem dyskretnym, pamięć adresowana zawartością. Zastosowania do minimalizacji, projektowanie macierzy wag. Sieci Hopfielda z czasem ciągłym.

 


 

 

 

 

 

Andrzej Pacut


 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Feb. 2001