Andrzej Pacut, IAiIS PW
Celem wykładu jest przekazanie podstawowych wiadomości na
temat związku
modeli z modelowaną rzeczywistością, modelowania niepewności,
wykorzystania obserwacji do budowy modeli, prognozowania i podejmowania
decyzji.
Omawiane są zarówno modele klasyczne, a w szczególności modele liniowe,
jak też i modele bazujące na
sieciach neuronowych. Słuchacze zdobywają umiejętność budowy modeli
liniowych,
nieliniowych (modele neuronowe) oraz prognozowania sygnałów na
podstawie
modeli.
Informacje dla uczestników zajęć w sem.
zimowym 2004/2005
Wykład: Piątki, 10:15-12 sala 108
Konsultacje: Środy godz. 14:15 pok. 522
Egzamin: Każdy piątek w czasie sesji,
godz. 10:15,
pok. 522.
Egzamin składa się z części testowej i dyskusji
projektu.
Warunkiem przystąpienia do egzaminu w wybranym
terminie
jest
oddanie projektu do środy godz. 12:00
w tygodniu egzaminu.
Dostęp do slajdów
poprzez serwer wydziałowy dla studentów zapisanych na wykład.
Slajdy,
których tytuły oznaczono gwiazdką * stanowią materiał nieobowiązkowy.
Wstęp
1-3. Obiekty, modele i niepewność: Obiekty
rzeczywiste
a idealizacja matematyczna, niepewność, modele. Modele
deterministyczne. Modele
przynależnościowe. Modele rozmyte, zmienna lingwistyczna. Modele
probabilistyczne. Modele statystyczne. Zbiory przybliżone. Elementy
teorii
Dempstera-Shafera
4. Proces tworzenia modelu: Etapy
modelowania.
Sformułowanie zadania modelowania, typowe zadania modelowania, modele
predykcyjne.
Tworzenie modelu, klasy modeli, czarne skrzynki, szare skrzynki,
identyfikacja.
Weryfikacja, adaptacja. Regresory,
struktura klasy modeli, struktury parametryczne a nieparametryczne,
problem
aproksymacji, struktury liniowe a modele liniowe, sprowadzenie do
modelu
liniowego, identyfikowalność
5 Podstawowe parametry statystyczne
sygnałów:
uśrednianie, rozkład empiryczny, momenty empiryczne, związek z
wartościami oczekiwanymi.
Liniowe modele statyczne
6-7. Liniowy problem najmniejszych
kwadratów (LS): Modele
LS dla struktur liniowych, interpretacja geometryczna, rzutowaniem
jednoznaczność parametrów, ortogonalne regresory,
modele afiniczne. Ważone najmniejsze kwadraty. Transformacje
modeli LS. Pseudoodwrotność,
rozwiązania niejednoznaczne.
8. Metody rekurencyjne:
Filtr Kalmana, wolnozmienne parametry
Nieliniowe modele statyczne
9. Struktury nieliniowe, sieci neuronowe: Zasada
najmniejszych
kwadratów dla struktur nieliniowych. Struktury warstwowe. Warstwy
liniowe, afiniczne, nieliniowe. Sieci
neuronowe. Sieci sigmoidalne, problem
aproksymacji. Sieci radialne. Dobór parametrów struktur nieliniowych:
metody
pierwszego rzędu. metody drugiego rzędu.
10. Obliczanie gradientu w złożonych systemach: Obliczanie
gradientu dla struktur warstwowych. Obliczanie gradientu dla struktur
warstwowych ze sprzężeniem zwrotnym, propagacja zwrotna w czasie
Wygładzanie wykładnicze, korekcja delta-delta, korekcja delta-bar-delta,
odporna korekcja parametrów, szybka korekcja parametrów.
Probabilistyczne modelowanie niepewności
11. Modele nieparametryczne w środowisku losowym: Podejście
Fishera i podejście Bayesa. Obciążenie
modeli..
Funkcja strat, ryzyko, modele najmniejszych średnich kwadratów,
prawdopodobieństwo jako ryzyko, minimalizacja ryzyka przy braku
obserwacji,
uniwersalność warunkowej wartości oczekiwanej, minimalizacja ryzyka
przy
uwzględnieniu obserwacji. Modele maksimum a posteriori
12. Powtórzenie – Warunkowe wartości oczekiwane:
Interpretacja warunku poprzez obserwacje, gęstość warunkowa, warunkowa
wartość
oczekiwana, warunkowa wartość oczekiwana jako zmienna losowa, wariancja
warunkowa, szczególne własności rozkładów normalnych.
Modele dynamiczne i problemy prognozowania
13. Prognozowanie szeregów czasowych:
Szeregi
czasowe, filtr wybielający, filtr formujący, stacjonarność i
odwracalność.
Prognoza na następną chwilę, prognoza na wiele chwil, modele
predykcyjne. Proces
średniej ruchomej MA, proces autoregresyjny
AR,
proces ARMA. Modele adaptacyjne.
14. Prognozowanie dla modeli liniowych: Standardowe
modele liniowych obiektów dynamicznych z zakłóceniami,
prognoza na następną chwilę i na wiele chwil, budowa modeli
predykcyjnych.
Modele i prognoza dla modeli FIR, ARX, błędu wyjścia OE, ARMAX, Boxa-Jenkinsa, ogólna postać modelu
predykcyjnego.
Identyfikacja parametrów.
15.
Prognozowanie dla modeli nieliniowych:
Zastosowanie sieci neuronowych do modelowania
obiektów dynamicznych, modele NARMA.
Andrzej Pacut
Oct. 2005