Niepewność, Modelowanie i Prognozowanie

Andrzej Pacut, IAiIS PW

 


 

Celem wykładu jest przekazanie podstawowych wiadomości na temat związku modeli z modelowaną rzeczywistością, modelowania niepewności,
wykorzystania obserwacji do budowy modeli, prognozowania i podejmowania decyzji. Omawiane są zarówno modele klasyczne, a w szczególności modele liniowe, jak też i modele bazujące na sieciach neuronowych. Słuchacze zdobywają umiejętność budowy modeli liniowych, nieliniowych (modele neuronowe) oraz prognozowania sygnałów na podstawie modeli.

 

Informacje dla uczestników zajęć w sem. zimowym 2004/2005

 

Wykład: Piątki, 10:15-12 sala 108

 

Konsultacje: Środy godz. 14:15 pok. 522

 

Egzamin: Każdy piątek w czasie sesji, godz. 10:15, pok. 522.

 

Egzamin składa się z części testowej i dyskusji projektu.

Warunkiem przystąpienia do egzaminu w wybranym terminie

jest oddanie projektu do środy godz. 12:00 w tygodniu egzaminu.

 

Materiały pomocnicze

Dostęp do slajdów poprzez serwer wydziałowy dla studentów zapisanych na wykład.

Slajdy, których tytuły oznaczono gwiazdką * stanowią materiał nieobowiązkowy.


Program wykładu

Wstęp
    1-3. Obiekty, modele i niepewność: Obiekty rzeczywiste a idealizacja matematyczna, niepewność, modele. Modele deterministyczne. Modele przynależnościowe. Modele rozmyte, zmienna lingwistyczna. Modele probabilistyczne. Modele statystyczne. Zbiory przybliżone. Elementy teorii
Dempstera-Shafera
    4. Proces tworzenia modelu: Etapy modelowania. Sformułowanie zadania modelowania, typowe zadania modelowania, modele predykcyjne. Tworzenie modelu, klasy modeli, czarne skrzynki, szare skrzynki, identyfikacja. Weryfikacja, adaptacja. Regresory, struktura klasy modeli, struktury parametryczne a nieparametryczne, problem aproksymacji, struktury liniowe a modele liniowe, sprowadzenie do modelu liniowego, identyfikowalność
    5  Podstawowe parametry statystyczne sygnałów: uśrednianie, rozkład empiryczny, momenty empiryczne, związek z wartościami oczekiwanymi.

 

Liniowe modele statyczne

   6-7. Liniowy problem najmniejszych kwadratów (LS): Modele LS dla struktur liniowych, interpretacja geometryczna, rzutowaniem jednoznaczność parametrów, ortogonalne regresory, modele afiniczne. Ważone najmniejsze kwadraty. Transformacje modeli LS. Pseudoodwrotność,  rozwiązania niejednoznaczne.

   8. Metody rekurencyjne: Filtr Kalmana, wolnozmienne parametry

 

Nieliniowe modele statyczne
   9. Struktury nieliniowe, sieci neuronowe: Zasada najmniejszych kwadratów dla struktur nieliniowych. Struktury warstwowe. Warstwy liniowe, afiniczne, nieliniowe. Sieci neuronowe. Sieci sigmoidalne, problem aproksymacji. Sieci radialne. Dobór parametrów struktur nieliniowych: metody pierwszego rzędu. metody drugiego rzędu.
   10. Obliczanie gradientu w złożonych systemach: Obliczanie gradientu dla struktur warstwowych. Obliczanie gradientu dla struktur warstwowych ze sprzężeniem zwrotnym, propagacja zwrotna w czasie
Wygładzanie wykładnicze, korekcja delta-delta, korekcja delta-bar-delta, odporna korekcja parametrów, szybka korekcja parametrów.

 

Probabilistyczne modelowanie niepewności
   11. Modele nieparametryczne w środowisku losowym: Podejście Fishera i podejście Bayesa. Obciążenie modeli.. Funkcja strat, ryzyko, modele najmniejszych średnich kwadratów, prawdopodobieństwo jako ryzyko, minimalizacja ryzyka przy braku obserwacji, uniwersalność warunkowej wartości oczekiwanej, minimalizacja ryzyka przy uwzględnieniu obserwacji. Modele maksimum a posteriori
   12. Powtórzenie – Warunkowe wartości oczekiwane: Interpretacja warunku poprzez obserwacje, gęstość warunkowa, warunkowa wartość oczekiwana, warunkowa wartość oczekiwana jako zmienna losowa, wariancja warunkowa, szczególne własności rozkładów normalnych.

 

Modele dynamiczne i problemy prognozowania
    13. Prognozowanie szeregów czasowych: Szeregi czasowe, filtr wybielający, filtr formujący, stacjonarność i odwracalność. Prognoza na następną chwilę, prognoza na wiele chwil, modele predykcyjne. Proces średniej ruchomej MA, proces autoregresyjny AR, proces ARMA. Modele adaptacyjne.

    14. Prognozowanie dla modeli liniowych: Standardowe modele liniowych obiektów dynamicznych z zakłóceniami, prognoza na następną chwilę i na wiele chwil, budowa modeli predykcyjnych. Modele i prognoza dla modeli FIR, ARX, błędu wyjścia OE, ARMAX, Boxa-Jenkinsa, ogólna postać modelu predykcyjnego. Identyfikacja parametrów.
   
15. Prognozowanie dla modeli nieliniowych: Zastosowanie sieci neuronowych do modelowania obiektów dynamicznych, modele NARMA.

 


 
 


Andrzej Pacut


Oct. 2005