Adaptiivsed süsteemid

Adaptiivsed süsteemid: 

Adaptiivsed süsteemid Tõnu Trump

Wiener’i filtrid: 

Wiener’i filtrid Lineaarne filter Diskreetne aeg FIR või IIR Optimaalsuse kriteerium Oluline ka välja mõelda kust leida “soovitud signaal” Filter w0, w1, w2, ... ∑ Sisend x(t) Väljund y(t) - Soovitud signaal d(t) + Vea signaal e(t)

Ortogonaalsuse printsiip: 

Ortogonaalsuse printsiip Olgu y(n) ja d(n) statsionaarsed, tsentreeritud juhuslikud protsessid Minimeerime ruutkeskmist viga Tähistame Gradient: Võrdsustades gradiendi nulliga saame Vajalik ja piisav tingimus J miinimumiks on sisendi x ja hindamisvea e ortogonaalsus

Järeldus: 

Järeldus d eo yo Vähima ruutkeskmise vea mõttes optimaalse filtri väljund on ortogonaalne veasignaaliga

Wiener-Hopfi võrrandid: 

Wiener-Hopfi võrrandid Ortogonaalsuse printsiibi põhjal: Tähistame: Optimaalse filtri impulsskarakteristik leitav lahendades Wiener-Hopfi võrrandsüsteemi

FIR filter: 

FIR filter

Maatrikskuju: 

Maatrikskuju

Error performance surface (vea pind): 

Error performance surface (vea pind) Täisruuduks teisendamine annab Seega vähim võimalik vea võimsus on

Kanooniline kuju: 

Kanooniline kuju Λ on diagonaalne omaväärtuste maatriks diag(λ1, λ2, ... λM) Q veerud on R omavektorid

Paraboloid: 

Paraboloid Sibul lk. 28-30

Lineaarne piirang (constraint): 

Lineaarne piirang (constraint) x(n) x(n-1) x(n-2) x(n-M+2) x(n-M+1) w*0 w*1 w*2 w*M-2 w*M-1 y(n) Leia optimaalsed filtri koefitsiendid w, mis minimeerivad väljundi ruutkeskmist väärtust piiranguga

Antennivõre: 

Antennivõre Ө0 xM-1(n) d<λ/2 w*0 w*1 w*2 w*M-1 ∑ y(n) Leia optimaalsed filtri koefitsiendid w, mis minimeerivad väljundi y ruutkeskmist väärtust piiranguga x2(n) x1(n) xo(n) Elektriline nurk

Lagrange’i määramata kordajate meetod I: 

Lagrange’i määramata kordajate meetod I Leiame gradiendi ja võrdsustame nulliga

Lagrange’i määramata kordajate meetod II: 

Lagrange’i määramata kordajate meetod II Leiame Lagrange’i kordaja. Ülesande piirangust: Hermiti transponaat ja korruta paremalt s-ga Lahend väga sarnane Wieneri filtri formuleeringuga!

Minimum Variance Distortionless Response Beamformer: 

Minimum Variance Distortionless Response Beamformer Võttes eelnvas piirangu g=1, saame antennivõre, mis valitud suunast saabuvat signaali ei muuda aga minimeerib kõigist teistest suundadest saabuvaid signaale Vaadeldes eelnevat elektrilise nurga funktsioonina saame nn. MVDR võimsusspektri Vähim väljundsignaali võimsus:

Näide: MVDR antennivõre: 

Näide: MVDR antennivõre 16 antenni d/λ=0.2 Soovitud allikas +10o Valge müra võimsus 0.001

Näide: MVDR antennivõre: 

Näide: MVDR antennivõre 16 antenni d/λ=0.2 Soovitud allikas +10o Valge müra võimsus 0.001 Sinine joon Eelnev + Häired: +60o ja -30o Punane joon

Generalized sidelobe canceller: 

Generalized sidelobe canceller Piirangutega määratud wq Blokeeriv maatriks Ca Antennivõrelt Vabad kaalud wa Σ e(n) + - d(n) x(n)

Näide:: 

Näide: Leia Wieneri filter ja vähima ruutksekmise vea võimsus, kui x(n) ja v(n) on sõltumatud valged mürad ja |α|<1. Sisendsignaal: x(n) Soovitud signaal: d(n)

Kokkuvõte: 

Kokkuvõte Vaatlesime Wieneri filtereid, optimaalseid lineaarseid filtereid statsionaarsete juhuslike protsesside filtreerimiseks Teooria rakendatav FIR filtritele ja ühtlase paigutusega antennivõredele Teooria seab piirid sellele, mis on võimalik kasutades adaptiivseid filtritreid Optimaalsed kaalud määratud Wiener-Hopfi võrrandsüsteemiga

Method of steepest decent I (kiireima languse meetod): 

Method of steepest decent I (kiireima languse meetod) Kontroll algoritm Suvaline esialgne w(0), (lisainformatsiooni puudusel tavaliselt nullvektor) Leia gradient vektor (ruutkeskmise vea võimsuse J(n) tuletis w*(n) järgi Leia uus koeffitsientide vektor w astudes sammu gradiendi vastassuunas Mine tagasi sammule 2

Intuitsioon: 

Intuitsioon dJ/dw=2w w0=3 dJ/dw |w0 = 6 > 0 => samm negatiivses suunas w1=-2 dJ/dw |w1 = -4 < 0 => samm positiivses suunas w2=1 dJ/dw |w2 = 2 > 0 => samm negatiivses suunas ... w J=w2 2 0 -2 w0

Method of steepest decent II (kiireima languse meetod): 

Method of steepest decent II (kiireima languse meetod) Samm gradiendile vastupidises suunas Ruutkeskmine viga ja gradient sammul n: Kiireima languse meetodi rekursioon:

Method of steepest decent III (kiireima languse meetod): 

Method of steepest decent III (kiireima languse meetod) Kiireima languse meetodi rekursioonile saab anda kuju:

Method of steepest decent IV (kiireima languse meetod): 

Method of steepest decent IV (kiireima languse meetod) Kiireima languse meetodi rekursiooni tagasiside mudel:

Kiireima languse meetodi stabiilsus I: 

Kiireima languse meetodi stabiilsus I Defineerime vea vektori (weight error vector) Ja kirjutame rekursiooni vea vektori kaudu: Seega määravad algoritmi stabiilsuse µ ja R.

Kiireima languse meetodi stabiilsus II: 

Kiireima languse meetodi stabiilsus II Kasutame korrelatsioonimaatriksi lahutust kus Λ on diagonaalne omaväärtuste maatriks ja Q on unitaarne omavektorite maatriks Stabiilne kui Korrelatsioonimaatriksi omaväärtused on reaalsed ja positiivsed ja seega rekursioon koondub kui

Kiireima languse meetodi stabiilsus III: 

Kiireima languse meetodi stabiilsus III vk(0) 1 2 3 4 n on geomeetriline rida, millega saab sobitada eksponentsiaalse mähkija. Ajakonstant tk on aeg, mille jooksul vk(n) väheneb e korda Terve algoritmi koondumiskiirust saab hinnata asuvaks vähima ja suurima omaväärtuse poolt määratud moodide koondumiskiiruste vahel Kuna korrelatsioonimaatriksi omaväärtused on reaalsed ja positiivsed lähenevad kõik moodid monotoonselt nullile Olgu samm valitud nii, et algoritm koondub.

Ruutkeskmise vea käitumine: 

Ruutkeskmise vea käitumine Järelikult, kui kiireima languse meetod koondub (sobivalt valitud µ), siis sõltumatult algtingimustest Ruutkeskmiset viga joonistatuna aja funktsioonina nimetatakse learning curve (õppimiskõver). Kiireima languse meetodi õppimiskõver on omamoode kirjeldavate eksponentide summa. k-s omamood omab ajakonstanti Kasutades ruutkeskmise vea pinna kanoonilist kuju saame kirjutada:

Näide: 

Näide Leia kiireima languse meetodil saadud kaalude vektori trajektoor vea pinnal kui

Näide: 

Näide Leia kiireima languse meetodil saadud kaalude vektori trajektoor vea pinnal kui

Näide: 

Näide Leia kiireima languse meetodil saadud kaalude vektori trajektoor vea pinnal kui

Kokkuvõte: 

Kokkuvõte Kiireima languse meetodiga tõime sisse adaptiivsuse Filtri koeffitsientide muutmine samm sammult vea pinna gradiendile vastupidises suunas Uurisime meetodi stabiilsuse tingimusi Nagu ka Wieneri filtrite korral eeldasime, et vajalikud üle andsambli keskmistatud korrelatsioonid teada

LMS algoritm: 

LMS algoritm Siiani eeldasime me et filtris esinevate juhuslike protsesside üle andsambli kesmistatud karakteristikuid nagu sisendsignaali korrelatsioonimaatriks ning sisendsignaali ja soovitud signaali ristkorrelatsiooni vektor on teada Praktikas meil enamasti sellist informatsiooni ei ole Järgnevalt vaatleme kuidas konstrueerida lihtne ja praktikas tõenäoliselt enimkasutatav adaptiivne algoritm – LMS (Least Mean Square) Widrow & Hoff 1960

LMS algroritm II: 

LMS algroritm II Kiireima languse meetodil kasutasime üle andsambli keskmistatud gradienti Asendame korrelatsioonid keskmistamata hetkehinnangutega

Kiireima languse meetod -> LMS algoritm: 

Kiireima languse meetod -> LMS algoritm

LMS algoritm: 

LMS algoritm - + Igal iteratsioonil vajalikud ainult kõige kõige viimane sisend x(n), d(n). Mälu vajalik vaid koeffitsientide vektori w jaoks. R ja p hetkehinnangud küll suure dispersiooniga kuid seda tasakaalustab algoritmile enese keskmistamiseffekt. Vajalike arvutuste hulk sõltub filtrikoeffitsientide arvust lineaarslt ehk algoritmi keerukus on O(M).

Sõltumatuse teooria (independence theory): 

Sõltumatuse teooria (independence theory) Sisendsignaali vektorid x(i), i=1,...,n on üksteisest statistiliselt sõltumatud Ajahetkel n on sisendvektor x(n) statistiliselt sõltumatu kõigist eelnevatest soovitud signaali diskreetidest d(i), i=1,...,n-1 Ajahetkel n on soovitud signaal d(n) statistiliselt sõltumatu kõigist soovitud signaali eelnevatest diskreetidest d(i), i=1,...,n-1 Sisendsignaali vektorid x(i) ja soovitud signaal d(i) on vastastikku normaaljaotusega iga i korral

Analüüs: 

Analüüs Tähistame koeffitsientide vea vektori kui Siis LMS kaalude uuendamise võrrandist saame: Veasignaali saab esitada kujul: Veasignaali dispersiooni leidmiseks rakendame ortogonaalsusprintsiipi ja sõltumatuseteooriat Excess mean squared error Jex

Kaalude vea korrelatsioonimaatriks: 

Kaalude vea korrelatsioonimaatriks Meil oli vea vektori jaoks Kasutame nn. Otsese keskmistamise meetodit, mis ütleb, et vea vektor käitub ligikaudu nagu Leiame vea vektori korrelatsioonimaatriksi: Eelneva saamiseks oleme kasutanu sõltumatuseteooriat ja Gaussi faktoriseerimise teoreemi Seega K ei lähe nulli!

Tõestuseta kui sellegipoolest kehtivad tulemused: 

Tõestuseta kui sellegipoolest kehtivad tulemused LMS algoritmi lisa (excess) ruutkeskmine viga on väiksem kui minimaalne ruutkeskmine viga kui algoritmi samm µ on valitud selliselt et on rahuldatud LMS algoritm koondub kui Algoritmi “misadjustment” (kõrvalehäälestatus?) avaldub kujul

Rusikareeglid: 

Rusikareeglid LMS algoritmi koonduvus määratud sisendsignaali korrelatsioonimaatriksi suurima omaväärtudega. Tavaliselt ei ole see teada. On aga teada et Kuna R on Toeplitz’i maatriks, on tema peadiagonaali elemendid kõik võrdsed sisendsignaali dispersiooniga ja seega LMS algoritm koondub kui Väikese sammu korral on kõrvalehäälestatus ligikaudselt avaldatav kui Seega, mida pikem filter, seda suurem on algoritmi kõrvalehäälestatus

Näide: 

Näide Valge x(n)

Näide (J aja funktsioonina): 

Näide (J aja funktsioonina) Valge x(n)

Näide: 

Näide Keskmistatud üle 100 realisatsiooni Valge x(n)

Näide (sõltuvus sammu pikkusest): 

Näide (sõltuvus sammu pikkusest) Keskmistatud üle 100 realisatsiooni Valge x(n)

Naide (suurem mudel, M=8): 

Naide (suurem mudel, M=8) Keskmistatud üle 100 realisatsiooni Valge x(n)

Näide (sõltuvus mudeli suurusest): 

Näide (sõltuvus mudeli suurusest) Keskmistatud üle 100 realisatsiooni Valge x(n)

Näide (värviline sisend): 

Näide (värviline sisend) Keskmistatud üle 100 realisatsiooni

Naide: adaptiivne ekvilaiser: 

Naide: adaptiivne ekvilaiser

Näide (Wieneri lahendi sõltuvus W-st): 

Näide (Wieneri lahendi sõltuvus W-st)

Näide: 

Näide Keskmistatud üle 100 realisatsiooni

Näide: ekvilaiseri impulsskarakteristik: 

Näide: ekvilaiseri impulsskarakteristik

Näide: kanali ja ekvilaiseri järjestikühendus: 

Näide: kanali ja ekvilaiseri järjestikühendus

Näide: W mõju: 

Näide: W mõju Keskmistatud üle 100 realisatsiooni

Normaliseeritud LMS algoritm: 

Tähelepanekud: Normaliseeritud LMS-i samm on dimensioonita samal ajal kui standard LMS- sammu dimensioon on 1/võimsus Normailseeritud LMS algoritm on ajas muutuva sammuga algoritm Koondub, kui Normaliseeritud LMS algoritm Üks meie rusikareeglitest väitis et LMS algoritm on stabiilne, kui sammu on pikkus valitud väiksem kui kaks jagatud sisendsignaali võimusuega Normaliseeritud LMS kasutab sammu, mis on normaliseeritud sisendsignaali võimususe hetkehinnanguga Kiireim koonduvus, kui α=1, praktikas valitakse tavaliselt küll väiksem kui 1

Näide: 

Näide Keskmistatud üle 100 realisatsiooni Valge x(n)

Normaliseeritud LMS: 

Normaliseeritud LMS Saab tuletada ka järgmise piiranguga optimeerimisülesande lahendina Seega muudab normaliseeritud LMS igal sammul kaalude vektorit seletamaks uusi andmeid nii vähe kui võimalik (Eukleidilise normi mõttes) Lõplik kuju:

LMS on robustne algoritm: 

LMS on robustne algoritm Olgu meil andmed, mis rahuldavad lineaarset regressiooni Olgu LMS samm valitud nii, et Siis saab näidata, LMS algoritm on robustne järgnevas mõttes: Vt. B. Hassibi, A. Sayed and T. Kailath, “LMS is H∞ Optimal,” in Proc. 32nd IEEE Conf. On Decision and Control, pp. 74-80, San Antonio, TX Dec. 1993

Variandid: 

Variandid Sign algorithms

Näide: 

Näide Valge x(n) Keskmistatud üle 100 realisatsiooni

Näide: 

Näide Valge x(n) v(800) = 1 Keskmistatud üle 100 realisatsiooni

Variandid II (LMF): 

Variandid II (LMF) Least mean mixed norm algorithm: Least mean fourth algorithm: Minimeerides vea ruudu asemel vea neljandat astet saame Kirjandusest võib leida ka segu eelnevast ja standard LMS-ist Ambitsioon saavutada kiirem koonduvus ja väiksem viga kui standartne LMS Algoritmi võib vaadelda ka muutuva sammuga LMS-na, kus sammu suurus on proportsionaalne vea ruuduga Koondub hästi, kui viga algusest peale väike aga risk hajuda, kui alglähtestatud suure veaga

Variandid III (Leaky LMS): 

Variandid III (Leaky LMS) Saame nn. lekkiva LMS algoritmi (Leaky LMS) Minimeerides Algoritm “unustab” aja jooksul kaalude vektori moodid, mida sisendsignaal ei erguta. Algoritm koondub nihkega Wieneri filtriks

Näide:: 

Näide: Valge x(n), n<300 & n>2800 x(n)= sin(2*π*n/8), 300<n<2800 Keskmistatud üle 100 realisatsiooni

Näide: 

Näide Valge x(n), n<300 & n>2800 x(n)= sin(2*π*n/8), 300<n<2800

Näide: 

Näide Valge x(n), n<300 & n>2800 x(n)= sin(2*π*n/8), 300<n<2800

Variandid IV: 

Variandid IV Blok LMS arvutab uued kaalud mitte igal ajahetkel vaid kord L diskreedist koosenva bloki kohta Algoritm kasutab üle L diskreedi keskmistatud gradienti Koondub kui

Analüüs: 

Analüüs Algoritmide perekonda õnnestub analüüsida koos vt. N .Yousef, A. Sayed “A Unified Approach to the Steady State and Tracking Analysis of Adaptive Filters”, IEEE Trans. On Signal Processing, Feb. 2001. LMS NLMS Sign algorithm LMF

Kokkuvõte: 

Kokkuvõte LMS algoritm (ja eriti normaliseeritud LMS) on praktikas laialt kasutatav algoritm Lihtne realiseerida Väike arvutusvõimsus LMS koondub, kui samm väiksem kui 2 / sisendsignaali võimsus Väike samm -> väike viga kuid aeglane koonduvus Suur samm -> suurem viga aga kiirem koonduvus Koonduvuse kulg sõltub sisendsignaali korrelatsioonimaatriksi omaväärtustest Robustne Vaatamata nimele ei ole LMS algoritm optimaalne ruutkeskmise vea mõttes

Vähimruutude meetod: 

Vähimruutude meetod Olgu meil füüsikaline nähtus, mis on kirjeldatav kahe andmehulga d ja x abil. d(i) on muutuja mida mõõdetakse ja ta on reaktsioon sisenditele x(i),...,x(i-M+1). Hüpoteesi kohaselt on d funktsionaalne sõltuvus sisenditest x(i),...,x(i-M+1) lineaarne. Seega Kaalud w on mudeli tundmatud parameetrid, eo(i) on mõõteviga. Selline mudel on tuntud lineaarse regressiooni nime all. Eeldame, et mõõteviga eo(i) on valge, nullise keskväärtusega juhuslik protsess. Vähimruutude meetod leiab regressioonikoeffitsiendid w minimiseerides mõõtevigade ruutude summat

Vähimruutude ja ruutkeskmise vea kriteeriumid: 

Vähimruutude ja ruutkeskmise vea kriteeriumid Ruutkeskmise vea kriteerium on kus Näiteks Gaussi jaotuse puhul omab jaotustihedusfunktsioon kuju Seega kasutamaks ruutkeskmise vea kriteeriumi on vajalik teada protsesside üle andsambli keskmistatud momente Vastandina sellele kontsentreerub vähimruutude meetod ühele protsessi realisatsioonile ja kasutab kriteeriumi:

Andmete aken: 

Andmete aken Erinevad aknad on määratud summerimisrajade i1 ja i2 valikuga. Valides i1=M ja i2=N saame nn. kovariatsioonimeetodi mille puhul andmete maatriks on Võimalik ka eeldada, et andmed enne ajahetke 1 ja peale ajahetke N on kõik nullid (korrelatsioonimeetod). Või üht kahest (prewindowing ja postwindowing).

Normaalvõrrandid: 

Normaalvõrrandid Mudel maatrikskujul: Kaofunktsioon: M N-M N-M M N-M Vähimruutude meetodi normaalvõrrandid:

Viga: 

Viga Asendame vähimruutude lahendi vea ruutude summa avaldisse saades:

Näide: 

Näide Olgu d(1),...,d(N) konstantse suuruse c korduval mõõtmisel saadud tulemused Lineaarne mudel: Valime: Vähimruutude meetodi lahend

Ajas keskmistatud korrelatsioonimaatriks: 

Ajas keskmistatud korrelatsioonimaatriks Vähimruutude meetodi normaalvõrrandid on kujult sarnased Wieneri teooria normaalvõrranditega. Võime defineerida ajas keskmistatud korrelatsioonimaatriksi ja ristkorrelatsiooni vektori kus Ehk vektorid x(i) on maatriksi X veerud.

Ajas keskmistatud korrelatsioonimaatriksi omadused: 

Ajas keskmistatud korrelatsioonimaatriksi omadused 1. Ajas keskmistatud korrelatsioonimaatriks on Hermiti maatriks 2. Ajas keskmistatud korrelatsioonimaatriks on mittenegatiivselt määratud 3. Ajas keskmistatud korrelatsioonimaatriksi omaväärtused on reaalsed ja mittenegatiivsed. 4. Ajas keskmistatud korrelatsioonimaatriks ei ole Toeplitzi maatriks, kuid avaldub kahe Toeplitzi maatriksi XH ja X korrutisena. NB! Oluline erinevus Wieneri teooriast!

Projektsiooni operaator: 

Projektsiooni operaator I-P P Vähimruutude hinnang andmetele d Tähistame P on projektsioonimaatriks, millega vasakult korrutamine projekteerib vektori d maatriksi X veergude poolt määratud alamruumi On P ortogonaalne täiend ja tema rakendamine vektorile d annab hinnangu vea

Ortogonaalsusprintsiip: 

Ortogonaalsusprintsiip Nii nagu Wieneri filtrite korral kehtib ka vähimruutude meetodi puhul ortogonaalsusprintsiip. Erinevalt Wieneri filtrite teooriast, kus ortogonaalsus defineeriti vektorite skalaarkorrutise matemaatilise ootuse kaudu on vähimruutude meetodi kontekstis ortogonaalsus määratud vektorite skalaarkorrutisega

Vähimruutude hinnangu omadused: 

Vähimruutude hinnangu omadused Lineaarse regressiooni mudelist Vähimruutude hinnang Kuna X on vaadeldav ja seega täpselt teada ning eo on nullise keskväärtusega valge juhuslik protsess, saame: Vähimruutude hinnang on seega nihketa. Hinnangu vea kovariatsioonimaatriks avaldub kujul:

Parim lineaarne hinnang (BLUE), valge ja nullise keskväärtusega e korral: 

Parim lineaarne hinnang (BLUE), valge ja nullise keskväärtusega e korral Olgu meil suvaline nihketa wo hinnang Kus B on M x N-M+1 maatriks. Võime kirjutada Kuna e on eelduse põhjal nullise keskväärtusega: ning selleks et hinnang oleks nihketa peab kehtima ja seega jääb Leiame kovariatsioonimaatriksi Defineerime Siis Ja kuna on garanteeritult positiivsed peab kehtima Seega vähimruutude hinnang on parim lineaarne hinnang kuna suvalise teise lineaarse hinnangu vea dispersioon on suurem või võrdne kui vähimruutude hinnangu vea dispersiooniga

Valge Gaussi müra: 

Valge Gaussi müra Kui e on valge protsess, mis allub normaaljaotusele siis vähimruutude meetodi hinnang on parim mitte ainult lineaarsete hinnangute klassis vaid üldiselt ehk ehk vea korrelatsioonimaatriks küünib Cramer-Rao tingimuste poolt määratud piirini. Kus J on Fisheri informatsioonimaatriks Ja l on logaritm tõepärafunktsioonist Normaaljoutuse korral saab näidata, et mis on eelnevalt leitud vea korrelatsioonimaatriksi pöördmaatriks

Lahutus singulaarväärtuste järgi (SVD): 

eeldab korrelatsioonimaatriksi Φ=XXH leidmist ja pööramist ning korrutamist eelnevalt leitud ristkorrelatsioonivektoriga z=Xd. See ei ole numbriliselt eriti hea protseduur, kuna andmed tulevad rehkendustesse sisse ruutudena ja nõuavad seega kahekordset dünaamilist diapasooni (poole rohkem bitte). Leides lahendi läbi singulaarväärtuste lahutuse õnnestub seda probleemi vältida. Defineerime maatriksi Lahutus singulaarväärtuste järgi (SVD) Vähimruutude meetodi hinnang, arvutatuna otse valemist siis Maatriksi X+ kutsutakse maatriksi XH Moore-Penrose’i pseudopöördmaatriksiks. Praktikas sisaldab XH tihtipeale üksteisest lineaarselt sõltuvaid veerge. Pseudopöördmaatriks ja SVD lubavad lahendada nii ülemääratud kui ka alamääratud võrrandisüsteeme.

SVD II: 

SVD II kus XH on M x K andmete maatriks, d on K x 1 vektor ja w on M x 1 hinnangu vektor. Korrutades vasakult X-ga saaksime normaalvõrrandid. Osutub, et mistahes XH puhul eksisteerivad kaks unitaarset maatriksi U ja V nii, et kehtib kus Σ on diagonaalmaatriks Olgu meil võrrandisüsteem ja singulaarväärtused on järjestatud UH XH V K K M M L M L K Σ 0 0 0 unitaarne andmed unitaarne diag. null x x =

SVD III: 

SVD III Olgu meil X+ maatriksi XH lahutus singulaarväärtuste järgi Lahendatav võrrandsüsteem võib olla kas alamääratud või ülemääratud. Mõlemil juhul avaldub lahend Ülemääratud süsteemi (võrrandeid rohkem kui tundmatuid) korral Alamääratud süsteemi (võrrandeid vähem kui tundmatuid) korral Kui lahendeid on rohkem kui üks saame tulemuseks vähima Eukleidese normiga lahendi.

XH pseudopöördmaatriksi omadused: 

XH pseudopöördmaatriksi omadused Penrous’i tingimused: Kui XH on mittesingulaarne ruutmaatriks siis

Näide: 

Näide Olgu meil võrrandsüsteem Siis XH lahutus singulaarväärtuste järgi (SVD) on Võrrandsüsteemi lahend: Kontroll:

Näide: 

Näide Valge x(n)

Näide: 

Näide x(n)= sin(2*π*n/8)

Kokkuvõte: 

Kokkuvõte Käesollev osa esitas lühikese ülevaate vähimruutude meetodist. Vähimruutude meetod on kasutatav leidmaks lineaarse regressioonivõrrandi kordajaid, ülessanne, mis langeb kokku lineaarse filtreerimise ülesande püstitusega. Näitasime,et kui mõõteviga on nullise keskväärtusega siis on vähimruutude meetodil saadud parameetrite hinnangud on nihketa ning juhul, kui mõõteviga on valge ja nullise keskväärtusega siis ka parimad võimalikud lineaarsed hinnangud. Kui mõõteviga valge Gaussi protsess, siis vähimruutude hinnang parim parameetrite hinnang üldse. Vähimruutude meetodi lahendi leidmiseks kasutasime SVD-l põhinevat protseduuri. Vähimruutude meetod rakendatav andmete blokile (mitterekursiivne)

RLS (Recursive Least Squares) rekursiivne vähimruutude algoritm: 

RLS (Recursive Least Squares) rekursiivne vähimruutude algoritm Igal sammul valime kaalud w, mis minimeerivad kaofunktsiooni Kus λ on unustamise faktor (forgetting factor), FIR filter

RLS II (korrelatsioonimaatriksi ja ristkorrelatsiooni vektori rekursioonid): 

RLS II (korrelatsioonimaatriksi ja ristkorrelatsiooni vektori rekursioonid) Kaaludevektor, mille puhul kaofunktsioon saavutab miinimumi on määratud normaalvõrranditega Eraldades võrranditest ajahetkele n vastavad liikmed saame rekursiivsed avaldised Kaalude leidmiseks vajaksime me aga hoopis rekursiooni korrelatsioonimaatriksi pöördmaatriksi tarvis.

Maatriksi pööramise lemma(matrix inversion lemma): 

Maatriksi pööramise lemma (matrix inversion lemma) Olgu A ja B kaks positiivselt määratud M x M maatriksi, D positiivselt määratud N x N maatriks ja C suvaline M x N maatriks Siis maatriksi A Pöördmaatriks avaldub kujul

RLS III (korrelatsioonimaatriksi pöördmaatriksi rekursioon): 

RLS III (korrelatsioonimaatriksi pöördmaatriksi rekursioon) Püüdes leida korrelatsioonimaatriksi pöördmaatriksi valime Siis korrelatsioonimaatriksi rekursiooni ja maatriksi pööramise lemma põhjal Tähistame: - Korrelatsioonimaatriksi pöördmaatriks - võimendus Nende tähistustega saame rekursiooni ümber kirjutada kujul Seega võimenduse vektror avaldub kui korrelatsioonimaatriksi pöördmaatriks korda sisendsignaali vektror

RLS IV (kaalude vektroi rekursioon): 

RLS IV (kaalude vektroi rekursioon) Normaalvõrranditest ja ristkorrelatsiooni vektori rekursioonist saame: Eelnevalt oli tuletatud korrelatsiooni- maatriksi pöördmaatriksi rekursioon: Asendame P(n) kaalude vektori valemi esimesse liikmesse: Meil oli võimenduse vektori tarvis: Asendades selle eelnevasse avaldisse saame: a priori viga a posteriori viga

RLS algoritm (kokkuvõte): 

RLS algoritm (kokkuvõte) Initsialiseerimine: Igal ajahetkel n=1,2,... rehkenda:

Initsialiseerimine: 

Initsialiseerimine Kuni meil ei ole mingit lisainfot on kaalude vektori mõistlik algvalik w(0) = 0 P on vaja initsialiseerida nii, et korrelatsioonimaatriks ei oleks singulaarne. Kindlustamaks seda lisame ülesandele väikse diagonaalmaatriksi. Seega on meil algväärtused: Osutub, et selline alglähtestamine modifitseerib ülesannet nii, et RLS leiab tegelikult järgneva optimiseerimisülesande rekursiivse lahendi: Parameeter δ soovitatakse valida oluliselt väiksem kui 0.01 korda sisenprotsessi x võimsus.

Näide: 

Näide Keskmistatud üle 100 realisatsiooni Valge x(n)

Analüüs: 

Analüüs Eeldades, et ümbrus on statsionaarne (wo on konstant) ja λ=1 ning kasutades sõltumatuse teooria eeldusi saab näidata, et kaalude vea korrelatsioonimaatriks avaldub kujul Õppimiskõver Seega: RLS algoritm koondub tüüpiliselt 2M iteratsiooniga n lähenemisel lõpmatusele läheneb õppekõver δ2-le (lisaviga puudub) Koonumine ei sõltu sisendsignaali korrelatsioonimaatriksist ja tema omaväärtustest

Naide: adaptiivne ekvilaiser: 

Naide: adaptiivne ekvilaiser

Näide: W mõju (LMS): 

Näide: W mõju (LMS) Keskmistatud üle 100 realisatsiooni

Näide: W mõju (RLS): 

Näide: W mõju (RLS) Keskmistatud üle 100 realisatsiooni

Näide: λ mõju (RLS): 

Näide: λ mõju (RLS) Keskmistatud üle 100 realisatsiooni

Sliding window RLS: 

Sliding window RLS t t Siiani kasutasime eksponantsiaalset mälu minimeerides Võimalik konstrueerida ka “libiseva täisnurkse aknaga” algoritm minimeerides Siis normaalvõrrandid avalduvad: Ja me võime algoritmi tuletada analoogiliselt eelnevale kasutades:

Kiired RLS algoritmid: 

Kiired RLS algoritmid RLS on O(M2) keerukusega Eksisteerivad ka O(M) keerukusega kiired algoritmid vt. näiteks J. Cioffi and T. Kailath “Fast Recursive-Least-Squares Transversal Filters for Adaptive Filtering,” IEEE Trans. on Acoustics Speech and Signal Processing, April 1984 D. Slock and T. Kailath “Numerically Stable Fast Transversal Filters for Recursive Least Squares Adaptive Filtering,” IEEE Trans. on Signal Processing, Jan 1991

Kokkuvõte: 

Kokkuvõte Tuletasime eksponentsiaalse unustamisega rekusiivse vähimruutude (RLS) algoritmi RLS koondub oluliselt kiiremini kui LMS RLS koonduvus ei sõltu sisendsignaali omaväärtustest Kui λ=1, koondub RLS-i lisaviga nulli iteratsioonide arvu lähenemisel lõpmatusele Vaatlesime RLS-i statsionaarses ümbruses

Muutuva süsteemi jälgimine: 

Muutuva süsteemi jälgimine Siiani vaatlesime LMS ja RLS tüüpi algoritme statsionaarses ümbruses s.t. otsitav süsteem ei muutunud ajas Lahendi adaptiivsus on olnud vajalik tundmatu kaaludevektori leidmiseks ja järk-järguliseks parendamiseks andmete saabumise taktis Praktiliselt adaptiivselt süsteemilt ootaks aga, et ta suudaks jälgida otsitava süsteemi “aeglaseid” muutusi Kui otsitav süsteem muutub ajas siis on ka ülesande Wieneri lahend ajas muutuv Kõigepealt eeldame me oma adaptiivselt filtrilt endiselt koonumist, aeglaste muutuste jälgimine lisandub tööle väljakujunenud rezhiimis Mittestatsionaarne võib olla kas ainult ristkorrelatsiooni vektor (süsteemi identifitseerimine) või nii ristkorrelatsiooni vektor kui sisendsignaali korrelatsioonimaatriks (adaptiivne ekvilaiser) Järgnevas vaatleme ajas muutuva süsteemi mõju süsteemi identifitseerimise ülesandele

Markovi mudel: 

Markovi mudel Eeldame, et meie süsteemi ajalised muutused on kirjeldatavad Markovi mudeli abil Kus a on fikseeritud mudeli parameeter ja ω on protssi müra vektor (vastandina mõõtemürale v. Eeldame, et protsessi müra on nullise keskväärtisega ja omab korrelatsioonimaatriksit Q. wo on seega madalpääsfiltreeritud ω, on soovitud signaal, mis sisaldab informatsiooni tundmatu süsteemi kohta, v on valge nullise kesväärtusega mõõtemüra on veasignaal. Me eeldame, et tundmatu süsteem ja tema adaptiivne hinnang on mõlemad FIR filtrid ja omavad sama palju koeffitsiente

Eeldused: 

Eeldused Protsessi müra vektor ω(n) on statistilieslt sõltumatu nii sisendsignaali vektorist x(n) kui mõõtemürast v(n) Sisendsignaali vektor x(n) ja mõõtemüra v(n) on teineteisest statistiliselt sõltumatud Mõõtemüra on valge, nullise keskväärtusega ja võimsusega

Kriteeriumid: 

Kriteeriumid 1. Kaalude vektori vea norm (mean square deviation) 2. Kõrvalehäälestatus (misadjustment) oli meil defineeritud kui lisavea võimusus jagatud minimaalse võimaliku vea võimsusega Sõltumatuse teooria eeldustest tulenevalt ja seega

LMS: 

LMS On võimalik näidata, et LMS algoritmi kaalude vektori vea norm avaldub Optimaalne sammu suurus saavutamaks vähimat kaalude vektori vea normi LMS kõrvalehäälestus avaldub kujul Optimaalne unustamise faktor saavutamaks vähimat kõrvalehäälestust

RLS: 

RLS On võimalik näidata, et RLS algoritmi kaalude vektori vea norm avaldub Optimaalne sammu suurus saavutamaks vähimat kaalude vektori vea normi RLS kõrvalehäälestus avaldub kujul Optimaalne unustamise faktor saavutamaks vähimat kõrvalehäälestust

Võrdlus: 

Võrdlus Seega, kui protsessi müra juhtub olema valge on LMS ja RLS algoritmi kaalude vektori vea normid D ja kõrvalehäälestused M võrdsed. Üldiselt, sõltuvalt R-st ja Q-st võib kas RLS või LMS anda parema tulemuse. Seega RLS koondub küll algselt kiirmini kui LMS kui ta ei ole parem muutuva süsteemi järgija kui LMS!!!

Näide: 

Näide Keskmistatud üle 100 realisatsiooni Valge x(n)

Kokkuvõte: 

Kokkuvõte RLS algoritmi esialgne koonduvus on kiirem LMS algoritmi esialgne koonduvus ning sõltumatu sisendsignaali korrelatsioonimaatriksist. Vaatamata sellele ei ole RLS algoritmi võime muutuvat süsteemi jälgida üldjuhul parem kui LMS algoritmi vastav võime.

LMSi ja RLSi vahepeal: 

LMSi ja RLSi vahepeal On suur hulk algoritme, mis asuvad oma omadustelt ja arvutuslikult keerukuselt LMS-i ja RLS-i vahepeal. Põhiline tähelepanek on see, et RLS pöörab M x M korrelatsioonimaatriksi. Seega pööratava korrelatsioonimaatriksi suurus määratud filtri pikkuse poolt. Loogilisem oleks siduda selle maatriksi suurus sisendsignaali omadustega. Ülevaate paljudest selle klassi algoritmidest leiab näiteks artikslist: S. Theodoridis ja M. Bellanger, “Adaptive Filters and Acoustic Echo Control,” IEEE Signal Processing Magazine, July, 1999

Newtoni meetod võrrandi lahendamiseks: 

Newtoni meetod võrrandi lahendamiseks Olgu meil vaja lahendada võrrand Eksisteerib mitmeid iteratiivseid algoritme, mis võimaldavad leida võrrandi nullkohti (lahendit). Newtoni meetod Kaofunktsiooni minimeerimise ülesande võib formuleerida võrrandi lahendamise ülesandena ja lahendada kasutades Newtoni meetodit

Intuitsioon: 

Intuitsioon dJ/dw=2w d2J/dw2 =2 w0=3 dJ/dw |w0 = 6 d2J/dw2 |w0 =2 w1= w0 -(J’/J’’ |w0 ) =3-6/2=0 w J=w2 2 0 -2 w0

Newton-Raphsoni meetod: 

Newton-Raphsoni meetod Samm Hessiani pöördmaatriksi ja gradiendi korrutisega määratud suunale vastupidises suunas Ruutkeskmine viga ja gradient sammul n: Newton-Raphsoni meetodit rakendav rekursioon:

Adaptiivsed quasi-Newton algoritmid: 

Käitudes Newton-Rapshoni algoritmiga sanaselt nagu me käitusime LMS algoritmi tuletamisel kiireima languse meetodist s.t. asendades gradiendi tema hetkehinnanguga ja korrelatsioonimaatriksi tema eksponentsiaalselt keskmistatud Toeplitzi aproksimatsiooniga saame Adaptiivsed quasi-Newton algoritmid kus Sammu suurus võib olla kas konstant või analoogiliselt normaliseeritud LMS-ga

Affine Projection Algorithm: 

Affine Projection Algorithm Eeldame, et signaalid on ergoodilised ja asendame üle andsambli keskmistamised ajas keskmistamistega. X on M x L sisendsignaali maatriks ja e on L x 1 vektor ja w on M x 1 vektor. Kaalude Newton-Rhapsoni iteratsioon oli Nüüd on meil vabadus valida, kui pikalt me keskmistame ehk millises suhtes on M (tundmatute arv) ja L (ajaliseks keskmistamiseks kasutatud võrrandite arv). Valides L > M saame midagi RLS taolist, kus tuleb pöörata M x M korrelatsioonimaatriksi. Valides L < M saame kasutades vastavat pseudopöördmaatriksi määratlust kasutades APA kaalude rekursiooni.

Affine Projection Algorithm II: 

Affine Projection Algorithm II Valides L=1 saame NLMS algoritmi. APA rekursioon Vea vektor! L mõistlik valida nii, et sisendsignaali L x L korrelatsioonimaatriks hõlmaks olulise informatsiooni sisendsignaali kohta

Näide: 

Näide [1-βz-1]-1 Keskmistatud üle 100 realisatsiooni

Affinse projektsiooni algoritm III: 

Affinse projektsiooni algoritm III Eksisteerivad kiired APA algoritmid keerukusega 2M+20L. Vt. S. Gay ja S. Tavathia, “The Fast Affine Projection Algorithm” Proc. IEEE ICAASP 1995 Nii nagu NLMS puhul on ka siin mõistlik lisada nimetajasse väike konstant. Tehes nii saame regulariseeritud afiinse projektsiooni algoritmi. Häid tulemusi annab ka:

Kokkuvõte: 

Kokkuvõte Eksisteerib terve hulk algoritme mis oma omadustelt ja arvutuslikult keerukuselt asuvad LMS ja RLS vahel. Vaatlesime Newtoni algoritme ja afiinse projektsiooni algoritme.

Sagedusvalla adaptiivsed algoritmid: 

Sagedusvalla adaptiivsed algoritmid Diskreetne Fourier teisendus: Maatrikskujul: Tähistame

IDFT: 

IDFT Diskreetne Fourier pöördteisendus: Maatrikskujul: F on ortogonaalne maatriks ja tema pöördmaatriks on

Filtreerimine (overlap save): 

Filtreerimine (overlap save) t diskreetne aeg y(t-4) y(t-2) y(t) . . . x(t-6) x(t-4) x(t-2) x(t) w (3 kaalu) Näiteks M=3

Filtreerimine (overlap add): 

Filtreerimine (overlap add) t diskreetne aeg w x M y1 L M+L x L y2 M+L t y=y1+y2+...

Tsirkulantmaatriks: 

Tsirkulantmaatriks Tsirkulantmaatriks on N x N ruutmaatriks, mille elemendid omandavad N erinevat väärtust c0, ..., cN-1 vastavalt seaduspärasusele Näiteks 4 x 4 tsirkulantmaatriks: Osutub, et DFT diagonaliseerib tsirkulantmaatriksi ehk tesite sõnadega tsirkulantmaariksi omavektorite maatriks on DFT maatriks ja omaväärtused on DFT tsirkulantmaatriksi esimesest reast

Tõestus: 

Tõestus Perioodilise signaali perioodiga N DFT signaali nihke omadusest: 4 x 4 tsirkulantmaatriks ehk m.o.t.t.

Reaalne blok LMS maatrikstähistuses: 

Reaalne blok LMS maatrikstähistuses t diskreetne aeg

Tsirkulaarne X laiend: 

Tsirkulaarne X laiend Moodustame andmete maatriksist tsirkulaarse maatriksi. Olgu näiteks L= M = 2, siis Ning tema tsirkulaarne laiend Veergude eraldamiseks kasutame maatriksi korrutist:

Tsirkulaarne X laiend II: 

Tsirkulaarne X laiend II Ja kuna X asub tsirkulaarse laiendi vasakus alumises nurgas saame Samuti ridade eraldamiseks Kuna XTs reaalne maatriks on tema tavaline ja Hermiti transpositsioonid võrdsed

Slide136: 

Asendame Blok LMS võrranditesse saame Defineerime kaalude DFT vektori Ja kasutades seda saame

Slide137: 

FFT x x IFFT Jäta alles L diskreeti Σ - d Lisa M nulli e FFT x IFFT Võrdsusta L diskreeti nulliga FFT x Σ viide Kaaskompleks µ f(t) f(t+1) Gradiendi piirang (gradient constraint)

Normaliseerimine: 

Normaliseerimine Eelnevalt tuletus lähtus blok LMS algoritmist ja ka tema omadused on sarnased blok LMS omadustega. Parema koonduvuse saame normaliseerides võimsusspektriga:

Näide: 

Näide Keskmistatud üle 100 realisatsiooni [1-βz-1]-1

Arvutuslik keerukus: 

Arvutuslik keerukus M+L punkti FFT keerukus 3 FFT ja 2 IFFT + 2 (M+L) vektorit elemendi kaupa korrutamist + 1 L vektorite lahutamine + lineaarse keerukusega normaliseerimine Seega kogu keerukus väljunddiskreedi kohta Sage valik M=L ja siis saame eelnevast Pikkade filtrite korral sagedusala algoritmid väiksema keerukusega kui LMS. Viide!

Piiramata gradiendiga algoritm: 

Piiramata gradiendiga algoritm Saadakse eelnevast jättes ära gradiendi piirangu

Ortogonaalne teisenduse kasutamine koonduvuse kiirendamiseks: 

Ortogonaalne teisenduse kasutamine koonduvuse kiirendamiseks Libiseva aknaga DFT arvutab uued X igal ajahetkel, mitte iga bloki jaoks. DFT siin kasutusel jagamaks ülesannet N sageduskanaliks, igas neist oma adaptiivne algoritm. Sammud pöördvõrdelised võimsusega antud kanalis.

DFT kui filterbank: 

DFT kui filterbank Diskreetset Fourier teisendust võib käsitleda kui N filtrist koosnevat filtrite patareid impulsskarakteristikutega

Ortogonaalne teisenduse kasutamine koonduvuse kiirendamiseks II: 

Ortogonaalne teisenduse kasutamine koonduvuse kiirendamiseks II

Subband filtering: 

Subband filtering Eelnevalt nägime, et DFT-d võib käsitleda mitte just liiga headest filtritest koosneva patareina. Subband töötluse idee on jagada töödeldavad signaalid kitsastesse sageduskanalitesse kasutades paremaid ribafiltreid, diskretiseerida madalama sagedusega, teha töötlus ning lõpuks taastada esialgne diskretiseerimissagedus.

Slide146: 

Adaptiivne filter, mis töötab kahes sageduslikus kanalis.

Filtrid: 

Filtrid f f Quadrature Mirror Filters võimaldavad täpset rekonstruktsiooni kriitlise vahepealse diskreetimissagedusega. vt. nt. P. Vaidyanathan ”Quadrature Mirror Filter Banks, M-band extensions and Perfect Reconstruction Techniques” IEEE ASSP Magazine July 1987. Kriitiline (2x) fd Tüüpiline valik kriitilise diskr. sageduse puhul:

Kokkuvõte: 

Kokkuvõte Kahte tüüpi sagedusvalla algoritme Esimene kasutab ära DFT-d konvolusiooni kiireks arvutamiseks Teine kasutab signaali lahutust kitsamatesse sageduslikesse kanalitesse ja diskreetimissageduse vähendamist Arvutuslik keerukus tihti väiksem kui vastavatel ajavalla algoritmidel (pikk filter) Koonduvuskiirust õnnestub reguleerida individuaalse sammu normaliseerimisega Toovad sisse ajalise viite sisendist väljundisse. Ülevaade: J. Shynk “Frequency-Domain and Multirate Adaptive Filtering,” IEEE Signal Processing Magazine, Jan. 1992

Fikseeritud komaga aritmeetika: 

Fikseeritud komaga aritmeetika sisend δ/2 -3δ/2 3δ/2 -5δ/2 Kvantiseerimine: Kvantiseerimisviga η ühtlase jaotusega Kvantiseerimisvea võimsus siis: Olgu sisend skaleeritud vahemikku (-1, +1] ja esitatud B biti + märgibit abil. Kvantiseerimissamm avaldub siis Ning kvantiseerimisvea võimsus

LMS: 

LMS Q Q Σ Q Adaptsioon x(n) xq(n) yq(n) dq(n) d(n) - eq(n) LMS rekursioon fix komaga aritmeetikas

Vead: 

Vead Sisend- ja soovitudsignaali kvantiseerimisvea võimsus on Filtri väljundsignaali kvantiseerimisvea võimsus on kus c sõltub kuidas filtri väljundsignaal arvutatakse c = M, kui iga liige kvantiseeritakse individuaalselt c = 1, kui kvantiseeritakse ainult väljundsignaal Filtreerimine ei kujuta endast tänapäevastes fikseeritud komaga aritmeetikaga signaaliprotsessorites enamasti probleemi, küll aga peab olema tähelepanelik kaalude rekursiooniga, kus esineb nn. “hangumisefekt”.

Näide: UjukomaNLMS: 

Näide: Ujukoma NLMS Keskmistatud üle 100 realisatsiooni Valge x(n)

Näide: Fix komaNLMS: 

Näide: Fix koma NLMS Keskmistatud üle 100 realisatsiooni Valge x(n)

Parameter drift: 

Parameter drift Juhul kui sisendsignaal x ei ole “persistently exciting” (persistentselt ergutav on lahendataval ülesandel lõpmata palju lahendeid millede vahel adaptiivne algoritm võib ujuda. Osad lahenditest sisaldavad väga suuri filtri koefitsiente See võib osutuda probleemiks fikseeritud komaga aritmeetikas, kus kaaludel on selge lubatud dünaamiline diapasioon Võimalik adaptiivse filtri järsk hajumine hetlel kui kaalud tahaksid minna üle piiri aga piiratakse aritmeetika poolt Nähtuse vältimiseks on soovitatud kasutada lekkivat LMS-i

RLS: 

RLS Üheks suuremaks probleemiks siin on, et korrelatsioonimaatriksi pöördmaatriks P(n) leitakse igal sammul kui kahe mittenegatiivselt määratud maatriksi vahe. Algoritmi plahvatuslik hajumine esineb kui P(n) kaotab arvutusvigade tõttu oma positiivse määratuse või hermiti sümmetria. Eksisteerib mitmeid RLS modifikatsioone, mis väldivad plahvatuslikku hajumist vt. näiteks S. Haykin “Adaptive Filter Theory”

RLS algoritmi hangumine: 

RLS algoritmi hangumine Nagu LMS-i, nii esineb ka RLS-i puhul algoritmi hangumine, kui λ on lähedal ühele. RLS kontekstis kasutasime korrelatsioonimaatriksi seega Suure n korral sulgudes ligikaudu geomeetrilise rea summa ja seega Ja vastavalt Normeerime korrelatsioonimaatriksi, RLS algoritm võib hanguda (P(n) -> 0), kui λ on lähedal ühele ja sisendsignaal suure võimsusega.

Kokkuvõte: 

Kokkuvõte Fikseeritud komaga aritmeetika lisab mõned momendid, mida tähele panna LMS puhul võimaldab sammu suuruse vähendamine väljundviga vähendada ainult selle piirini, kus ümardamisvead kaalude rekursioonis muutuvad määravaks. RLS puhul tuleb jälgida, et ümardamisvigade tõttu ei kaotataks algoritmi stabiilsust.

Kalmani filter: 

s – oleku vektor F – oleku muutuse maatriks v1 – protsessi müra y – väljundvektor C – mõõtemaatriks v2 - mõõtemüra Kalmani filter Vaatleme järgnevat olekuruumi mudelit: Oleku võrrand Mõõtevõrrand Kasutades mõõtetulemusi y(k), k=1,...,n leida oleku s ruutkeskmine hinnang s(n+1) s(n)

Kalmani filter II: 

Kalmani filter II Andmed (mõõtetulemused): Tuntud suurused: Oleku muutuse maatriks Mõõtemaatriks Protsessi müra korrelatsioon Mõõtemüra korrelatsioon Initsialiseerimine: Arvutused igal iteratsioonil: Võimendus Innovatsioon Oleku hinnang Riccati võrrandid ennustatud vea korrelatsioonimaatriksi leidmiseks

Vaba dünaamikaga Kalmani filter: 

Vaba dünaamikaga Kalmani filter Kõrvaldame eelnevast mudelist olekut muutusele sundivad liikmed F ja v1 ning oletame et meil on skalaarne väljund y(n).

Kalmani filter ↔ RLS: 

Kalmani filter ↔ RLS Saame ühest teise kui valime

Kokkuvõte: 

Kokkuvõte Kalmani filter on vähima ruutkeskmise vea mõttes parim lineaarse süsteemi oleku jälgija Vaba dünaamikaga Kalmani filter on väga sarnane RLS algoritmiga Seega RLS eeldab, et süsteem ei muutu ajas, mis seletab, miks ta ei jälgi süsteemi paremini kui LMS Vt. näiteks. A. Sayed, T. Kailath “State-Space Approach to Adaptive RLS Filtering,” IEEE Signal Processing Magazine, July 1994

Semestri töö esitamine 9. mai kell 8.00 ja 15. mai kell 14.00, a 30 min.: 

Semestri töö esitamine 9. mai kell 8.00 ja 15. mai kell 14.00, a 30 min.

EKSAM: 

EKSAM Kodutööd hiljemalt 15. maiks Eksam: 22. mai kell 9.00, III 224 29. mai kell 9.00, III 224