EL2810 Maskininlärningsteori 7,5 hp

Ämne 1. Introduktion
Huvudtyper av lärande: väglett lärande, icke-väglett lärande och förstärkningslärande, och deras matematiska formalisering (inmatnings- och etikettutrymmen, hypotesklasser, förlustfunktion).
Ämne 2. PAC ram och empirisk riskminimering
Konceptet förmodligen ungefär korrekt (Probably Approximately Correct, PAC) lärbarhet. Orakelojämlikhet och avvägning mellan bias-varians. Empirisk riskminimeringsprincip. Överanpassning och No-Free-Lunch-satsen. Enhetlig konvergens.
Ämne 3. Koncentrationsskillnader
Markov-, Chebyshev- och Chernoff-gränser. Sub-gaussiskt slumpmässiga variabler. Hoeffdings lemma och ojämlikhet. Gränsskillnad (McDiarmid) ojämlikhet.
Ämne 4. Vapnik-Chervonenkis (VC) Teori
PAC-inlärbarhet för ändliga hypotesklasser. Splittring och VC-dimension. Sauer-Shelahs lemma. Rademachers komplexitet. Grundläggande teorem om PAC-lärande.
Ämne 5. Linjär klassificering och regression
Linjära prediktorer. Linjär klassificering. Perceptronalgoritmer. Tillämpning av VC-teori på flerlagriga neurala nätverk. Logistisk och linjär regression.
Ämne 6. Regularisering, stabilitet och optimering
Regulariserad riskminimering. Algoritmisk stabilitet och dess tillämpning på generaliseringsgränser för regulariserad riskminimering. Algoritmer för konvex inlärning: gradientnedstigning, nedgradering och stokastisk nedstigning.
Ämne 7. Stödvektormaskiner och kärnmetoder
Introduktion till SVM med hårda och mjuka marginaler. Prestationsgränser för SVM med hård och mjuk marginal. Inlärningsalgoritmer för SVM. Kärnmetoder; linjär separering med hjälp av inbäddningar. Kärntrick och representantens teorem; tillåtna kärnor.
Ämne 8. Djupa neurala nätverk
Neurala nätverk och representationssatser. Träning av neurala nät med backpropagation. Bortfall som en regulariseringsmetod. Nya resultat om förlustytan och lokala minima för neurala nätverk. Ny teoretisk utveckling som motiverar djupt lärande.
Ämne 9. Kluster. Klustervalidering och -algoritmer
Prestandamätvärden för kluster. Moderna klusteralgoritmer. Klustervärdering. K-medel och dess prestandagarantier. EM-algoritmen och dess prestanda för Gaussiska blandningar. Spektralkluster, slumpmässig matristeori och koncentration.
Ämne 10. Aktiv inlärning, onlineoptimering och sekventiellt beslutsfattande
Introduktion till banditproblem och förstärkningslärande. Avvägning mellan prospektering och exploatering. Grundläggande gränser via argumenten för måttändring. Exempel på algoritmer och deras garantier. Bästa policyidentifiering mot ångerminimering.

Efter godkänd kurs ska studenten kunna

• härleda och applicera de grundläggande teoretiska verktygen som används vid modern maskininlärning
• beskriva kända prestationsgarantier för viktiga maskininlärningsalgoritmer.

Följande är rekommenderade förkunskaper, dock inget krav för att få läsa kursen

• flervariabel analys, till exempel SF 1626 eller motsvarande
• sannolikhetsteori och statistik, till exempel SF 1924 eller motsvarande
• grundläggande numeriska metoder, till exempel SF1516 eller motsvarande

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

• HEM1 - Hemuppgift, 1,0 hp, betygsskala: P, F
• HEM2 - Hemuppgift, 1,0 hp, betygsskala: P, F
• LAB1 - Laboration, 1,0 hp, betygsskala: P, F
• LAB2 - Laboration, 1,0 hp, betygsskala: P, F
• TEN1 - Skriftlig tentamen, 3,5 hp, betygsskala: A, B, C, D, E, FX, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Cristian Rojas

Alexandre Proutiere

• Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
• Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
• Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.