DD2437 Artificiella neuronnät och djupa arkitekturer 7,5 hp

Kursen berör beräkningsproblem i massivt parallella artificiella neurala nätverksarkitekturer (ANN), som bygger på distribuerade enkla beräkningsnoder och robusta inlärningsalgoritmer som iterativt anpassar ansutningarna mellan noderna genom att i stor utsträckning använda tillgängliga data. Inlärningsregeln och nätverksarkitekturen avgör ANNs specifika beräkningsegenskaper. Kursen erbjuder en möjlighet att utveckla den konceptuella och teoretiska förståelsen av beräkningsförmågan hos ANNs med utgångspunkt i enklare system för att sedan gradvis studera mer avancerade arkitekturer. Därmed studeras en stor bredd av inlärningstyper – från strikt övervakade till rent explorativt oövervakade lägen. Kursens innehåll inkluderar därför bl.a. multi-layer perceptrons (MLPs), self-organising maps (SOMs), Boltzmann-maskiner, Hopfield-nätverk och state-of-the-art djupa neurala nätverk (DNNs) tillsammans med motsvarade inlärningsalgritmer. Ett viktigt kursmål är att studenterna ska erhålla praktisk erfarenhet av att välja, utveckla, tillämpa och validera lämpliga nätverk och algoritmer för att effektivt kunna hantera en bred klass av regression, klassificering, temporal prediktion, datamodellering, explorativ dataanalys och klustringsproblem. Slutligen ger kursen avslöjande insikter i principerna om ANNs generaliseringskapacitet, vilka ligger till grund för dess prediktiva kraft.

Efter kursen ska studenten kunna 

• beskriva strukturen och funktionen hos de vanligaste artificiella neurala nätverkstyperna (ANN), t.ex. (framåtkopplade) multi-layer perceptron, rekurrenta nätverk, self-organising maps, Boltzmann-maskin, deep nelief networks, autoencoder, och ge exempel på deras tillämpningar
• förklara mekanismer för övervakat(supervised)/oövervakat(unsupervised) lärande från data- och informationsbehandling i olika ANN-arkitekturer, samt redogöra för derivat av de grundläggande ANN-algoritmer som diskuteras i kursen
• visa när och hur djupa arkitekturer leder till ökad prestanda i mönsterigenkänning och datautvinningsproblem
• kvantitativt analysera processen och resultaten av lärandet i ANN, och redogöra för deras brister och begränsningar
• tillämpa, validera och utvärdera föreslagna typer av ANN i typiska mindre problem inom regression, förutsägelse, mönsterigenkänning, schemaläggning och optimering
• utforma och implementera ANN-metoder för utvalda problem i mönsterigenkänning, systemidentifikation eller prediktiv analys med hjälp av allmänt tillgängliga utvecklingsverktyg och kritiskt granska deras användbarhet

för att studenten ska

• erhålla en förståelse för den tekniska potentialen samt fördelar och begränsningar i dagens lärande, adaptiva och självorganiserande system,
• förvärva ANN-utövarens praktiska kompetens att tillämpa och utveckla ANN-baserade lösningar på dataanalysproblem.

Kunskaper och färdigheter i programmering, 6 hp, motsvarande slutförd kurs DD1337/DD1310-DD1319/DD1321/DD1331/DD100N/ID1018.

Kunskaper i linjär algebra, 7,5 hp, motsvarande slutförd kurs SF1624/SF1672/SF1684.

Kunskaper i flervariabelanalys, 7,5 hp, motsvarande slutförd kurs SF1626/SF1674.

Kunskaper i sannolikhetslära och statistik, 6 hp, motsvarande slutförd kurs SF1910-SF1924/SF1935.

Motsvarande de för D, E eller F obligatoriska kurserna i matematik, numeriska metoder och datalogi.

[1] Stephen Marsland. Machine Learning, an Algorithmic Perspective, 2009, CSC-Press.

[2] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep learning., 2016, MIT press.

Ytterligare rekommenderad läsning kommer att tillkännages på kursens hemsida.

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

• KON1 - Kontrollskrivning, 1,5 hp, betygsskala: P, F
• LAB2 - Laborationsuppgifter, 4,0 hp, betygsskala: P, F
• TEN3 - Skriftlig tentamen, 2,0 hp, betygsskala: A, B, C, D, E, FX, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Enskilda laborationer kan tillgodoräknas senare kursomgångar så länge laborationsuppgiften är oförändrad (inga bonuspoäng för andra laborationer räknas).

Om tentamen/omtentamen genomförs i senare kursomgångar ska alla bonuspoäng avräknas.

Pawel Andrzej Herman

• Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
• Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
• Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.

Den tidigare skriftliga tentamen TEN2 (3,5 hp) ersätts av skriftliga tentamen TEN3 (2 hp) och tre kontrollskrivningar som kombineras till momentet KON1 (1,5 hp). Examination kan under läsåret 2022/2023 genomföras inom ramen för tidigare tillfällen (med TEN2) eller den nya modellen med TEN3 och KON1 (som tillsammans kan behandlas som tidigare moment TEN2).

I denna kurs tillämpas EECS hederskodex, se:
http://www.kth.se/eecs/utbildning/hederskodex