Hoppa till huvudinnehållet

FID3025 Konstruktion av effektiv AI-maskinvara genom utforskning av teknologi- och arkitekturdesignrymden 7,5 hp

Denna kurs kommer att lära deltagarna hur man designar effektiv AI-hårdvara som är 3-4 gånger mer effektiv än GPU: er och FPGA: er. I huvudsak syftar kursen till att lära ut hur man uppnår icke-inkrementella förbättringar av beräknings-, kisel- och teknikeffektivitet. Kursen kommer specifikt att fokusera på allmänt använda artificiella neurala nätverk såsom CNN, LSTM och SOM och visa hur man analyserar deras krav samt vad de arkitektoniska och tekniska alternativen är för att göra avvägningar för att hitta optimala lösningar. Kursen kommer också att täcka hur man gör avvägningar för att balansera implementeringskostnader kontra neuronätverkens noggrannhet.

Kursomgångar saknas för aktuella eller kommande terminer.
Rubriker med innehåll från kursplan FID3025 (HT 2020–) är markerade med en asterisk ( )

Innehåll och lärandemål

Kursupplägg

Kursen kommer att organiseras i form av

  1. Inledande föreläsningar som introducerar utmaningen och forskningsrapporterna som diskuterar dessa utmaningar och lösningar. Denna del av kursen kommer att omfatta 4-5 föreläsningar, fördelade över två veckor. Efter varje föreläsning tilldelas eleverna läsmaterial och vilka specifika frågor de förväntas svara på i sina rapporter och presentationer. OBS: studenterna har inga presentationer eller rapporter att inlämna under kursens två första veckor, men de börjar arbeta med dem. Dessa föreläsningar kommer att omfatta a) Kravanalys, b) Lagring och ledningar/kopplingsteknologi och avvägningar och c) Aritmetiska implementeringsalternativ.
  2. Studentpresentationer och gruppdiskussioner om toppmoderna lösningar. Studenter kommer att presentera under de efterföljande 3 veckorna, 4 x 30 min presentationer, var och en med ytterligare 15 minuter reserverade för diskussion. Varje presentation kommer att involvera en presentatör och två aktiva lyssnare. Eleverna måste göra en rapport baserad på sin presentation och den feedback de får från läraren och den aktiva lyssnarna. I tredje och fjärde veckan introduceras och tilldelas projekten, tillsammans med formatet som eleverna skickar in sin projektrapport.
  3. Studentpresentationer av sina projekt. Under den femte och sjätte veckan arbetar eleverna med sina projekt och förbereder projektpresentationen och rapporten. Läraren är tillgänglig för diskussioner på begäran. Under veckorna 7/8 kommer projektpresentationerna att ges och rapporterna att lämnas in.

Kursinnehåll

Kursen består av följande två moduler:

Kravanalys

I den här modulen studerar vi hur man systematiskt extraherar krav på beräkningsoperationer, datatyper, ledningar/kopplingar och datalagring. Dessa krav är logiska till sin natur och oberoende av implementeringsstil. Många exempel från verkligheten kommer att diskuteras under föreläsningar och eleverna får lösa problem för att få praktisk erfarenhet.

Att kunna förstå energikraven är det första steget i att skapa lågenergi-, och därmed hållbara, lösningar.

Konstruera AI-hårdvara och förstå tekniska och arkitektoniska avvägningar

I denna modul studerar vi vad som är de arkitektoniska avvägningarna vid implementering av AI-hårdvara. Vi går in på detaljerna i minneshierarkin och deras teknikalternativ. Minne är den mest dominerande kostnadskomponenten och vi studerar hur man utnyttjar temporär lokalitet för att minimera kostnaden för minneslagring och dataåtkomst.

Bredvid minnet är ledningar/kopplingar den största utmaningen. Ledningar har den värsta skalningsaspekten av tekniken idag. Till exempel, att flytta data med 1 mm på ett chip har jämförbara energikostnader med en singel-precisions flyttalsoperation. Förutom energikostnader spelar ledningar/kopplingar också en stark roll i arkitektoniska beslut. Till exempel är det ett vanligt misstag att öka parallelliteten i beräkningarna utan att samtidigt öka parallelliteten i åtkomst till data. Vi visar hur vi kan göra konstruktioner som möjliggör ökad beräkning med matchande ökning av bandbredden till minnet.

Slutligen studerar vi också vilka alternativ som finns för att implementera de aritmetiska operationerna i Neurala Nätverk. Vi studerar hur man gör avvägningar när det gäller noggrannhet visavi implementeringskostnader med hjälp av en konkret fallstudie från fältet bakterie-genom-igenkänning.

Att känna till dessa arkitektoniska och teknologiska alternativ för att minska energi kommer att bidra till hållbara AI-lösningar.

Lärandemål

Efter att ha gått denna kurs kommer eleverna att kunna

  1. Analysera kraven för ett verkligt maskininlärningsproblem vad gäller lagring, beräkning och effektförbrukning,
  2. Ta välgrundade beslut baserat på tillgänglig teknik, arkitektoniska alternativ, exakta uppskattningar av area, prestanda och energi som bäst uppfyller målen för maskininlärningsproblemet,
  3. Skapa anpassade AI-lösningar med låg energi som bidrag till en hållbar utveckling,
  4. Utvärdera stora forskningstrender och förstå vilka de öppna utmaningar är som samhället fokuserar på.

Kurslitteratur och förberedelser

Särskild behörighet

Registrerad som doktorand.

Rekommenderade förkunskaper

Doktoranderna förväntas ha en god förståelse för neurala nätverk och hur de används. Studenter förväntas också ha god förståelse för datorarkitektur och principer för digital design.

Utrustning

Ingenting

Kurslitteratur

A selection of tutorials, survey and research papers will be provided.

Examination och slutförande

När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.

Betygsskala

P, F

Examination

  • EXA1 - Skriftlig examination, 7,5 hp, betygsskala: P, F

Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.

Examinator får medge annan examinationsform vid omexamination av enstaka studenter.

Små projekt kommer att definieras med tanke på elevernas eller studentgruppernas forskningsintressen.

Studenterna kommer att tilldelas papper att läsa och presentera för klassen. Deras presentation kommer att användas för att bedöma hur väl de har tagit igenom innehållet i uppsatsen och relaterat till deras problem.

Övriga krav för slutbetyg

För att få godkänt betyg måste eleverna delta i minst 80% av lektionsundervisningen, lämna in alla uppgifter och ge den slutliga presentationen av sitt projekt.

Möjlighet till komplettering

Ingen information tillagd

Möjlighet till plussning

Ingen information tillagd

Examinator

Etiskt förhållningssätt

  • Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
  • Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
  • Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.

Ytterligare information

Kursrum i Canvas

Registrerade studenter hittar information för genomförande av kursen i kursrummet i Canvas. En länk till kursrummet finns under fliken Studier i Personliga menyn vid kursstart.

Ges av

Huvudområde

Denna kurs tillhör inget huvudområde.

Utbildningsnivå

Forskarnivå

Påbyggnad

Ingen information tillagd

Kontaktperson

Ahmed Hemani (hemani@kth.se)

Forskarkurs

Forskarkurser på EECS/Elektronik och inbyggda system