Kursen består av fyra moduler och 16 ämnen, cirka fyra nyckelämnen kommer att behandlas i varje modul. Inom varje modul planeras följande undervisningsaktiviteter: två föreläsningar, en lista med tilldelat läsmaterial, ett till två frågesporter och en inlämningsuppgift. I varje föreläsning kommer instruktören att introducera de teoretiska begreppen för nyckelämnena i den modulen. Efter varje föreläsning får studenterna sedan en vecka på sig att läsa relaterat material och öva sina kunskaper i frågesporter och uppgifter. Eleverna kommer att arbeta i en grupp om 3-4 för att slutföra ett slutprojekt. I slutprojektet kommer varje studentgrupp att välja flera ämnen som lärs ut i kursen och praktisera dem i en fallstudie genom att utforma och implementera strategin, analysera och utvärdera strategins effektivitet.
FDD3559 LLMs för datavetare 7,5 hp
LLM för datavetare-kursen är utformad för att förbereda studenter med en djup förståelse av principerna och praxis som är involverade i att bygga stora språkmodeller (LLMs). Genom en omfattande utforskning avfyra huvudmoduler, inklusive grunderna för LLM:er, nyckel LLM-modellarkitekturer, tekniker för byggnad som prompt, RAG, agenter och finjusterings- och optimeringstekniker, integrerar kursen teoretiska insikter med praktiska tillämpningar. Efter genomgången av kurs kommer studenterna att kunna (1) Beskriva nyckelarkitekturer för LLM-modeller; (2) Förklara de grundläggande byggstenarna i LLM:er; (3) Demonstrera och genomföra viktiga steg för att bygga LLM:er. (4) Analysera och utvärdera finjusteringsstrategier och optimeringstekniker för LLM.
Information per kursomgång
Kursomgångar saknas för aktuella eller kommande terminer.
Kursplan som PDF
Notera: all information från kursplanen visas i tillgängligt format på denna sida.
Kursplan FDD3559 (VT 2025–)Innehåll och lärandemål
Kursupplägg
Kursinnehåll
Denna kurs syftar till att förbereda eleverna med en djup förståelse av principerna och praxis som är involverade i att bygga stora språkmodeller. Kursen kombinerar teoretisk kunskap med praktik via demonstration i användningsfall för att stödja studenterna att tillämpa den inlärda kunskapen i sitt eget forskningsarbete. Huvudämnena som behandlas i kursen inkluderar:
1)Modul 1: Introduktion till LLM:er: Historia och utveckling av LLM; Byggstenar för LLM; Viktiga LLM-arkitekturer; Miljomässiga, beräkningsmässiga och etiska överväganden
2)Modul 2: Grunderna för LLM:er: LLM i praktiken; Uppmaning; TRASA; LangChain och Llamaindex.
3)Modul 3: Bygga LLM:er: Fråga med LangChain; Index, retrievers och databeredning; Avancerad RAG; Agenter;
4)Modul 4: Finjustera LLM:er: Första finjustering; Lågrankad anpassning; LLM-distribution; Kvantisering och beskärning
Kursen har fyra moduler som är särskilt utformade för att förbereda eleverna för de fyra första avsedda lärandemålen. Dessutom ska studenterna tillämpa förvärvade kunskaper i slutprojektet och skriva och presentera projektet för att visa att de femte intjäningsmålen uppnås.
De två första modulerna fokuserar på grundläggande teoretiska kunskaper medan den tredje och fjärde modulen fördjupar kunskaperna från de två första modulerna genom att tillämpa i praktiska användningsfall. I slutet av varje modul kommer studenterna att bedömas med frågesporter och uppgifter för att utveckla djupt lärande.
Lärandemål
1L01: Beskriv de grundläggande koncepten för nyckelarkitekturer för LLM-modeller och deras tillämpningsområden
1L02: ldentifiera och beskriv de grundläggande byggstenarna i LLMs, prompting och RAG
1L03: Visa förståelse och genomföra viktiga steg för att bygga LLM:er i ramverken LangChain och Llamalndex
1L04: Analysera och utvärdera finjusteringsstrategier och optimeringstekniker för LLM
1L05: Designa och genomföra ett kvalificerat och kvantifierbart användningsfall som tillämpar LLM-tekniker relaterade till egen forskning
Kurslitteratur och förberedelser
Särskild behörighet
Antagen som forskarstuderande i datavetenskap
Kurslitteratur
Examination och slutförande
När kurs inte längre ges har student möjlighet att examineras under ytterligare två läsår.
Betygsskala
Examination
- LAB1 - Laborationer, 1,0 hp, betygsskala: P, F
- LAB2 - Laborationer, 1,0 hp, betygsskala: P, F
- LAB3 - Laborationer, 1,0 hp, betygsskala: P, F
- LAB4 - Laborationer, 1,0 hp, betygsskala: P, F
- PRO1 - Projekt, 3,5 hp, betygsskala: P, F
Examinator beslutar, baserat på rekommendation från KTH:s handläggare av stöd till studenter med funktionsnedsättning, om eventuell anpassad examination för studenter med dokumenterad, varaktig funktionsnedsättning.
Examinator får medge annan examinationsform vid omexamination av enstaka studenter.
Kursen har fyra moduler och varje modul består av en inlämningsuppgift och ett frågesport. Kursen är utformad så att en senare modul förlitar sig på genomgången av tidigare moduler så att kunskapen kan ackumuleras och byggas upp.
Varje student ska också genomföra ett slutprojekt som de behöver för att lämna in en slutrapport och även göra en presentation om projektet. Projektet kommer att utvärdera läranderesultatet på design och genomföra ett kvalificerat och kvantifierbart användningsfall som tillämpar LLM-tekniker relaterade till sin egen forskning.
Kursen utvärderas successivt genom flera delar under hela kursen. Komponentema för 7,5 hp kursen är:
•Fragesport x 4: Fyra prov i form av frågesporter som testar de kunskaper elevema tillägnat sig i modulema. Ett test per modul. P /F.
•Uppgifter x 4: Fyra uppgifter som består av en uppsättning teoretiska frågor som testar studentens förståelse av kunskap och begrepp och en uppsättning programmeringsuppgifter som testar studentens praktik i att tillämpa kunskapen i LLM-ramverk. En uppgift per modul. P /F.
•Slutprojekt x 1: Slutprojektet kräver att varje student eller grupp lämnar in en rapport som tillämpar kursens ämnesområden i sin egen forskning och ger en muntlig presentation.
Övriga krav för slutbetyg
Inga
Examinator
Etiskt förhållningssätt
- Vid grupparbete har alla i gruppen ansvar för gruppens arbete.
- Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.
- Vid muntlig examination ska varje student kunna redogöra för hela uppgiften och hela lösningen.