LLM Training
Ovo su moje beleške iz veoma preporučene knjige https://www.manning.com/books/build-a-large-language-model-from-scratch sa dodatnim informacijama.
Basic Information
Trebalo bi da počnete čitanjem ovog posta za neke osnovne koncepte koje treba da znate:
0. Basic LLM Concepts1. Tokenization
Cilj ove inicijalne faze je veoma jednostavan: Podeliti ulaz u tokene (ids) na način koji ima smisla.
2. Data Sampling
Cilj ove druge faze je veoma jednostavan: Uzmite uzorak ulaznih podataka i pripremite ih za fazu obuke obično razdvajanjem skupa podataka na rečenice određene dužine i generisanjem očekivanog odgovora.
3. Token Embeddings
Cilj ove treće faze je veoma jednostavan: Dodeliti svakom od prethodnih tokena u rečniku vektor željenih dimenzija za obuku modela. Svaka reč u rečniku će biti tačka u prostoru X dimenzija. Napomena: inicijalno je pozicija svake reči u prostoru "nasumično" inicijalizovana i te pozicije su parametri koji se mogu obučavati (biće poboljšani tokom obuke).
Pored toga, tokom token embedding stvara se još jedan sloj embedding-a koji predstavlja (u ovom slučaju) apsolutnu poziciju reči u rečenici za obuku. Na ovaj način, reč na različitim pozicijama u rečenici će imati različitu reprezentaciju (značenje).
4. Attention Mechanisms
Cilj ove četvrte faze je veoma jednostavan: Primena nekih mehanizama pažnje. Ovi mehanizmi će biti mnogo ponovljenih slojeva koji će uhvatiti odnos reči u rečniku sa njenim susedima u trenutnoj rečenici koja se koristi za obuku LLM-a. Za ovo se koristi mnogo slojeva, tako da će mnogo parametara koji se mogu obučavati uhvatiti ove informacije.
5. LLM Architecture
Cilj ove pete faze je veoma jednostavan: Razviti arhitekturu celog LLM-a. Spojiti sve, primeniti sve slojeve i kreirati sve funkcije za generisanje teksta ili transformaciju teksta u ID-ove i obrnuto.
Ova arhitektura će se koristiti i za obuku i za predikciju teksta nakon što je obučena.
6. Pre-training & Loading models
Cilj ove šeste faze je veoma jednostavan: Obučiti model od nule. Za ovo će se koristiti prethodna LLM arhitektura sa nekim petljama koje prolaze kroz skupove podataka koristeći definisane funkcije gubitka i optimizator za obuku svih parametara modela.
7.0. LoRA Improvements in fine-tuning
Korišćenje LoRA značajno smanjuje računarske resurse potrebne za fino podešavanje već obučenih modela.
7.1. Fine-Tuning for Classification
Cilj ovog odeljka je pokazati kako fino podešavati već obučeni model tako da umesto generisanja novog teksta LLM daje verovatnoće da dati tekst bude kategorizovan u svaku od datih kategorija (kao što je da li je tekst spam ili ne).
7.2. Fine-Tuning to follow instructions
Cilj ovog odeljka je pokazati kako fino podešavati već obučeni model da prati uputstva umesto samo generisanja teksta, na primer, odgovaranje na zadatke kao chat bot.
Last updated