5. LLM Architecture
LLM Architecture
Ο στόχος αυτής της πέμπτης φάσης είναι πολύ απλός: Αναπτύξτε την αρχιτεκτονική του πλήρους LLM. Συνδυάστε τα πάντα, εφαρμόστε όλα τα επίπεδα και δημιουργήστε όλες τις λειτουργίες για να παράγετε κείμενο ή να μετατρέπετε κείμενο σε IDs και αντίστροφα.
Αυτή η αρχιτεκτονική θα χρησιμοποιηθεί τόσο για την εκπαίδευση όσο και για την πρόβλεψη κειμένου μετά την εκπαίδευση.
LLM architecture example from https://github.com/rasbt/LLMs-from-scratch/blob/main/ch04/01_main-chapter-code/ch04.ipynb:
A high level representation can be observed in:
Input (Tokenized Text): Η διαδικασία ξεκινά με το κείμενο που έχει μετατραπεί σε tokens, το οποίο μετατρέπεται σε αριθμητικές αναπαραστάσεις.
Token Embedding and Positional Embedding Layer: Το κείμενο που έχει μετατραπεί σε tokens περνά μέσα από ένα token embedding layer και ένα positional embedding layer, το οποίο καταγράφει τη θέση των tokens σε μια ακολουθία, κρίσιμο για την κατανόηση της σειράς των λέξεων.
Transformer Blocks: Το μοντέλο περιέχει 12 transformer blocks, το καθένα με πολλαπλά επίπεδα. Αυτά τα blocks επαναλαμβάνουν την ακόλουθη ακολουθία:
Masked Multi-Head Attention: Επιτρέπει στο μοντέλο να εστιάζει σε διάφορα μέρη του εισερχόμενου κειμένου ταυτόχρονα.
Layer Normalization: Ένα βήμα κανονικοποίησης για τη σταθεροποίηση και τη βελτίωση της εκπαίδευσης.
Feed Forward Layer: Υπεύθυνο για την επεξεργασία των πληροφοριών από το επίπεδο προσοχής και την πρόβλεψη του επόμενου token.
Dropout Layers: Αυτά τα επίπεδα αποτρέπουν την υπερβολική προσαρμογή (overfitting) απορρίπτοντας τυχαία μονάδες κατά τη διάρκεια της εκπαίδευσης.
Final Output Layer: Το μοντέλο εξάγει έναν 4x50,257-διάστατο tensor, όπου 50,257 αντιπροσωπεύει το μέγεθος του λεξιλογίου. Κάθε γραμμή σε αυτόν τον tensor αντιστοιχεί σε ένα διάνυσμα που το μοντέλο χρησιμοποιεί για να προβλέψει την επόμενη λέξη στην ακολουθία.
Goal: Ο στόχος είναι να ληφθούν αυτές οι αναπαραστάσεις και να μετατραπούν ξανά σε κείμενο. Συγκεκριμένα, η τελευταία γραμμή της εξόδου χρησιμοποιείται για να παραγάγει την επόμενη λέξη, που αναπαρίσταται ως "forward" σε αυτό το διάγραμμα.
Code representation
Συνάρτηση Ενεργοποίησης GELU
Σκοπός και Λειτουργικότητα
GELU (Gaussian Error Linear Unit): Μια συνάρτηση ενεργοποίησης που εισάγει μη γραμμικότητα στο μοντέλο.
Ομαλή Ενεργοποίηση: Σε αντίθεση με το ReLU, το οποίο μηδενίζει τις αρνητικές εισόδους, το GELU χαρτογραφεί ομαλά τις εισόδους στις εξόδους, επιτρέποντας μικρές, μη μηδενικές τιμές για αρνητικές εισόδους.
Μαθηματικός Ορισμός:
Ο στόχος της χρήσης αυτής της συνάρτησης μετά από γραμμικά επίπεδα μέσα στο επίπεδο FeedForward είναι να αλλάξει τα γραμμικά δεδομένα σε μη γραμμικά, επιτρέποντας στο μοντέλο να μάθει πολύπλοκες, μη γραμμικές σχέσεις.
Δίκτυο Νευρώνων FeedForward
Σχήματα έχουν προστεθεί ως σχόλια για να κατανοηθούν καλύτερα τα σχήματα των μητρών:
Σκοπός και Λειτουργικότητα
Δίκτυο FeedForward κατά Θέση: Εφαρμόζει ένα δίκτυο πλήρως συνδεδεμένο δύο επιπέδων σε κάθε θέση ξεχωριστά και ομοιόμορφα.
Λεπτομέρειες Επιπέδου:
Πρώτο Γραμμικό Επίπεδο: Επεκτείνει τη διάσταση από
emb_dim
σε4 * emb_dim
.Ενεργοποίηση GELU: Εφαρμόζει μη γραμμικότητα.
Δεύτερο Γραμμικό Επίπεδο: Μειώνει τη διάσταση πίσω σε
emb_dim
.
Όπως μπορείτε να δείτε, το δίκτυο Feed Forward χρησιμοποιεί 3 επίπεδα. Το πρώτο είναι ένα γραμμικό επίπεδο που θα πολλαπλασιάσει τις διαστάσεις κατά 4 χρησιμοποιώντας γραμμικά βάρη (παράμετροι προς εκπαίδευση μέσα στο μοντέλο). Στη συνέχεια, η συνάρτηση GELU χρησιμοποιείται σε όλες αυτές τις διαστάσεις για να εφαρμόσει μη γραμμικές παραλλαγές ώστε να συλλάβει πλουσιότερες αναπαραστάσεις και τελικά χρησιμοποιείται ένα άλλο γραμμικό επίπεδο για να επιστρέψει στο αρχικό μέγεθος των διαστάσεων.
Μηχανισμός Πολυκεφαλής Προσοχής
Αυτό έχει ήδη εξηγηθεί σε προηγούμενη ενότητα.
Σκοπός και Λειτουργικότητα
Πολυκεφαλής Αυτοπροσοχή: Επιτρέπει στο μοντέλο να εστιάζει σε διαφορετικές θέσεις μέσα στην είσοδο κατά την κωδικοποίηση ενός token.
Κύρια Συστατικά:
Ερωτήσεις, Κλειδιά, Τιμές: Γραμμικές προβολές της εισόδου, που χρησιμοποιούνται για τον υπολογισμό των σκορ προσοχής.
Κεφάλια: Πολλαπλοί μηχανισμοί προσοχής που εκτελούνται παράλληλα (
num_heads
), καθένας με μειωμένη διάσταση (head_dim
).Σκορ Προσοχής: Υπολογίζονται ως το εσωτερικό γινόμενο των ερωτήσεων και των κλειδιών, κλιμακωμένα και μάσκες.
Μάσκα: Μια αιτιώδης μάσκα εφαρμόζεται για να αποτρέψει το μοντέλο από το να εστιάζει σε μελλοντικά tokens (σημαντικό για αυτοπαραγωγικά μοντέλα όπως το GPT).
Βάρη Προσοχής: Softmax των μάσκων και κλιμακωμένων σκορ προσοχής.
Διάνυσμα Πλαισίου: Ζυγισμένο άθροισμα των τιμών, σύμφωνα με τα βάρη προσοχής.
Προβολή Εξόδου: Γραμμικό επίπεδο για να συνδυάσει τις εξόδους όλων των κεφαλιών.
Ο στόχος αυτού του δικτύου είναι να βρει τις σχέσεις μεταξύ των tokens στο ίδιο πλαίσιο. Επιπλέον, τα tokens χωρίζονται σε διαφορετικά κεφάλια προκειμένου να αποτραπεί η υπερβολική προσαρμογή, αν και οι τελικές σχέσεις που βρίσκονται ανά κεφάλι συνδυάζονται στο τέλος αυτού του δικτύου.
Επιπλέον, κατά την εκπαίδευση εφαρμόζεται μια αιτιώδης μάσκα ώστε τα μετέπειτα tokens να μην λαμβάνονται υπόψη κατά την αναζήτηση συγκεκριμένων σχέσεων με ένα token και εφαρμόζεται επίσης κάποια dropout για να αποτραπεί η υπερβολική προσαρμογή.
Κανονικοποίηση Επιπέδου
Σκοπός και Λειτουργικότητα
Layer Normalization: Μια τεχνική που χρησιμοποιείται για να κανονικοποιήσει τις εισόδους σε όλη τη διάρκεια των χαρακτηριστικών (διαστάσεις embedding) για κάθε μεμονωμένο παράδειγμα σε μια παρτίδα.
Συστατικά:
eps
: Ένας μικρός σταθερός αριθμός (1e-5
) που προστίθεται στη διακύμανση για να αποτραπεί η διαίρεση με το μηδέν κατά τη διάρκεια της κανονικοποίησης.scale
καιshift
: Μαθητές παράμετροι (nn.Parameter
) που επιτρέπουν στο μοντέλο να κλιμακώνει και να μετατοπίζει την κανονικοποιημένη έξοδο. Αρχικοποιούνται σε ένα και μηδέν, αντίστοιχα.Διαδικασία Κανονικοποίησης:
Υπολογισμός Μέσου (
mean
): Υπολογίζει τον μέσο όρο της εισόδουx
σε όλη τη διάρκεια της διάστασης embedding (dim=-1
), διατηρώντας τη διάσταση για broadcasting (keepdim=True
).Υπολογισμός Διακύμανσης (
var
): Υπολογίζει τη διακύμανση τουx
σε όλη τη διάρκεια της διάστασης embedding, διατηρώντας επίσης τη διάσταση. Η παράμετροςunbiased=False
διασφαλίζει ότι η διακύμανση υπολογίζεται χρησιμοποιώντας τον μεροληπτικό εκτιμητή (διαιρώντας μεN
αντί γιαN-1
), που είναι κατάλληλο όταν κανονικοποιούμε σε χαρακτηριστικά αντί για δείγματα.Κανονικοποίηση (
norm_x
): Αφαιρεί τον μέσο όρο από τοx
και διαιρεί με την τετραγωνική ρίζα της διακύμανσης συνeps
.Κλίμακα και Μετατόπιση: Εφαρμόζει τις μαθητές παραμέτρους
scale
καιshift
στην κανονικοποιημένη έξοδο.
Ο στόχος είναι να διασφαλιστεί ένας μέσος όρος 0 με διακύμανση 1 σε όλες τις διαστάσεις του ίδιου token. Ο στόχος αυτού είναι να σταθεροποιήσει την εκπαίδευση βαθιών νευρωνικών δικτύων μειώνοντας την εσωτερική μετατόπιση παραλλαγών, η οποία αναφέρεται στην αλλαγή της κατανομής των ενεργοποιήσεων του δικτύου λόγω της ενημέρωσης των παραμέτρων κατά τη διάρκεια της εκπαίδευσης.
Transformer Block
Οι σχήματα έχουν προστεθεί ως σχόλια για να κατανοήσουμε καλύτερα τα σχήματα των μητρών:
Σκοπός και Λειτουργικότητα
Σύνθεση Στρωμάτων: Συνδυάζει πολυκεφαλική προσοχή, δίκτυο τροφοδότησης, κανονικοποίηση στρώματος και υπολειμματικές συνδέσεις.
Κανονικοποίηση Στρώματος: Εφαρμόζεται πριν από τα στρώματα προσοχής και τροφοδότησης για σταθερή εκπαίδευση.
Υπολειμματικές Συνδέσεις (Συντομεύσεις): Προσθέτει την είσοδο ενός στρώματος στην έξοδό του για να βελτιώσει τη ροή του βαθμού και να επιτρέψει την εκπαίδευση βαθιών δικτύων.
Dropout: Εφαρμόζεται μετά από τα στρώματα προσοχής και τροφοδότησης για κανονικοποίηση.
Βήμα-Βήμα Λειτουργικότητα
Πρώτη Υπολειμματική Διαδρομή (Αυτο-Προσοχή):
Είσοδος (
shortcut
): Αποθηκεύστε την αρχική είσοδο για τη υπολειμματική σύνδεση.Κανονικοποίηση Στρώματος (
norm1
): Κανονικοποιήστε την είσοδο.Πολυκεφαλική Προσοχή (
att
): Εφαρμόστε αυτο-προσοχή.Dropout (
drop_shortcut
): Εφαρμόστε dropout για κανονικοποίηση.Προσθήκη Υπολειμμάτων (
x + shortcut
): Συνδυάστε με την αρχική είσοδο.
Δεύτερη Υπολειμματική Διαδρομή (Τροφοδότηση):
Είσοδος (
shortcut
): Αποθηκεύστε την ενημερωμένη είσοδο για την επόμενη υπολειμματική σύνδεση.Κανονικοποίηση Στρώματος (
norm2
): Κανονικοποιήστε την είσοδο.Δίκτυο Τροφοδότησης (
ff
): Εφαρμόστε τη μετασχηματιστική τροφοδότηση.Dropout (
drop_shortcut
): Εφαρμόστε dropout.Προσθήκη Υπολειμμάτων (
x + shortcut
): Συνδυάστε με την είσοδο από την πρώτη υπολειμματική διαδρομή.
Το μπλοκ μετασχηματιστή ομαδοποιεί όλα τα δίκτυα μαζί και εφαρμόζει κάποια κανονικοποίηση και dropouts για να βελτιώσει τη σταθερότητα και τα αποτελέσματα της εκπαίδευσης. Σημειώστε πώς γίνονται τα dropouts μετά τη χρήση κάθε δικτύου ενώ η κανονικοποίηση εφαρμόζεται πριν.
Επιπλέον, χρησιμοποιεί επίσης συντομεύσεις που συνίστανται στο να προσθέτουμε την έξοδο ενός δικτύου με την είσοδό του. Αυτό βοηθά στην πρόληψη του προβλήματος της εξαφάνισης του βαθμού διασφαλίζοντας ότι τα αρχικά στρώματα συμβάλλουν "τόσο όσο" τα τελευταία.
GPTModel
Σχήματα έχουν προστεθεί ως σχόλια για να κατανοήσουμε καλύτερα τα σχήματα των μητρών:
Σκοπός και Λειτουργικότητα
Ενσωματωμένα Στρώματα:
Ενσωματώσεις Token (
tok_emb
): Μετατρέπει τους δείκτες token σε ενσωματώσεις. Ως υπενθύμιση, αυτά είναι τα βάρη που δίνονται σε κάθε διάσταση κάθε token στο λεξιλόγιο.Ενσωματώσεις Θέσης (
pos_emb
): Προσθέτει πληροφορίες θέσης στις ενσωματώσεις για να καταγράψει τη σειρά των tokens. Ως υπενθύμιση, αυτά είναι τα βάρη που δίνονται στα tokens σύμφωνα με τη θέση τους στο κείμενο.Dropout (
drop_emb
): Εφαρμόζεται στις ενσωματώσεις για κανονικοποίηση.Μπλοκ Transformer (
trf_blocks
): Στοίβαn_layers
μπλοκ transformer για την επεξεργασία των ενσωματώσεων.Τελική Κανονικοποίηση (
final_norm
): Κανονικοποίηση στρώματος πριν από το στρώμα εξόδου.Στρώμα Εξόδου (
out_head
): Προβάλλει τις τελικές κρυφές καταστάσεις στο μέγεθος του λεξιλογίου για να παραγάγει logits για πρόβλεψη.
Ο στόχος αυτής της κλάσης είναι να χρησιμοποιήσει όλα τα άλλα αναφερόμενα δίκτυα για να προβλέψει το επόμενο token σε μια ακολουθία, το οποίο είναι θεμελιώδες για εργασίες όπως η γεννήτρια κειμένου.
Σημειώστε πώς θα χρησιμοποιήσει τόσα πολλά μπλοκ transformer όσο υποδεικνύεται και ότι κάθε μπλοκ transformer χρησιμοποιεί ένα δίκτυο πολλαπλών κεφαλών προσοχής, ένα δίκτυο προώθησης και αρκετές κανονικοποιήσεις. Έτσι, αν χρησιμοποιηθούν 12 μπλοκ transformer, πολλαπλασιάστε αυτό με 12.
Επιπλέον, ένα στρώμα κανονικοποίησης προστίθεται πριν από την έξοδο και ένα τελικό γραμμικό στρώμα εφαρμόζεται στο τέλος για να αποκτήσει τα αποτελέσματα με τις κατάλληλες διαστάσεις. Σημειώστε πώς κάθε τελικός διανύσματος έχει το μέγεθος του χρησιμοποιούμενου λεξιλογίου. Αυτό συμβαίνει επειδή προσπαθεί να αποκτήσει μια πιθανότητα ανά πιθανό token μέσα στο λεξιλόγιο.
Αριθμός Παραμέτρων προς εκπαίδευση
Έχοντας καθορίσει τη δομή GPT, είναι δυνατόν να βρείτε τον αριθμό των παραμέτρων προς εκπαίδευση:
Βήμα-Βήμα Υπολογισμός
1. Ενσωματωμένα Επίπεδα: Ενσωμάτωση Token & Ενσωμάτωση Θέσης
Επίπεδο:
nn.Embedding(vocab_size, emb_dim)
Παράμετροι:
vocab_size * emb_dim
Επίπεδο:
nn.Embedding(context_length, emb_dim)
Παράμετροι:
context_length * emb_dim
Συνολικές Παράμετροι Ενσωμάτωσης
2. Transformer Blocks
There are 12 transformer blocks, so we'll calculate the parameters for one block and then multiply by 12.
Parameters per Transformer Block
a. Multi-Head Attention
Components:
Query Linear Layer (
W_query
):nn.Linear(emb_dim, emb_dim, bias=False)
Key Linear Layer (
W_key
):nn.Linear(emb_dim, emb_dim, bias=False)
Value Linear Layer (
W_value
):nn.Linear(emb_dim, emb_dim, bias=False)
Output Projection (
out_proj
):nn.Linear(emb_dim, emb_dim)
Calculations:
Each of
W_query
,W_key
,W_value
:
Since there are three such layers:
Output Projection (
out_proj
):
Total Multi-Head Attention Parameters:
b. FeedForward Network
Components:
First Linear Layer:
nn.Linear(emb_dim, 4 * emb_dim)
Second Linear Layer:
nn.Linear(4 * emb_dim, emb_dim)
Calculations:
First Linear Layer:
Second Linear Layer:
Total FeedForward Parameters:
c. Layer Normalizations
Components:
Δύο
LayerNorm
instances ανά μπλοκ.Κάθε
LayerNorm
έχει2 * emb_dim
παραμέτρους (scale και shift).Calculations:
d. Total Parameters per Transformer Block
Συνολικοί Παράμετροι για Όλα τα Μπλοκ Μετασχηματιστή
3. Τελικά Στρώματα
a. Κανονικοποίηση Τελικού Στρώματος
Παράμετροι:
2 * emb_dim
(κλίμακα και μετατόπιση)
β. Έξοδος Επίπεδο Πρόβλεψης (out_head
)
Επίπεδο:
nn.Linear(emb_dim, vocab_size, bias=False)
Παράμετροι:
emb_dim * vocab_size
4. Συνοψίζοντας Όλες τις Παραμέτρους
Generate Text
Έχοντας ένα μοντέλο που προβλέπει το επόμενο token όπως το προηγούμενο, χρειάζεται απλώς να πάρουμε τις τελευταίες τιμές token από την έξοδο (καθώς θα είναι αυτές του προβλεπόμενου token), οι οποίες θα είναι μια τιμή ανά είσοδο στο λεξιλόγιο και στη συνέχεια να χρησιμοποιήσουμε τη συνάρτηση softmax
για να κανονικοποιήσουμε τις διαστάσεις σε πιθανότητες που αθροίζουν 1 και στη συνέχεια να πάρουμε τον δείκτη της μεγαλύτερης εισόδου, ο οποίος θα είναι ο δείκτης της λέξης μέσα στο λεξιλόγιο.
Code from https://github.com/rasbt/LLMs-from-scratch/blob/main/ch04/01_main-chapter-code/ch04.ipynb:
Αναφορές
Last updated