Deep Dive: transformers e attention (per Parte 2 e 3)

Companion di semantica_lessicale/notes.md (§8) e nlp_lab/notes.md (§8).
Fonti: 09_intro_transformers.pdf, 09_260331_public_notes.ipynb, Appendix.txt.

1. Attention, formula e intuizione

Attention(Q,K,V) = softmax(Q K^T / sqrt(d_k)) V

Ogni posizione interroga (Q) tutte le chiavi (K) e media i valori (V) coi pesi.
Multi-head = h attention in parallelo su proiezioni diverse, concatenate e riproiettate.
Maschere: encoder bidirezionale (tutto visibile), decoder causale (solo passato).

Diagramma (descritto): matrice n×n di pesi (righe = query, colonne = chiavi); diagonale e
vicini forti nei primi layer, pattern sintattici/semantici nei layer alti;teste diverse =
pattern diversi.

2. Transformer block

x -> [MultiHeadAttn + residuo + LayerNorm] -> [FFN + residuo + LayerNorm] -> y

FFN: due lineari con ReLU/GELU, espansione 4×. Posizionali sinusoidali o appresi sommati
all’embedding. Vaswani 2017: 6+6 layer, d=512, 8 teste; oggi ordini oltre.

3. BERT vs GPT

BERTGPT
Architetturaencoder bidirezionaledecoder causale
Trainingmasked LM (+NSP)next-token
Usoembedding + fine-tuninggenerazione + prompting
WiCcoseno tra stati contestualiprob. condizionate / prompt

4. Pratica (dai notebook)

09_260331_public_notes.ipynb: tokenizzazione subword, estrazione stati, similarita’
contestuale su coppie WiC. Attenzioni: token spezzati (media dei pezzi), layer diversi
(ultimi = senso, primi = sintassi), soglia su dev.

5. Limiti (ponte al cap. 8 Parte 3)

Costo quadratico in n, contexto finito, ragionamento superficiale, calibrazione scarsa:
da qui RAG (memoria esterna) e valutazione onesta (cap. 7.10, 8.6.9).


Related: ../semantica_lessicale/notes.md, notes.md, flashcards.md.
Libri: JM cap. Transformers/pretraining; Vaswani et al. 2017 [course-paper in references].