Vai al contenuto principale
← Torna al glossario

GQA (Grouped-Query Attention)

Architetture

Schema di attenzione in cui più teste di query condividono lo stesso gruppo di matrici Key e Value, riducendo il numero di teste_KV rispetto al MHA. Abbassa il costo e la velocità di accesso alla memoria durante il decode, con un compromesso di qualità minimo.

Questo termine in altre lingue