Vai al contenuto principale
← Torna alle notizie

reViT: un singolo blocco transformer, ricorrente, eguaglia un encoder a piena profondità

Ricerca
Un nuovo paper mostra che un blocco Transformer unico, applicato ricorsivamente, eguaglia l'accuratezza di un encoder visivo a piena profondità a parità di FLOPs di Inferenza. La chiave è rappresentare gli FFN di ciascuna profondità ricorsiva come combinazione convessa di una piccola banca di expert condivisi, senza distillazione delle feature intermedie.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.