Segnalazione automatica
Multiverse Computing: potatura di LLM trattata come problema di ottimizzazione binaria vincolata
Multiverse Computing descrive un metodo che riformula la selezione dei blocchi da rimuovere in un LLM come problema di ottimizzazione binaria vincolata, equivalente a un vetro di Ising. L'energia dell'Hamiltoniana viene usata come stima della qualità del modello potato. Su Llama-3.3-70B-Instruct al 50% di compressione l'azienda riporta un vantaggio di quasi 23 punti su MMLU rispetto al metodo concorrente.
Data di pubblicazione riportata dalla fonte: . Non indica l’entrata in vigore di una norma.
Sintesi automatica di una fonte primaria, sottoposta a controlli automatici. Consulta il documento originale per il contesto completo.
La segnalazione
Multiverse Computing descrive un metodo che riformula la selezione dei blocchi da rimuovere in un LLM come problema di ottimizzazione binaria vincolata, equivalente a un vetro di Ising. L'energia dell'Hamiltoniana viene usata come stima della qualità del modello potato. Su Llama-3.3-70B-Instruct al 50% di compressione l'azienda riporta un vantaggio di quasi 23 punti su MMLU rispetto al metodo concorrente.
Come leggere questa scheda
Le dichiarazioni sono attribuite alla fonte. Questa scheda non certifica prestazioni, conformita o stato di vigenza di norme e non sostituisce una valutazione professionale.