Segnalazione automatica
Ai2 presenta Olmo-core 3, infrastruttura aperta per addestrare modelli MoE fino a scala trillion-parametro
Ai2 ha pubblicato Olmo-core 3, aggiornamento del framework di addestramento per modelli linguistici con sistema MoE ridisegnato. Il passaggio da parallelismo FSDP a DDP e tecniche di partizionamento di esperti, pipeline e ottimizzatore consentono di distribuire modelli molto grandi su cluster GPU; nei test citati il throughput supera quello dell'implementazione precedente. Il pacchetto, codice e report tecnico sono resi disponibili apertamente.
Data di pubblicazione riportata dalla fonte: . Non indica l’entrata in vigore di una norma.
Sintesi automatica di una fonte primaria, sottoposta a controlli automatici. Consulta il documento originale per il contesto completo.
La segnalazione
Ai2 ha pubblicato Olmo-core 3, aggiornamento del framework di addestramento per modelli linguistici con sistema MoE ridisegnato. Il passaggio da parallelismo FSDP a DDP e tecniche di partizionamento di esperti, pipeline e ottimizzatore consentono di distribuire modelli molto grandi su cluster GPU; nei test citati il throughput supera quello dell'implementazione precedente. Il pacchetto, codice e report tecnico sono resi disponibili apertamente.
Come leggere questa scheda
Le dichiarazioni sono attribuite alla fonte. Questa scheda non certifica prestazioni, conformita o stato di vigenza di norme e non sostituisce una valutazione professionale.