Segnalazione automatica
Edge0-35B-A3B: MoE sparse da 35B eseguibile in memoria da smartphone tramite streaming da SSD
Modello linguistico MoE da 35B (base Qwen3.6-35B-A3B, quantizzazione 4-bit) che gira in meno di 3 GiB di memoria attiva grazie al framework edge0: gli esperti vengono letti dall'archivio su richiesta, con un prerouter che anticipa il routing e adattatori LoRA che recuperano il calo di qualità della quantizzazione. Adatto a inferenza su dispositivo e servizio batch su singola macchina.
Attività del repository o del modello riportata dalla piattaforma:
Segnalazione automatica di una risorsa pubblicata da terzi. Il conteggio misura stelle o apprezzamenti sulla piattaforma alla data indicata; non certifica qualità o sicurezza.
Uso pratico
Inferenza edge/on-device dove la VRAM è scarsa e lo storage veloce (NVMe, flash interna), servizio batch su una sola macchina commodity con più set di adattatori LoRA su una base read-only, chat e ragionamento multilingue con modalità thinking. Non ancora ottimizzato per compiti agentici.
Compatibilità dichiarata
edge0 (backend MLX, Apple Silicon)
Licenza e accesso
apache-2.0
Prima di usare o installare
Controlla il codice o la scheda originale, la licenza, i permessi richiesti e i dati che la risorsa può consultare. Le stelle e i like non sono una verifica di sicurezza.