Segnalazione automatica
Bonsai 2 27B GGUF: modello ternario da 27B per inferenza locale su llama.cpp
Modello linguistico generativo da 27 miliardi di parametri con pesi ternari, derivato da Qwen3.8-27B e distribuito in formato GGUF. Riduce l'ingombro a circa 5,95-7,21 GB mantenendo buona parte delle capacità di ragionamento, con contesto fino a 262K token e supporto multimodale opzionale tramite vision tower separato.
Attività del repository o del modello riportata dalla piattaforma:
Segnalazione automatica di una risorsa pubblicata da terzi. Il conteggio misura stelle o apprezzamenti sulla piattaforma alla data indicata; non certifica qualità o sicurezza.
Uso pratico
Eseguire generazione di testo, ragionamento e chiamate a strumenti su laptop o singola GPU con memoria limitata, usando llama.cpp su CUDA, Metal o CPU.
Compatibilità dichiarata
llama.cpp (CUDA, Metal, CPU); è inoltre indicata una versione companion per MLX su Apple Silicon.
Licenza e accesso
apache-2.0
Prima di usare o installare
Controlla il codice o la scheda originale, la licenza, i permessi richiesti e i dati che la risorsa può consultare. Le stelle e i like non sono una verifica di sicurezza.