Bonsai 8B (1-bit) 1.16 GB
PrismML's native 1-bit model — 8B params in 1.16 GB, needs forked llama.cpp
MIN TIER
Mid
SMALLEST QUANT
· GB
CONTEXT WINDOW
32K tokens
PARAMETERS
8.2B
QUANTIZATION OPTIONS
| Quant | File size | Quality |
|---|
DEVICE COMPATIBILITY
Runs on these devices (47)
💻
MacBook Air M4 16GB
macOS Q1 · ~103 tok/s · 1.2 GB
Tight fit 💻 MacBook Air M3 16GB
macOS Q1 · ~86 tok/s · 1.2 GB
Tight fit 💻 MacBook Air M2 8GB
macOS Q1 · ~86 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M4 Pro 36GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 MacBook Air M1 8GB
macOS Q1 · ~59 tok/s · 1.2 GB
Tight fit 💻 MacBook Air M1 16GB
macOS Q1 · ~59 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M1 16GB
macOS Q1 · ~59 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M1 Pro 16GB
macOS Q1 · ~172 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M1 Pro 32GB
macOS Q1 · ~172 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M1 Max 32GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M1 Max 64GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M2 Pro 16GB
macOS Q1 · ~172 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M2 Pro 32GB
macOS Q1 · ~172 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M2 Max 32GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M2 Max 64GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M3 Pro 18GB
macOS Q1 · ~129 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M3 Pro 36GB
macOS Q1 · ~129 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M3 Max 36GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 MacBook Pro M3 Max 96GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 🎮 Steam Deck OLED 16GB
Linux Q1 · ~76 tok/s · 1.2 GB
Tight fit 🖥️ Gaming PC (RTX 4070) 32GB
Windows Q1 · ~200 tok/s · 1.2 GB
Tight fit 🖥️ Gaming PC (RTX 3060) 32GB
Windows Q1 · ~200 tok/s · 1.2 GB
Tight fit 🖥️ Gaming PC (RTX 4080) 32GB
Windows Q1 · ~200 tok/s · 1.2 GB
Tight fit 🖥️ Gaming PC (RTX 4090) 64GB
Windows Q1 · ~200 tok/s · 1.2 GB
Tight fit 🤖 Atom 1 32GB
Linux Q1 · ~177 tok/s · 1.2 GB
Tight fit 🤖 Atom 1 64GB
Linux Q1 · ~200 tok/s · 1.2 GB
Tight fit 🤖 Atom 1 128GB
Linux Q1 · ~200 tok/s · 1.2 GB
Tight fit 📱 iPad Pro M4 16GB
iOS Q1 · ~72 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M1 8GB
macOS Q1 · ~59 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M1 16GB
macOS Q1 · ~59 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M2 8GB
macOS Q1 · ~86 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M2 Pro 16GB
macOS Q1 · ~172 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M2 Pro 32GB
macOS Q1 · ~172 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M4 16GB
macOS Q1 · ~103 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M4 32GB
macOS Q1 · ~103 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M4 Pro 24GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 🖥️ Mac Mini M4 Pro 48GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 🖥️ Mac Studio M4 Max 64GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 🖥️ Mac Pro M2 Ultra 192GB
macOS Q1 · ~200 tok/s · 1.2 GB
Tight fit 💻 Snapdragon X Elite Laptop 16GB
Windows Q1 · ~117 tok/s · 1.2 GB
Tight fit 📱 Galaxy S25 Ultra 12GB
Android Q1 · ~46 tok/s · 1.2 GB
Tight fit 📱 OnePlus 13 16GB
Android Q1 · ~46 tok/s · 1.2 GB
Tight fit 📱 iPhone 16 Pro 8GB
iOS Q1 · ~41 tok/s · 1.2 GB
Tight fit 📱 Pixel 9 Pro 16GB
Android Q1 · ~41 tok/s · 1.2 GB
Tight fit 📱 Galaxy S24 8GB
Android Q1 · ~37 tok/s · 1.2 GB
Tight fit 🍓 Raspberry Pi 5 8GB
Linux Q1 · ~28 tok/s · 1.2 GB
Tight fit 📱 iPhone 15 6GB
iOS Q1 · ~25 tok/s · 1.2 GB
Tight fit HOW TO RUN
Step-by-step run guides coming soon — check the apps above to get started today.