Bonsai 27B: ШІ модель класу 27B, що працює на телефоні
Ще кілька років тому думка про запуск великої мовної моделі прямо на смартфоні звучала фантастично. Я звик, що серйозний ШІ завжди залежить від серверів, швидкого інтернету та платної підписки. Саме тому поява Bonsai 27B справді привернула мою увагу. Вперше мультимодальна модель класу на 27 мільярдів параметрів працює локально на телефоні.
Хто створив Bonsai 27B?
Модель створила команда стартапу PrismML, заснованого вихідцями Каліфорнійського технологічного інституту. За основу вони взяли відкриту модель Qwen 3.6 27B, але головний прорив полягає зовсім не в цьому. Найважливіше, що їм вдалося майже неймовірно стиснути модель без помітної втрати її можливостей.
Як вдалося зменшити модель у понад 13 разів
Звичайна 16-бітна версія займає приблизно 54 ГБ. Для більшості ноутбуків це вже серйозне навантаження, а смартфон узагалі не зміг би її запустити.
PrismML запропонувала два варіанти:
- 1-bit Bonsai займає лише 3,9 ГБ і оптимізована для iPhone 17 Pro;
- Ternary Bonsai має розмір 5,9 ГБ та краще підходить для ноутбуків і персональних комп'ютерів;
Низькобітне стиснення використовується у всій нейромережі, а не лише в окремих її частинах, завдяки чому вдалося максимально скоротити розмір.
Що вміє Bonsai 27B
Найприємніше, що компактність майже не позначилася на якості роботи. За результатами п'ятнадцяти тестів, бінарна версія зберігає близько 90% можливостей оригіналу, а тернарна наближається до 95%. Модель підтримує мультимодальність. Вона розуміє текст, аналізує документи та може працювати зі скриншотами через компактний 4-бітний візуальний модуль.
Ще одна цікава деталь - контекстне вікно сягає 262 тисяч токенів. Для користувача це означає можливість працювати з дуже великими документами без постійної втрати контексту.
Швидкість також виглядає переконливо. На iPhone 17 Pro Max модель генерує приблизно 11 токенів за секунду. На сучасній відеокарті рівня RTX 5090 цей показник зростає до 163 токенів.
Які перспективи
Модель поширюється за відкритою ліцензією Apache 2.0, тому розробники можуть вільно використовувати її у власних проєктах. За повідомленнями профільних медіа, Apple вже проводить ранні переговори з PrismML щодо використання технологій стиснення у майбутніх поколіннях iPhone.
Певні обмеження поки залишаються. Bonsai 27B ще не демонструє найкращих результатів під час тривалого написання програмного коду, а запуск на мобільних пристроях поки потребує спеціальних програмних форків, таких як MLX або llama.cpp.Попри це, напрямок виглядає дуже перспективним.
Схоже, що Bonsai 27B стала першою моделлю, яка показала: майбутнє локального штучного інтелекту вже почалося.
