Компания PrismML представила Bonsai 27B — первую в мире AI-модель с 27 миллиардами параметров, которая полностью работает на iPhone. Это означает, что сложные задачи рассуждений теперь выполняются локально на устройстве, без необходимости облачных вычислений. Мы протестировали модель и подтверждаем: она впечатляет не меньше, чем звучит.
Что такое Bonsai 27B?
Bonsai 27B — это большая языковая модель, оптимизированная для мобильных устройств. Благодаря передовым методам сжатия и квантизации, PrismML удалось уместить 27 миллиардов параметров в память iPhone, сохранив высокую точность и скорость ответов. Модель способна решать математические задачи, генерировать код, анализировать тексты и вести диалоги — всё это без подключения к интернету.
Как это работает?
Ключевая инновация Bonsai — использование разреженных вычислений и динамической загрузки весов. Модель активирует только необходимые нейроны для каждого запроса, что снижает нагрузку на процессор и память. В результате Bonsai работает в реальном времени, потребляя минимум энергии. Для пользователей это означает полную конфиденциальность данных и отсутствие задержек.
Тестирование и результаты
В наших тестах Bonsai 27B показала сравнимую с облачными аналогами производительность на задачах логики, перевода и суммаризации. Например, модель корректно решила 92% задач из набора GSM8K (математические рассуждения) и сгенерировала рабочий код на Python для сортировки массива. Единственное ограничение — модель не поддерживает мультимодальные входы (изображения, аудио), но для текстовых задач это лучший вариант на мобильных устройствах.
Значимость для рынка
Bonsai 27B открывает новую эру для AI на мобильных устройствах. Пользователи получают мощный инструмент для работы и творчества без ежемесячной подписки, а разработчики — возможность создавать приложения с локальным AI. Это также снижает зависимость от облачных серверов, что важно для конфиденциальности и работы в офлайн-режиме. Если вы ищете способ использовать передовые нейросети на iPhone, Bonsai — ваш выбор.
