Qualcomm: к 2028 году ИИ-модели на 100 млрд параметров в смартфоне

Криштиану Амон в подкасте Sources журналиста Алекса Хита рассказал, что ведущие ИИ-компании просят его обеспечить к 2028 году постоянную работу моделей минимум на 100 млрд параметров на самом смартфоне. Имен он не назвал, но отметил, что некоторые из этих компаний «начинают делать телефоны». Пример — смартфон с ассистентом Doubao от ByteDance, который выпускает Nubia.

Флагманский Snapdragon 8 Elite Extreme Gen 6, показанный в конце сентября, запускает на устройстве MoE-модель на 30 млрд параметров. Apple в июне выпустила MoE на 20 млрд. Запрос лабораторий означает рост в три с лишним раза за два поколения чипов, причем в режиме постоянной работы вместо запуска по запросу.

Основные ограничения — объем памяти, пропускная способность и энергия. 100 млрд параметров даже в 4-битной квантизации занимают около 50 ГБ только под веса — в три-четыре раза больше всей оперативной памяти типичного флагмана. При разреженной MoE с примерно 10 млрд активных параметров на каждый токен придется читать около 5 ГБ, что при пропускной способности мобильной памяти порядка 100 ГБ/с дает около 20 токенов в секунду в лучшем случае. Режим always-on тяжелее для батареи, чем короткий ответ на вопрос.