Автор Алексей ITBro 
Мир смартфонов переживает новую веху: ИИ-процессоры из прошлых слов и маркетинговых лозунгов превращаются в реальные движки, меняющие способ взаимодействия с устройствами. За последние пару лет производители мобильных чипов и смартфонов сделали ставку не просто на "нейросети", а на серьезную апаратную инфраструктуру для инференса, обучения на устройстве, мультимодальных приложений и энергосберегающих режимов.
Это не просто прирост числа ядер или тактовой частоты перестройка архитектуры ради новых сценариев использования: генеративный текст и изображения, голосовые ассистенты следующего уровня, динамическая постобработка фото и видео в реальном времени, улучшенная безопасность и приватность за счет локальных вычислений.
Развернуто разберем ключевые изменения в ИИ-чипах новых смартфонов: от архитектуры и энергоэффективности до софта, инструментов разработчика и реальных сценариев.
Постараюсь дать практичные примеры, цифры и сопоставления, чтобы стало понятно, что именно поменялось и почему это важно для пользователей и индустрии.
Новые архитектурные подходы- модульность, блоки ускорителей и гетерогенные вычисления
Архитектура современных мобильных ИИ-чипов уже давно перестала быть просто "большим ядром CPU и парой DSP".
Новые решения хаб из специализированных блоков: NPU (Neural Processing Unit), ISP (Image Signal Processor), DLA (Deep Learning Accelerator), TPU-аналоги, блоки для обработки аудио и сенсорных данных, а также выделенные блоки безопасности.
Производители используют гетерогенный подход: разные типы вычислений направляются на специализированные блоки, что и дает выраженный прирост производительности и энергоэффективности по сравнению с универсальными ядрами.
Основные изменения в архитектуре:
Модульность: чипы состоят из независимых ускорителей, соединённых шиной низкой задержки.
Это облегчает масштабирование производительности и позволяет кастомизировать SoC под конкретные задачи (например, усилить NPU для генеративного ИИ или добавить выделенный блок для видеоинференса).
Гетерогенные кластеры: нагрузка распределяется между CPU, GPU, NPU и DSP в зависимости от типа операций. Новые компиляторы и планировщики задач оптимизируют этот распределённый инференс, минимизируя потребление энергии.
Конвейерная обработка мультимодальных данных: изображения, звук и сенсорика проходят стадию предварительной фильтрации и предобработки на отдельных блоках перед подачей на NPU, что уменьшает общий объём передаваемых данных и ускоряет отклик.
Практический эффект таких решений: если раньше мобильная модель с сотнями миллионов параметров работала заметно медленнее и съедала батарею, то сейчас та же модель может выполнять инференс локально с приемлемой скоростью и без значительного нагрева.
Примеры: ускорение распознавания речи в 3–5 раз по сравнению с универсальным CPU при в 3–10 раз меньшем энергопотреблении.
Это изменение - фундамент: производители смартфонов теперь проектируют SoC с прицелом на ИИ-процессы как на первостепенную функцию, а не как на "опцию".
Для пользователей это значит более быстрые локальные ассистенты, меньшая зависимость от облака и новые сценарии, где приватность и скорость важнее всего.
Увеличение объемов матриц ускорителей и поддержка больших моделей
Еще год-два назад мобильные NPUs работали преимущественно с компактными и оптимизированными моделями (distilled, quantized).
С ростом потребности в генеративных функциях и сложных задачах обработки мультимедиа чипмейкеры начали увеличивать численность и размер тензорных блоков (матричных множителей) и поддерживать более широкий набор числовых представлений (FP16, BF16, INT8, INT4, и даже гибридные форматы).
Что изменилось и почему это важно:
Большие тензорные блоки (matrix multiply units): способны выполнять параллельные операции над большими матрицами, что критично для трансформеров и других архитектур с огромными матричными умножениями.
Поддержка смешанной точности: современные NPUs гибко комбинируют FP16/BF16 для вычислительной точности и INT8/INT4 для экономии памяти и пропускной способности. Это позволяет запускать более крупные модели локально без большой потери качества.
Увеличение общего объёма оперативной памяти и улучшенные интерфейсы памяти (HBM-подобные решения, более широкие шины): критично для обеспечения работы больших моделей без частых переносов между уровнями памяти.
По цифрам: некоторые флагманские NPUs сейчас достигают десятков TOPS (триллионов операций в секунду) в смешанной точности, тогда как год назад у топовых мобильных чипов было 5–10 TOPS.
Это не просто "больше цифр" - реальная разница в возможностях: генерация изображений в реальном времени, запуск LLM с сотнями миллионов параметров для ассистентов, продвинутая стилизация видео и т. д.
Вместе с этим растут требования к производителям софта: требуется оптимизация весов, квантизация без сильной деградации качества, и более сложные стратегии распределения вычислений между локальностью и облаком.
Энергоэффективность и тепловой дизайн- от пиковой мощности к устойчивой нагрузке
Энергоэффективность - ключевая проблема для мобильных ИИ. Раньше чипы могли выдавать всплески производительности, но очень быстро "сходили с дистанции" из-за нагрева и падения частот.
Современные чипы проектируются с приоритетом на устойчивую производительность: длительные инференсы без троттлинга, интеграция мощных систем охлаждения, динамическое управление питанием и улучшенный Thermal Design Power (TDP).
Основные подходы к повышению эффективности:
Динамический масштаб частоты и напряжения (DVFS) для NPU и GPU с очень быстрой адаптацией к рабочей нагрузке, чтобы минимизировать потери при переходах между задачами.
Сегментация рабочих линий: выделение "тихих" режимов для фоновой работы (экономия энергии) и "турбо"-режимов для коротких bursts вычислений (сессии генерации или редактирования), при этом система управляет рабочими профилями приложений.
Улучшенные материалы и упаковка (3D-пакеты, новые теплопроводящие подложки), а также сотрудничество аппаратного и программного слоев для предсказания теплового поведения приложений.
В реале это даёт: 30–50% улучшения энергоэффективности инференса на ватт по сравнению с предыдущим поколением в одних и тех же задачах.
Для пользователя это значит дольше автономной работы при активном использовании ИИ-функций: например, автогенерация субтитров во время записи видео в реальном времени или длительные сессии работы с генеративным редактором без значительного нагрева корпуса.
Нельзя оставлять в стороне и UX: тепловое управление влияет на троттлинг, а значит - на ощущение "шустрости" устройства.
Производители смартфонов вынуждены учитывать это при настройке профилей производительности и интерфейсов, чтобы устройство не "вспыхивало" при первом же вызове ассистента.
Приватность и безопасность? Локальные ИИ и аппаратные механизмы защиты
Один из мощнейших аргументов за локальный ИИ приватность. Обработка данных на устройстве снижает необходимость отправлять личные данные в облако и уменьшает риски утечки.
Но локальные вычисления требуют и новых механизмов защиты: как данных в покое, так и в процессе вычисления.
Основные нововведения в этой области:
Аппаратные энкрипторы и защищённые вычислительные окружения (TEE): позволяют запускать модели и обрабатывать данные в изолированной области SoC, недоступной остальной системе и сторонним приложениям.
Политики доступа к моделям и данным, вшитые на уровне прошивки и ОС: приложения получают доступ только к заранее утверждённым моделям или API, а наборы данных шифруются и аннотируются метаданными о допустимых сценариях использования.
Подпись и версионирование моделей: модели проверяются на целостность и происхождение, что снижает риск запуска скомпрометированных или модифицированных сетей, способных воровать данные или эскалировать требования к ресурсам.
Пример: функция распознавания лиц и биометрии теперь запускается в отдельном безопасном модуле, который имеет прямой доступ к NPU, но при этом шифрует результаты и никогда не даёт прямого доступа к голым данным изображения для обычных приложений.
Это облегчает сертификацию устройств с точки зрения регуляторов и повышает доверие пользователей.
Также тренд - шифрование вычислений: отдельные исследования и пилоты уже показывают, что можно выполнить часть инференса над зашифрованными данными с помощью гомоморфных обходов и доверенных вычислений, пусть пока с ограничениями по скорости.
Но направление ясно - безопасность становится не вторичной функцией, а необходимой частью аппаратно-программного стека ИИ.
Интеграция мультимодальных и генеративных возможностей? Звук, изображение, текст в одном потоке
Ранее смартфоны могли запускать отдельные специализированные задачи: распознавание речи, фильтрация шума, базовые модели обработки изображения.
Новые чипы и платформы проектируются под мультимодальные нагрузки - когда на вход подаётся не просто голос, а аудиоряд, видеопоток и текстовые подсказки, а на выходе получается единый мультимодальный результат (например, синхронные субтитры с визуальными подсказками и стилевой правкой кадра).
Это стало возможным благодаря сочетанию аппаратного ускорения и новых архитектур моделей (мультимодальные трансформеры, конвертеры). Примеры применения:
Генерация описаний фото в реальном времени с возможностью редактирования стиля и тона - идеальная функция для соцсетей и мобильной журналистики.
Автоматический монтаж видео: распознавание моментов по аудио и визуальным событиям, вытяжка ключевых фрагментов и автоматическая подгонка музыки и переходов - всё это можно выполнять локально с низкой задержкой.
Живой ассистент на основе мультимодальной модели: пользователь показывает сцену камерой, называет задачу (например, "сделай фото в стиле ретро" или "подскажи, что это за предмет"), и модель тут же предлагает варианты действий или правок.
С точки зрения аппаратной стороны, мультимодальные функции требуют быстрой шины между ISP, NPU и памятью, а также возможности параллельной обработки нескольких потоков данных. Новые SoC обеспечивают это путём усиления внутренней архитектуры и оптимизации компиляции моделей.
В сумме эти возможности превращают смартфон в компактную творческую студию: от быстрой генерации контента до сложных аналитических задач прямо на устройстве - без постоянной связи с облаком.
Платформы и инструменты для разработчиков? От SDK до оптимизаторов моделей
Хороший железный ускоритель без софта - недоразумение.
Современные платформы для мобильного ИИ идут в комплекте с продвинутыми SDK, оптимизаторами и инструментарием для разработчика: конвертация моделей, квантизация с минимальной потерей качества, профайлинг и инструменты трассировки инференса.
Что получают разработчики:
Унифицированные API для доступа к аппаратным ускорителям (примерно как Metal/NN на iOS или NNAPI/Android, но более продвинутые и поддерживающие мультимодальные пайплайны).
Оптимизаторы и автотюнеры: инструменты, которые автоматически подбирают стратегию квантизации, разбиения модели на подмодели и распределения между блоками SoC для минимизации латентности и энергопотребления.
Эмуляторы и профайлеры: позволяют тестировать модели на десктопе в конфигурации, максимально приближённой к мобильному оборудованию, что ускоряет цикл разработки.
Практический пример: компания-разработчик приложения для обработки фото загружает модель в SDK, получает рекомендации по квантованию до INT8 с минимальной потерей качества, видит профайл инференса (какие слои уязвимы к троттлингу), и скачивает готовый бинарный бэктен для NPU.
Это снижает порог входа для стартапов и позволяет быстро запускать на мобильных устройствах сложные ИИ-фичи.
Также важен тренд к открытости: многие вендоры начали публиковать примеры моделей и оптимизационные плагины для популярных фреймворков (PyTorch, TensorFlow, ONNX), что ускоряет попадание новых приложений в экосистему.
Сетевые и гибридные сценарии. Когда облако всё ещё нужно
Ни одна аппаратная революция не отменяет облако: оно остаётся критично для тяжёлых моделей, тренировки и коллективного обучения. Но изменилась роль облака - теперь оно часто становится "поддержкой" локального ИИ, а не единственным исполнителем.
Смартфоны используют гибридную стратегию: части модели выполняются на устройстве, тяжёлые операции - в облаке, всё это под контролем динамических планировщиков.
Типичные гибридные сценарии:
Локальный препроцессинг и кэширование: устройство заранее обрабатывает и кэширует фичи, а облако использует их для глубокой аналитики.
Fall-back в облако для редких запросов: если устройство не справляется с большим запросом (например, генерация 4K видео с несколькими стилями), оно делегирует задачу облаку.
Коллективное обучение (federated learning): устройство обменивается градиентами или обобщёнными обновлениями модели, а не сырыми данными, что повышает приватность и уменьшает трафик.
Архитектурно это требует от SoC и ОС работать с сетевыми стеками низкой латентности, API для оффлоада задач и криптографической защиты канала.
Важный показатель - "переключение" между локальным и облачным режимом должно быть незаметно для пользователя и экономично по батарее.
Статистика показывает: в сценариях постоянной генерации контента гибридный подход может снизить сетевой трафик на 60–80% по сравнению с "всё в облаке", при этом сохраняя качество и скорость отклика для большинства частых задач.
Влияние на экосистему приложений- новые UX-паттерны и бизнес-модели
С аппаратным прогрессом приходят новые UX-паттерны: мгновенная генерация контента, офлайн-ассистенты, персонализированная обработка фото/видео и быстрые многомодальные диалоги.
Это меняет экономику приложений: модели монетизации смещаются от подписок на облачные вычисления к лицензированию/встроенным покупкам за улучшенные локальные функции или "премиум-модели", загружаемые прямо на устройство.
Примеры новых UX и бизнес-моделей:
Пакеты локальных моделей: разработчики предлагают скачиваемые "пакеты стилей" или "расширенные языковые модели" как отдельные покупки, что уменьшает потребление сетевого трафика и даёт "вечный" доступ.
Ассистенты, работающие офлайн: базовая функциональность бесплатна и локальна, а более сложные навыки требуют облачного дополнения или покупки плагинов.
Фильтр контента на устройстве: модерация и автоматическая правка изображений происходит локально, что особенно важно для приложений, где приватность и скорость критичны (медицина, финтех, соцсети с приватными групповыми чатами).
С точки зрения разработчика, это открывает новые ниши: нишевые приложения с высокой добавленной стоимостью за счёт уникальных локальных моделей, и сервисы по оптимизации и разбиению моделей под конкретные устройства.
Из пользовательской перспективы: обещание "инновации без платы за трафик" и "скорость без ожидания" начинает реализовываться.
Смартфон перестаёт быть просто терминалом - он становится персональным ИИ-хабом, который хранит и обрабатывает значительную часть пользовательских сценариев прямо на борту.
Тенденции на ближайшие 2–3 года и вызовы индустрии
Куда движется всё это в ближайшей перспективе? Есть несколько очевидных направлений, и одновременно - ряд вызовов, которые отрасли нужно решить, чтобы технологии стали действительно массовыми и надежными.
Основные тенденции:
Рост вычислительной мощности NPUs и их специализация: появятся ещё более крупные тензорные блоки, а также специализированные ускорители под конкретные типы трансформеров и генеративных моделей.
Дальнейшее развитие гибридных стратегий: интеллектуальное деление моделей между устройством и облаком с учётом стоимости, приватности и доступности сети.
Быстрое распространение офлайн-LLM: модели порядка сотен миллионов - уже обычное явление, но в скором времени мобильные устройства смогут запускать и модели порядка миллиарда параметров с разумной скоростью.
Улучшение инструментов для безопасного развертывания моделей: сертификация, встроенные механизмы отслеживания происхождения веса, более строгие политики разграничения доступа.
Основные вызовы:
Управление тепловыми и энергетическими ограничениями при дальнейшей миниатюризации: чем мощнее NPU, тем сложнее удержать приемлемую температуру корпуса и расход энергии.
Обеспечение совместимости моделей и SDK между разными вендорами: фрагментация экосистемы угрожает замедлить внедрение новых функций.
Регуляторные и этические вопросы: делегирование генеративных функций и принятие решений офлайн требует новых стандартов прозрачности и ответственности.
В сумме: индустрия ещё в начале пути, но направление ясно. Смартфоны становятся "умнее" не по прихоти маркетологов, а по необходимости - пользователи требуют скорости, приватности и автономности.
Производители, в свою очередь, вынуждены строить более гибкие, мощные и безопасные решения.
Напоследок - пара практических советов для пользователей и разработчиков: пользователям стоит обращать внимание не только на TOPS и мегапиксели камеры, но и на реальные сценарии использования ИИ и поддержку офлайн-функций; разработчикам - инвестировать в оптимизацию и кросс-платформенные решения, чтобы их приложения жили на максимальном числе устройств.
Вопросы и ответы