Что такое нейронный движок Apple и как он работает?

В вашем iPhone, iPad, Mac и Apple TV используется специализированный нейронный процессор под названием Apple Neural Engine (ANE), который намного быстрее и энергоэффективнее, чем центральный или графический процессор.

ANE позволяет использовать расширенные функции на устройстве, такие как обработка естественного языка и анализ изображений, без подключения к облаку или использования чрезмерной мощности.

Давайте рассмотрим, как работает ANE и его эволюция, в том числе выводы и интеллектуальные функции, которые он обеспечивает на платформах Apple, и как разработчики могут использовать его в сторонних приложениях.

Что такое Apple Neural Engine (ANE)?

Apple Neural Engine — это маркетинговое название кластера узкоспециализированных вычислительных ядер, оптимизированных для энергоэффективного выполнения глубоких нейронных сетей на устройствах Apple. Он ускоряет алгоритмы машинного обучения (ML) и искусственного интеллекта (AI), предлагая огромные преимущества в скорости, памяти и мощности по сравнению с основным процессором или графическим процессором.

ANE — это большая часть того, почему новейшие iPhone, iPad, Mac и Apple TV быстро реагируют и не нагреваются во время тяжелых вычислений машинного обучения и искусственного интеллекта. К сожалению, не все устройства Apple имеют ANE — у Apple Watch, компьютеров Mac на базе Intel и устройств старше 2016 года его нет.

Первый ANE, дебютировавший в чипе Apple A11 в iPhone X 2017 года, был достаточно мощным, чтобы поддерживать Face ID и Animoji. Для сравнения, последний ANE в чипе A15 Bionic в 26 раз быстрее, чем первая версия. В настоящее время ANE позволяет использовать такие функции, как автономный Siri, и разработчики могут использовать его для запуска ранее обученных моделей машинного обучения, освобождая ЦП и ГП, чтобы сосредоточиться на задачах, которые им лучше подходят.

Как работает нейронный движок Apple?

ANE обеспечивает управление и арифметическую логику, оптимизированную для выполнения обширных вычислительных операций, таких как умножение и накопление, обычно используемое в алгоритмах машинного обучения и искусственного интеллекта, таких как классификация изображений, анализ мультимедиа, машинный перевод и более.

В соответствии с патент Apple под названием «Многорежимный планарный движок для нейронного процессора» ANE состоит из нескольких ядер нейронного движка и одной или нескольких многорежимных планарных схем.

Дизайн оптимизирован для параллельных вычислений, где многие операции, такие как матричное умножение, выполняемое триллионами итераций, должны выполняться одновременно.

Чтобы ускорить вывод в алгоритмах ИИ, ANE использует прогностические модели. Кроме того, ANE имеет собственный кеш и поддерживает всего несколько типов данных, что помогает максимизировать производительность.

Функции искусственного интеллекта на базе ANE

Вот некоторые функции на устройстве, с которыми вы, возможно, знакомы, которые делает возможным ANE.

• Обработка естественного языка: Более быстрое и надежное распознавание голоса для Диктовки и Siri; Улучшено изучение естественного языка в приложении «Переводчик» и во всей системе; Мгновенный перевод текста в «Фото», «Камера» и других приложениях для iPhone.
• Компьютерное зрение: поиск объектов на изображениях, таких как достопримечательности, домашние животные, растения, книги и цветы, с помощью приложения «Фотографии» или поиска Spotlight; Получение дополнительной информации о распознанные объекты с помощью Visual Look Up в таких местах, как Safari, Mail и Messages.
• Дополненная реальность: Окклюзия людей и отслеживание движения в приложениях дополненной реальности.
• Видеоанализ: Обнаружение лиц и объектов на видео в таких приложениях, как Final Cut Pro.
• Эффекты камеры: Автоматическая обрезка с Center Stage; Размытие фона во время видеозвонков FaceTime.
• Игры: фотореалистичные эффекты в 3D-видеоиграх.
• Живой текст: Оптическое распознавание символов (OCR) в «Камере» и «Фото», позволяющее легко копировать рукописный текст или текст, например пароль или адрес Wi-Fi, с изображений.
• Компьютерная фотография: Deep Fusion анализирует пиксели для лучшего шумоподавления, расширения динамического диапазона и улучшения автоматической экспозиции и баланса белого, при необходимости используя Smart HDR; Фотосъемка с малой глубиной резкости, включая съемку портретов в ночном режиме; Регулировка уровня размытия фона с помощью управления глубиной.
• Лакомые кусочки: ANE также используется для фотографических стилей в приложении «Камера», подбора воспоминаний и стилистических эффектов в фотографиях, персонализированные рекомендации, такие как предложения обоев, подписи к изображениям VoiceOver, поиск дубликатов изображений в Фотографии и т. д.

Некоторые из упомянутых выше функций, такие как распознавание изображений, также работают без ANE, но будут работать намного медленнее и расходуют заряд батареи вашего устройства.

Краткая история Apple Neural Engine: от iPhone X до компьютеров Mac M2

В 2017 году Apple развернула свой самый первый ANE в виде двух специализированных ядер в чипе A11 iPhone X. По сегодняшним меркам это было относительно медленно, всего 600 миллиардов операций в секунду.

ANE второго поколения появился внутри чипа A12 в 2018 году, имея в четыре раза больше ядер. Этот ANE, рассчитанный на пять триллионов операций в секунду, был почти в девять раз быстрее и потреблял одну десятую мощности своего предшественника.

Чип A13 2019 года имел тот же восьмиядерный ANE, но работал на одну пятую быстрее и потреблял на 15% меньше энергии, что является продуктом усовершенствованного 7-нм полупроводникового узла TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) производит чипы, разработанные Apple.

Эволюция Apple Neural Engine

В следующем году Apple A14 почти удвоила производительность ANE до 11 триллионов операций в секунду за счет увеличения количества ядер ANE с 8 до 16. В 2021 году A15 Bionic получил выгоду от 5-нм техпроцесса TSMC второго поколения, который еще больше повысил производительность ANE до 15,8 триллиона операций в секунду без добавления дополнительных ядер.

Первые чипы M1, M1 Pro и M1 Max, привязанные к Mac, имели тот же ANE, что и A14, что впервые обеспечило продвинутые аппаратно-ускоренные машинное обучение и искусственный интеллект на платформе macOS.

В 2022 году M1 Ultra объединил два чипа M1 Max в одном корпусе с использованием специального межсоединения Apple, получившего название UltraFusion. Благодаря удвоенному количеству ядер ANE (32) M1 Ultra удвоил производительность ANE до 22 триллионов операций в секунду.

Apple A16 в 2022 году был изготовлен с использованием усовершенствованного узла N4 TSMC, что позволило повысить производительность ANE примерно на 8% (17 триллионов операций в секунду) по сравнению с ANE A15.

Первыми iPad с поддержкой ANE были iPad mini пятого поколения (2019 г.), iPad Air третьего поколения (2019 г.) и iPad восьмого поколения (2020 г.). Все iPad, выпущенные с тех пор, имеют ANE.

Как разработчики могут использовать ANE в приложениях?

Многие сторонние приложения используют ANE для функций, которые в противном случае были бы невозможны. Например, редактор изображений Pixelmator Pro предоставляет такие инструменты, как ML Super Resolution и ML Enhance. А в djay Pro ANE отделяет биты, инструменталы и вокальные треки от записи.

Однако сторонние разработчики не получают низкоуровневого доступа к ANE. Вместо этого все вызовы ANE должны проходить через программную среду Apple для машинного обучения Core ML. С помощью Core ML разработчики могут создавать, обучать и запускать свои модели машинного обучения непосредственно на устройстве. Затем такая модель используется для прогнозирования на основе новых входных данных.

«После того, как модель находится на устройстве пользователя, вы можете использовать Core ML для переобучения или точной настройки ее на устройстве с данными этого пользователя», — говорится в обзоре Core ML на сайте веб-сайт Apple.

Для ускорения алгоритмов машинного обучения и искусственного интеллекта Core ML использует не только ANE, но также ЦП и ГП. Это позволяет Core ML запускать модель, даже если ANE недоступен. Но при наличии ANE Core ML будет работать намного быстрее, и батарея не будет разряжаться так быстро.

Многие функции Apple не будут работать без ANE

Многие функции на устройстве были бы невозможны без быстрой обработки алгоритмов искусственного интеллекта и машинного обучения, а также минимизации объема памяти и энергопотребления, которые обеспечивает ANE. Магия Apple заключается в наличии специального сопроцессора для работы нейронных сетей в частном порядке на устройстве вместо того, чтобы переносить эти задачи на серверы в облаке.

С помощью ANE как Apple, так и разработчики могут внедрять глубокие нейронные сети и пользоваться преимуществами ускоренного машинное обучение для различных прогностических моделей, таких как машинный перевод, обнаружение объектов, классификация изображений, и т. д.