Что такое TensorFlow Lite и что такое платформа глубокого обучения?

Возможно, вы столкнулись с TensorFlow Lite, когда проходили обучение на досках разработки Edge AI или в проектах по ускорению AI.

TensorFlow Lite - это пакет программных пакетов, который позволяет обучать машинному обучению локально на оборудовании. Эта обработка и вычисления на устройстве позволяют разработчикам запускать свои модели на целевом оборудовании. Оборудование включает в себя отладочные платы, аппаратные модули, встроенные устройства и устройства Интернета вещей.

Обзор TensorFlow Lite Framework

TensorFlow - популярный термин в глубоком обучении, поскольку многие разработчики машинного обучения используют эту структуру для различных случаев использования. Это обеспечивает простоту реализации модели машинного обучения и выводы для приложений ИИ.

Но TensorFlow Lite - это среда глубокого обучения для локального вывода, особенно для небольшого вычислительного оборудования. Он обеспечивает машинное обучение на устройстве, помогая разработчикам запускать свои модели на совместимом оборудовании и устройствах Интернета вещей.

Разработчику необходимо выбрать подходящую модель в зависимости от варианта использования. Платформа также дает возможность переобучить существующую модель на настраиваемом наборе данных. Поскольку модель буфера протокола TensorFlow имеет большой размер и требует повышенной вычислительной мощности, она позволяет преобразовать модель TensorFlow в модель TensorFlow Lite.

Настройка параметров оптимизации и квантования позволяет уменьшить размер модели и время ожидания.

Помимо преимуществ, связанных с задержкой и размером TensorFlow Lite, фреймворк обеспечивает безопасность данных, поскольку обучение происходит локально на устройстве. Кроме того, нет необходимости в подключении к Интернету. Таким образом, развертывание приложений не ограничивается определенными областями с возможностью подключения.

Эти факторы в конечном итоге снижают энергопотребление устройства, устраняя фактор подключения и повышая эффективность вывода глубокого обучения.

Модели фреймворка TensorFlow Lite существуют в кроссплатформенном формате, известном как FlatBuffers. Это библиотека сериализации, которая хранит иерархические данные в плоском двоичном буфере, так что прямой доступ возможен без распаковки. Вы также можете увидеть расширение «.tflite» для моделей TensorFlow Lite. Этот метод представления позволяет оптимизировать вычисления и снижает требования к памяти. Следовательно, что делает его намного лучше, чем модели TensorFlow

TinyML на TensorFlow Lite Micro

Поскольку TensorFlow Lite совместим с различными платформами для приложений Edge AI, возникла необходимость в дальнейшей конвергенции библиотеки. Следовательно, организация разработала подмножество библиотеки TensorFlow Lite, известное как TensorFlow Lite Micro. TensorFlow Lite Micro специально запускает модели машинного обучения на микроконтроллерах локально с минимальными требованиями к памяти около нескольких килобайт.

Ядро выполнения процедуры интегрируется с 16 КБ на Arm Cortex M3 и может работать на различных моделях. Платформа не требует дополнительной поддержки ОС или других языковых библиотек высокого уровня в качестве зависимостей для выполнения логического вывода на устройстве.

Развитие TensorFlow Lite Micro связано с C ++ 11, которому для совместимости требуется 32-разрядная архитектура. Говоря больше об архитектурах, библиотека отлично работает на широком диапазоне процессоров, основанных на архитектуре Arm Cortex-M Series с другими. проектировать архитектуры, такие как ESP32.

Рабочий процесс для случаев использования TensorFlow Lite Micro

Процесс обучения нейронной сети требует мощного вычислительного оборудования. Таким образом, он тренируется на общем Модель TensorFlow. Однако обучение требуется только в том случае, если настраиваемый набор данных соответствует модели глубокого обучения, тогда как предварительно обученные модели на платформе также могут использоваться для приложений.

Предполагая индивидуальный вариант использования с набором данных для конкретного приложения, пользователь обучает модель на общей платформе TensorFlow с высокой производительностью обработки и архитектурой. По окончании обучения оценка модели с использованием методов тестирования проверяет точность и надежность модели. Далее за процессом следует преобразование модели TensorFlow в аппаратно совместимую модель TensorFlow Lite в формате .tflite.

Формат .tflite - это плоский буферный файл, общий для платформы TensorFlow Lite и совместимого оборудования. Модель также может быть использована для обучения логическому выводу на основе данных, полученных в режиме реального времени. Обучение логическому выводу оптимизировало модели для надежных сценариев использования. Следовательно, вариант обучения логическому выводу имеет решающее значение для Edge Приложения AI.

Большая часть прошивки микроконтроллера не поддерживает собственную файловую систему для прямого встраивания формата плоского буфера модели TensorFlow Lite. Следовательно, преобразование файла .tflite необходимо в формат структуры массива, совместимый с микроконтроллерами.

Включение программы в массив C с последующей обычной компиляцией - простой метод такого преобразования. Результирующий формат действует как исходный файл и состоит из массива символов, совместимого с микроконтроллерами.

Устройства с поддержкой TensorFlow Lite Micro

TensorFlow Lite подходит для мощных устройств, но его недостатком является большая нагрузка на процессор. Несмотря на то, что TensorFlow Lite Micro имеет файлы небольшого размера, которые могут не соответствовать требованиям, оптимизируя размер файла, подходит для памяти может значительно улучшить производительность для оборудования с низким энергопотреблением и низкой вычислительной мощностью, такого как микроконтроллеры.

Вот список плат для разработки из официальной документации TensorFlow, которые поддерживают TensorFlow Lite Micro:

• Arduino Nano 33 BLE Sense
• SparkFun Edge
• Комплект открытия STM32F746
• Adafruit EdgeBadge
• Adafruit TensorFlow Lite для набора микроконтроллеров
• Игровая площадка Adafruit Circuit Bluefruit
• Эспрессиф ESP32-DevKitC
• Эспрессиф ESP-EYE
• Терминал Wio: ATSAMD51
• Совет по развитию искусственного интеллекта для конечных точек Himax WE-I Plus EVB

TensorFlow Lite Micro также доступен в виде библиотеки Arduino для расширенной поддержки микроконтроллеров. Он также может создавать проекты для сред разработки оборудования, аналогичные Mbed.

TensorFlow Lite предлагает множество возможностей

Фреймворк глубокого обучения TensorFlow Lite открывает возможности для ряда периферийных приложений искусственного интеллекта. Поскольку фреймворк является открытым для энтузиастов ИИ, поддержка сообщества делает его еще более популярным для случаев использования машинного обучения. Общая платформа TensorFlow Lite улучшает среду для роста периферийных приложений для встраиваемых устройств и устройств Интернета вещей.

Кроме того, для начинающих есть различные примеры, которые помогут им разобраться в практических примерах использования фреймворка. Некоторые из этих примеров включают обнаружение человека в зависимости от данных, собранных датчиком изображения платы разработки, и стандартной программы hello world для всех плат разработки. Примеры также включают такие приложения, как обнаружение жестов и распознавание речи для конкретных плат разработки.

Для получения дополнительной информации о TensorFlow Lite а также TensorFlow Lite Micro, вы можете посетить страницу официальной документации организации. Есть много концептуальных разделов, а также обучающих разделов для лучшего понимания фреймворка.

Начните с распознавания изображений с помощью TensorFlow и Raspberry Pi

Хотите разобраться с распознаванием изображений? Благодаря Tensorflow и Raspberry Pi вы можете сразу приступить к работе.

Читать далее

Об авторе