- NAWQ-SR: гибридный прецизионный модуль NPU для эффективного сверхразрешения на устройстве (arXiv)
Автор: Стилианос И. Вениерис, Марио Алмейда, Ройсон Ли, Николас Д. Лейн.
Аннотация: В последние годы системы доставки изображений и видео начали интегрировать подходы глубокого обучения со сверхвысоким разрешением (SR), используя их беспрецедентные возможности визуального улучшения при одновременном снижении зависимости от сетевых условий. Тем не менее, развертывание этих решений на мобильных устройствах по-прежнему остается актуальной задачей, поскольку модели SR чрезмерно требовательны к рабочей нагрузке и объему памяти. Несмотря на недавний прогресс в разработке сред SR на устройствах, существующие системы либо снижают качество изображения, либо приводят к чрезмерному потреблению энергии, либо неэффективно используют доступные ресурсы. В этой работе представлена NAWQ-SR, новая структура для эффективного выполнения моделей SR на устройстве. Благодаря новому методу квантования с гибридной точностью и кодеку нейронных изображений во время выполнения, NAWQ-SR использует возможности мульти-точности современных мобильных NPU, чтобы минимизировать задержку, при этом соблюдая заданные пользователем ограничения качества. Кроме того, NAWQ-SR выборочно адаптирует арифметическую точность во время выполнения, чтобы предоставить слоям SR DNN более широкие возможности представления, улучшая визуальное качество по сравнению с тем, что ранее было возможно на NPU. В целом NAWQ-SR достигает среднего ускорения в 7,9x, 3x и 1,91x по сравнению с современными системами SR на устройстве, которые используют гетерогенные процессоры (MobiSR), CPU (SplitSR) и NPU (XLSR) соответственно. . Кроме того, NAWQ-SR обеспечивает ускорение в среднем в 3,2 раза и повышение PSNR на 0,39 дБ по сравнению со стандартными конструкциями NPU INT8, но, что наиболее важно, смягчает негативное влияние квантования на качество изображения, устанавливая новый уровень техники в достижимое качество СИ на основе ЯЭУ.
2. Энергоэффективное видео сверхвысокого разрешения на мобильных NPU с глубоким обучением, мобильным ИИ и вызовом AIM 2022: отчет (arXiv)
Автор: Андрей Игнатов, Раду Тимофте, Чэн-Мин Чан, Сянь-Кай Го, Ю-Сюань Сюй, Мань-Ю Ли, Аллен Лу, Чиа-Мин Ченг. », Чи-Чэн Чен, Цзя-Ин Юн, Хун-Хань Шуай, Вэнь-Хуан Ченг, Чжуан Цзя, Тяньюй Сюй, Ицзянь Чжан, Лун Бао, Хэн Сунь, Дянькай Чжан, Си Гао, Шаоли Лю, Бяо Ву, Сяофэн Чжан, Чэнцзянь Чжэн, Кайди Лу, Нин Ван и др. (29 дополнительных авторов не показаны)
Аннотация: Суперразрешение видео — одна из самых популярных задач на мобильных устройствах, широко используемая для автоматического улучшения видеопотоков с низким битрейтом и низким разрешением. Хотя для этой проблемы было предложено множество решений, они обычно довольно требовательны к вычислительным ресурсам, демонстрируя низкие показатели FPS и энергоэффективность на мобильных устройствах. В этой задаче Mobile AI мы решаем эту проблему и предлагаем участникам разработать комплексное решение для сверхвысокого разрешения видео в реальном времени для мобильных NPU, оптимизированное для низкого энергопотребления. Участникам был предоставлен обучающий набор данных REDS, содержащий видеопоследовательности для задачи масштабирования видео в 4 раза. Время выполнения и энергоэффективность всех моделей оценивались на мощной платформе MediaTek Dimensity 9000 с выделенным блоком обработки ИИ, способным ускорять нейронные сети с плавающей запятой и квантованные нейронные сети. Все предлагаемые решения полностью совместимы с указанным выше NPU, демонстрируя скорость до 500 FPS и энергопотребление 0,2 [Ватт / 30 FPS]. Подробное описание всех моделей, разработанных в рамках задачи, представлено в этой статье.
