ИССЛЕДОВАНИЕ ПРИМЕНИМОСТИ НИЗКОРАЗРЯДНЫХ ПРЕДСТАВЛЕНИЙ ЧИСЕЛ С ПЛАВАЮЩЕЙ ЗАПЯТОЙ ДЛЯ ЭФФЕКТИВНЫХ ВЫЧИСЛЕНИЙ В НЕЙРОННЫХ СЕТЯХ
А.Ю. Кондратьев1, А.И. Гончаренко2,1
1ООО «Экспасофт», г. Новосибирск, Россия
a.kondratev@expasoft.ru
2Новосибирский государственный университет, г. Новосибирск, Россия
a.goncharenko@expasoft.ru
Ключевые слова: нейронные сети, глубокое обучение, типы данных, minifloat, специализированные вычислители, neural networks, deep learning, data types, minifloat, specialized calculators
Страницы: 93-99
Аннотация
Изучена возможность работы нейронных сетей на типах данных низкой разрядности с плавающей запятой (minifloat). Выполнены вычисления с использованием аккумулятора float16 для промежуточных вычислений. Осуществлена проверка качества работы на свёрточных нейронных сетях GoogleNet, ResNet-50, MobileNet-v2, а также на рекуррентной сети DeepSpeech-v01. Эксперименты показали, что качество работы указанных нейронных сетей с 11-разрядными minifloat не уступает качеству работы сетей со стандартным типом float32 без проведения дополнительного обучения. Результаты свидетельствуют о том, что числа с плавающей запятой низкой разрядности можно использовать для создания эффективных вычислителей, специализирующихся на работе нейронных сетей.
DOI: 10.15372/AUT20200110 |
