Intel — как часть своих процессоров Nervana — представила Flexpoint (flex16+5) для тензорных операций. Подробности в статье ниже, но думайте об этом как
- все элементы тензора имеют одинаковый показатель
- дополнительные 5 бит точности в 16-битной операции теперь могут быть отнесены к мантиссе.
- что означает, что вы в основном выполняете целочисленные операции со всем тензором
- что может означать более быстрое и менее дорогое оборудование
- показатель степени (и, следовательно, динамический диапазон) обновляется для тензора в целом во время обучения
Последнее особенно полезно — и увлекательно! — так как оказывается, что во время обучения тензоры «имеют довольно остроконечное (и перекошенное вправо) распределение, достаточно охватываемое 16-битным диапазоном. Но положения этих диапазонов варьируются от тензора к тензору, а для некоторых тензоров они значительно сдвигаются в процессе обучения» (изображение выше).
Независимо от того, приживется ли Nervana, flex16+5 кажется отличной идеей для глубокого обучения.
(°) Подробнее об Intel Nervana — https://ai.intel.com/intel-nervana-neural-network-processor-architecture-update/
