«Отец всех чипов» — топовый GPU линейки Intel Xe, фотография которого недели две назад обошла страницы всех тематических изданий, возможно, является самым большим с учетом каких-то оговорок. Но среди 7-нанометровых микросхем «отцом», безусловно, можно назвать микросхему Nvidia A100. На кристалле этого GPU поколения Ampere насчитывается 54 миллиарда транзисторов (не считая транзисторов в стеках памяти HBM2E).

По словам Nvidia, новый GPU в 20 превосходит по производительности в задачах ИИ и вычислениях с одинарной точностью (FP32) своего предшественника — Tesla V100. Nvidia также планирует предложить новый числовой формат для вычислений ИИ, названный TF32 (32-разрядный тензорный с плавающей запятой). В TF32 используется 10-битная мантисса из FP16 и 8-битный порядок из FP32. Такой формат может существенно повысить производительность. По оценке Nvidia, в 20 раз по сравнению с AMD Volta.

Еще одна особенность A100 — «многоэкземплярный» графический процессор, который позволяет нескольким сложным приложениям работать на одном физическом графическом процессоре без совместного использования ресурсов, таких как пропускная способность памяти. Пользователь может разделить физический A100 на несколько виртуальных (до семи) с различными характеристиками. Неудивительно, что для реализации таких возможностей понадобилось 54 миллиарда транзисторов.