Titan V проти 1080 Ti - головний бій найкращих настільних графічних процесорів на CNN. Чи варто того Титану V? 110 TFLOPS! не мастер, правда?

Титан V NVIDIA - це найновіший «настільний» графічний процесор, побудований на основі архітектури Volta, що містить 110 TFLOPS для «глибокого навчання». Це неймовірна кількість. Порівняйте це з 1080 Ti, поточним королем для «настільних» GPU, який випускає 11 «звичайних» TFLOPS з 11 ГБ пам'яті GDDR5 за дуже розумною ціною наклейки в 699 доларів.

Хоча обіцянка Titan V звучить дуже хвилююче, ціна 2999 доларів трохи важко проковтнути. Але з 10-кратним TFLOPS ви повинні купувати Titan V замість цього? Це як отримати 10 1080 Ті? Або вам краще придбати 4 1080 Ті за ті самі гроші?

З іншого боку, станція DGX наразі продається за $ 49900 (як правило, ціна 69900 доларів). Він поставляється з 4-ма Tesla V100 з водяним охолодженням, які трохи краще, ніж на Titan V настільних класів (хоча вежа виглядає BOSS, і я здогадуюсь, що вона має підтримку та SLA.) Але більшість з нас (чорт, Маю на сумні, що багато університетських та дослідницьких лабораторій) не мають таких грошей. Навіть якщо ви це зробили, не впевнені, якщо це має багато економічного сенсу. BTW, якщо ви керуєте центром обробки даних, нещодавно NVIDIA оновила свою ліцензію EULA, щоб заборонити використовувати настільні GPU GeForce та Titan у центрах обробки даних.

Тож питання полягає в тому, чи варто того Titan V, якщо ви хочете створити власну установку GPU?

Дозвольте почати з того, що Titan V та його старший брат-сервер Tesla V100 є доволі новими. V100 вийшов у травні 2017 року, а Titan V щойно вийшов у цьому місяці (грудень 2017 р.) Більшість структур глибокого навчання поспішали додати підтримку Volta, щоб переконатися, що всі потенційні показники можуть бути використані.

Наприклад, PyTorch нещодавно вийшов з версією 0.3.0, яка додає підтримку графічних процесорів CUDA 9 та Volta. Я бавився з цим налаштуванням, і спільнота PyTorch була приголомшливою (особливо Soumith Chintala - дякую чувак!), Допомагаючи мені. Тепер, коли я можу запустити PyTorch на Titan V, я написав деякий контрольний код, щоб продемонструвати відмінності в продуктивності. Поки що результати включають лише результати PyTorch 0.3.0, але я планую додавати результати і для інших фреймворків (EDIT: тепер результати орієнтиру містять також цифри з TensorFlow 1.4.0 та Caffe2 0.8.1 - див. посилання для більш детальної інформації), все на CUDA 9.0.176 та CuDNN 7.0.0.5, щоб вирівняти ігрове поле.

Порівняння продуктивності Titan V проти 1080 Ti

Тож давайте перевіримо результати вище.
Titan V та 1080 Ti порівнювали голову до голови з тими ж налаштуваннями (крім того, ці карти знаходяться на 16-ти слотах PCIE на одному комп’ютері.)

Показані вище часові номери призначені для проходу вперед через CNN ("eval") і проходу вперед і назад ("поїзд"), виміряні в мілісекундах. Це середні числа, обчислені за 20 проходів після деяких розминок. Я пробігав це багато разів, і ці цифри досить стабільні.

Цікаві моменти, які слід зазначити:

  • Очевидно, що Titan V швидший, ніж 1080 Ti. Однак, якщо ви просто порівнюєте 32-бітові ("одинарні" точності) титани V лише на 20% швидше, ніж 1080 Ti.
  • 16-бітові ("наполовину" точності) титану V нетривіально швидші, ніж 32-бітні аналоги. 1080 Ti виграв від напівточності, але підвищення продуктивності досить скромне порівняно з Titan V.

Ці цифри насправді не кричать "О МОЙ ДОБРИЙ ТИТАН V НЕ БЕЗПЕЧНИК".

NVIDIA бреше про 10-кратний TFLOPS? Я впевнений, що їхні люди з маркетингу - хороші чесні люди, але тут є багато факторів. По-перше, я впевнений, що в програмі все ще є можливість вдосконалитись для вилучення кожного шматочка надшвидких тензорних ядер Volta. Але навіть тоді, якщо більшість кодових шляхів не відповідають умовам, що дозволяють досягти максимальної теоретичної продуктивності (див. ПРАВИЛИ РОЗВИТАННЯ у “Програмуванні ядер тензорів у CUDA 9 від NVIDIA), ви можете зробити лише стільки. Час покаже, скільки поліпшень ми побачимо на рівні frame / CUDA / CuDNN, щоб максимально використати можливості графічного процесора Volta, але початкові цифри, які я спостерігав у популярних мережах CNN (я займаюся комп'ютерним зором, в основному, тому мій фокус на CNN), здається, не виправдовують отримання Titan V, особливо якщо ви отримали його зараз, коли програмне забезпечення наздоганяє.

Хоча приємно пограти з найновішими технологіями та бути першим прийнятим, якщо ви зосереджені на дослідженні AI або будівництві продуктів на вашій персональній графічній установці, я б запропонував придбати 1080 Ti на момент написання (поки NVIDIA не вийде з ще кращою альтернативою в найближчому майбутньому; вони, як правило, здивують нас новими випусками.) Також врахуйте, що в одного Titan V є лише 12 ГБ пам’яті, тоді як 1080 Ti має дещо меншу пам’ять на 11 ГБ. Але якщо ви придбаєте 4 з них за ті самі гроші (принаймні, на графічних процесорах… вам також потрібен блок живлення беріф, материнські плати, які можуть підтримувати 4 графічні процесори, більше оперативної пам’яті та краще охолодження і так далі), ви отримаєте набагато більше GPU пам'ять (44 Гб проти 12 ГБ.) Сказавши, що я думаю, що більш практична річ, якщо ви хочете отримати більше одного графічного процесора, - це отримати 2x 1080 Ті. Таким чином, графічні процесори не повинні розташовуватися прямо над іншим (більший потік повітря для охолодження - коли ці картки термічно дроселюють, ви можете значно втратити продуктивність ... ви можете робити водяне охолодження, але це суттєво збільшує витрати, зусилля та якийсь ризик.) Також, лише за допомогою двох карт, потужність живлення становить 250 Вх2 від графічних процесорів, щоб ви могли піти з дешевшим джерелом живлення. У будь-якому випадку, мені здається надзвичайно цінним мати декілька графічних процесорів та розділити експерименти на них, щоб я міг швидко повторювати, тому це я б рекомендував як хороший компроміс.
Іншим варіантом вирішення проблеми з нагріванням штабельних графічних процесорів з повітряним охолодженням, якщо у вас їх є 3–4, не хочете охолоджувати воду та не турбуватися про естетику чи шум, - придбати розширення PCIE / стояки і робити те, що зробив цей переможець Каглер:

Машина 4x 1080 Ti Володимира Ігловикова, одного з членів команди-переможця Carvana Image Masking Challenge

Сподіваюсь, ви вважаєте, що ця публікація корисна. Будь ласка, повідомте мені, чи є якісь конкретні результати, які ви хочете побачити на Titan V або 1080 Ti. Дякую за прочитання!