Karta graficzna PNY PCI-Ex NVLink H100 94GB HBM3 (5120bit) (TCSH100NVLPCIE-PB)

Karta graficzna PNY NVIDIA H100 94GB NVL Data Center

Karta graficzna NVIDIA H100 NVL Tensor Core jest najbardziej zoptymalizowaną platformą dla LLM Inferences dzięki wysokiej gęstości obliczeniowej, dużej przepustowości pamięci, wysokiej efektywności energetycznej i unikalnej architekturze NVLink. Zapewnia również bezprecedensową akcelerację w celu zasilania najbardziej wydajnych na świecie elastycznych centrów danych dla sztucznej inteligencji, analizy danych i wysokowydajnych aplikacji obliczeniowych (HPC). Technologia NVIDIA H100 NVL Tensor Core obsługuje szeroki zakres dokładności obliczeń matematycznych, zapewniając pojedynczy akcelerator dla każdego obciążenia obliczeniowego. NVIDIA H100 NVL obsługuje zadania obliczeniowe podwójnej precyzji (FP64), pojedynczej precyzji (FP32), półprecyzyjne (FP16), 8-bitowe zmiennoprzecinkowe (FP8) i całkowite (INT8).

Karta NVIDIA H100 NVL to dwuslotowa 10,5-calowa karta PCI Express Gen5 oparta na architekturze NVIDIA Hopper. Wykorzystuje ona pasywny radiator do chłodzenia, który wymaga przepływu powietrza w systemie do prawidłowego działania karty w jej granicach termicznych. Karta NVIDIA H100 NVL działa bez ograniczeń do maksymalnego poziomu mocy obliczeniowej (TDP) wynoszącego 400 W w celu akceleracji aplikacji wymagających największej szybkości obliczeniowej i najwyższej przepustowości danych.

NVIDIA H100 NVL debiutuje z najwyższą na świecie przepustowością pamięci karty PCIe wynoszącą niemal 4000 gigabajtów na sekundę (GBps). Przyspiesza to czas uzyskania rozwiązania dla największych modeli i najbardziej masywnych zestawów danych. Karta NVIDIA H100 NVL oferuje funkcję Multi-Instance GPU (MIG). Może ona zostać wykorzystana do podziału GPU na nawet siedem sprzętowo izolowanych instancji GPU, zapewniając zunifikowaną platformę, która umożliwia elastycznym centrom danych dynamiczne dostosowywanie się do zmieniającego się zapotrzebowania na obciążenia. Może ona również przydzielać odpowiedni rozmiar zasobów od najmniejszych do największych zadań multi-GPU.

Wszechstronność kart NVIDIA H100 NVL oznacza, że menedżerowie IT mogą zmaksymalizować użyteczność każdego procesora graficznego (GPU) w swoim centrum danych. Karty NVIDIA H100 NVL wykorzystują trzy mostki NVIDIA NVLink. Są one takie same jak te stosowane w kartach NVIDIA H100 PCIe. Pozwala to na połączenie dwóch kart NVIDIA H100 PCIe w celu zapewnienia dwukierunkowej przepustowości 600 GB/s lub 10-krotności przepustowości PCIe Gen4, aby zmaksymalizować wydajność aplikacji przy dużych obciążeniach.