طراحی زیرساخت هوش مصنوعی با NVIDIA H100
نوع محصول را دقیق مشخص کنید
H100 نام یک خانواده از شتاب‌دهنده‌هاست. رابط، ظرفیت حافظه، توان و ارتباط میان GPUها را از مشخصات دقیق همان گونه بخوانید. مشخصات یک گونه را به همهٔ محصولات H100 نسبت ندهید.
از مدل و داده به زیرساخت برسید
برای استنتاج یا آموزش، اندازهٔ مدل، دقت عددی، طول ورودی و تعداد درخواست‌های هم‌زمان را تعیین کنید. سپس حافظهٔ GPU، پردازندهٔ میزبان، حافظهٔ سیستم و ذخیره‌سازی را با هم برآورد کنید. این برآورد جای بنچمارکِ بار کاری واقعی را نمی‌گیرد.
شبکه و خنک‌کاری
NVIDIA ارتباط پرسرعت GPUها و شبکهٔ کلاستر را بخشی از معماری H100 معرفی می‌کند. انتخاب رابط، شبکه، پاور و راهکار خنک‌کاری باید با گونهٔ شتاب‌دهنده و پلتفرم سرور تطبیق داده شود؛ نصب یک کارت به‌تنهایی معادل ساخت یک پلتفرم HGX نیست.
منبع: NVIDIA H100 — specifications and architecture
این راهنما برای آشنایی اولیه است؛ تأیید نهایی پیکربندی با بررسی مستندات دقیق پارت‌نامبر و کارشناس انجام می‌شود.
پیکربندی سرور