Thách thức
Một công ty khởi nghiệp AI đang xây dựng sản phẩm dựa trên LLM cần cơ sở hạ tầng suy luận cấp sản xuất — nhanh chóng. Nhóm gặp phải thời gian chờ GPU kéo dài, ngân sách eo hẹp và không có kinh nghiệm về trung tâm dữ liệu nội bộ. Họ cần một nhà cung cấp có thể cấu hình, kiểm tra và cung cấp một cụm sẵn sàng hoạt động.
Giải pháp
Làm việc với các kỹ sư của chúng tôi, khách hàng đã chọn máy chủ GPU Dell được cấu hình cho khối lượng công việc suy luận của họ:
- Bộ xử lý Intel Xeon Scalable với các tùy chọn số lượng lõi cao
- Nhiều GPU hạng NVIDIA trên mỗi nút, được định cỡ theo ngân sách
- Bộ nhớ DDR5 tần số cao và lưu trữ NVMe
- Hệ điều hành được cài đặt sẵn và trình điều khiển đã được xác thực từ phòng thí nghiệm của chúng tôi
Mỗi nút đều được kiểm tra kỹ lưỡng và thử nghiệm căng thẳng trước khi vận chuyển, và chúng tôi đã cung cấp kế hoạch giao hàng theo giai đoạn để nhóm có thể bắt đầu thử nghiệm với các nút đầu tiên trong khi phần còn lại đến.
Kết quả
- Cụm được triển khai trong 7 tuần, so với thời gian chờ 2 tháng được báo giá ở nơi khác
- Độ trễ suy luận giảm 10% so với thiết lập GPU đơn trước đó
- Tiết kiệm chi phí 10% so với việc thuê các phiên bản GPU đám mây tương đương trong 24 tháng
Bài học chính
Định cỡ đúng cụm đầu tiên quan trọng hơn việc mua cụm lớn nhất. Bắt đầu với phần cứng được kiểm tra, trực tiếp từ nhà máy và mở rộng quy mô khi nhu cầu tăng cho phép công ty khởi nghiệp này hoạt động mà không cam kết quá nhiều vốn.
Liên hệ với chúng tôi để lên kế hoạch cho cơ sở hạ tầng suy luận hoặc đào tạo AI của bạn.
