CÔNG TY TNHH SIÊU SIÊU NHỎ

Danh mục

Dell R760XA tối ưu hóa cho GPUs PCIe lý tưởng cho ứng dụng AI

  • 18-03-2024
  • máy chủ cho GPUs

    Trí tuệ nhân tạo

    Trí tuệ nhân tạo (AI - Artificial Intelligence), Học máy (ML - Machine Learning) và Học sâu (DL - Deep Learning) là những khái niệm đang ngày càng trở nên phổ biến và là một yếu tố “trendy” trong lĩnh vực công nghệ. 

    Trong đó, AI (Artificial Intelligence) là một khái niệm chung được biết đến từ những năm 1950, nó ám chỉ tất cả những thiết bị máy móc có khả năng bắt chước được hành vi và suy nghĩ của con người.

    GPUs

    ML (Machine Learning) là khái niệm nằm bên trong AI. ML là một trong những cách thức để đạt được AI. Với ML, con người sẽ kết hợp các giải thuật (algorithm) và các mô hình thống kê (statistical model) để giúp các thiết bị máy móc học được từ những dữ liệu có sẵn và những điều đã xảy ra trong quá khứ để tự biết cách xử lý những vấn đề sẽ xảy ra trong tương lai thay vì phải lập trình một cách chính xác cho thiết bị biết phải xử lý như thế nào.

    GPUs

    Còn DL (Deep Learning) là một trong nhiều cách để tiếp cận ML bên cạnh các hình thức khác như cây học tập quyết đinh (decision tree learning), lập trình logic quy nạp (inductive logic programming), phân cụm (clustering), học tăng cường (reinforcement learning), v.v… DL phương pháp mô phỏng lại cách thức hoạt động của các tế bào não, thực hiện phân tích suy luận qua nhiều lớp và tương tác qua lại lẫn nhau.

    GPUs NVIDIA sự đổi mới và hiệu quả cho Trí Tuệ Nhân Tạo

    Trước tiên, hãy bắt đầu bằng việc đề cập đến tình huống nếu bạn muốn huấn luyện các mô hình cơ bản ngày nay, như ChatGPT chẳng hạn, thì NVIDIA H100 80GB SXM5 vẫn là lựa chọn hàng đầu. Khi mô hình cơ bản đã được huấn luyện, việc tùy chỉnh mô hình dựa trên dữ liệu chuyên ngành hoặc thực hiện các công việc dự đoán thường có thể được thực hiện trên các phần vật lý có chi phí và công suất điện tiêu thụ thấp hơn nhiều.

    GPUs

    Dell Technologies cung cấp nhiều lựa chọn máy chủ được tối ưu hóa khả năng tăng tốc với danh mục máy tăng tốc phong phú có GPUs NVIDIA. 

    Trong thiết kế này, SSN giới thiệu ba máy chủ Dell PowerEdge được thiết kế riêng cho mục đích sáng tạo AI:

    Máy chủ PowerEdge R760xa, có khả năng hỗ trợ tới bốn GPU NVIDIA H100 hoặc bốn GPU NVIDIA L40

    Máy chủ PowerEdge XE8640, hỗ trợ 4 GPU NVIDIA H100

    Máy chủ PowerEdge XE9680, hỗ trợ 8 GPU NVIDIA H100

    Dell R760xa & NVIDIA GPUs

    Cấu hình và kết nối cho GPUs NVIDIA

    Trong phần này, SSN mô tả các tùy chọn cấu hình và kết nối cho GPUs NVIDIA cũng như cách áp dụng các kết hợp máy chủ-GPUs Dell R760xa

    GPUs

    Máy chủ Dell PowerEdge R760xa là một trong những sản phẩm cao cấp của  Dell được thiết kế để đáp ứng nhu cầu xử lý dữ liệu và tích hợp các giải pháp công nghệ hiện đại. Được trang bị bộ vi xử lý Intel Xeon Scalable thế hệ thứ 4 cực kỳ mạnh mẽ và linh hoạt, rất phù hợp với khối lượng công việc đòi hỏi khắt khe của doanh nghiệp và trung tâm dữ liệu bao gồm các ứng dụng nặng như AI và ML.

      NVIDIA H100 SXM GPU NVIDIA H100 PCIe GPU NVIDIA L40 PCIe GPU
    Supported latest PowerEdge servers (and maximum number of GPUs) PowerEdge XE9680 (8)

     

    PowerEdge XE8640 (4)

    PowerEdge R760xa (4)

     

    PowerEdge R760 (2)

    PowerEdge R760xa (4)

     

    PowerEdge R760 (2)

    GPU memory 80 GB 80 GB 48 GB
    Form factor SXM PCIe (dual width, dual slot) PCIe (dual width, dual slot)
    GPU interconnect 900 GB/s PCIe 600 GB/s NVLink Bridge supported in PowerEdge R760xa 

     

    128 GB/s PCIe Gen5

    None
    Multi-instance GPU support Up to 7 MIGs Up to 7 MIGs None
    Decoders 7 NVDEC

     

    7 JPEG

    7 NVDEC

     

    7 JPEG

    3 NVDEC

     

    3 NVENC

    Max thermal design power (TDP) 700 W 350 W 300 W
    NVIDIA AI Enterprise Add-on Included with H100 PCIe Add-on
    Most applicable use cases Generative AI training

     

    Large-scale distributed training

    Discriminative/Predictive AI Training and Inference

     

    Generative AI Inference

    Small scale AI

     

    Visual computing

    Discriminative/Predictive AI Inference

    Hỗ trợ dòng Chip cao nhất

    Dell PowerEdge R760xa hỗ trợ tất cả các CPU Xeon Scalable, hỗ trợ dòng Chip cao nhất là Platinum 8480+ 56 Core mạnh mẽ, có thể cung cấp lưu trữ 8TB tốc độ 4800MT/s bộ nhớ DDR5 và PCIe Gen5. Điều này giúp cải thiện hiệu năng và tăng khả năng xử lý dữ liệu của máy chủ.

    GPUs

    Thiết kế của máy chủ Dell PowerEdge R760xa

    Nhìn vào mặt trước của máy chủ Dell R760xa được thiết kế với các cổng kết nối và đèn LED hiển thị. Cụ thể, máy chủ này có 1 cổng USB 2.0, 1 cổng VGA và 1 cổng iDRAC Direct(Micro-AB USB) port. Đèn LED hiển thị trên mặt trước của máy chủ này giúp người dùng dễ dàng theo dõi tình trạng hoạt động của máy chủ. Bên cạnh đó, PowerEdge R760xa được thiết kế với 6 hoặc 8 bays ổ đĩa ở giữa và tấm lưới tản nhiệt lớn tạo luống khí tản nhiệt thông minh hiệu quả

    GPUs

    Thiết kế bên trong, PowerEdge R760xa được thiết kế gọn gàng với 2 CPU được bao phủ bởi các bộ tản nhiệt (heatsink) và mỗi CPU là 16 khe cắm DIMM, máy chủ này hỗ trợ tối đa 8TB RAM. Một điểm nổi bật của Dell R760xa trong thiết kế, khi các GPU công suất cao được đưa ra 2 bên phía trước của khung máy, khi các GPU có thể tiếp cận trực tiếp với các luồng khí và được hút thông qua 6 quạt. Ở đây bạn có thể lắp 4 GPU double-width hoặc 8 GPU single-width tùy theo yêu cầu sử dụng của bạn.

    GPUs

    Phía sau, Dell PoweEdge R760xa có 2 riser có thể sử dụng để lắp 4 GPU hoặc I/O có năng lượng thấp, single-width.Tất cả các khe cắm đều là x16, điều này tạo cơ hội tốt để sử dụng các mạng tốc độ cao, chẳng hạn như các card NIC 200GbE hoặc 400GbE.

    Phía sau gồm các cổng:

    • 1 x Cổng Ethernet iDRAC chuyên dụng
    • 1xUSB 2.0
    • 1xUSB 3.0
    • 1 x Nối tiếp (tùy chọn)
    • 1 x VGA (tùy chọn cho cấu hình Làm mát bằng chất lỏng trực tiếp)

    Khả năng lưu trữ

    Server Dell PowerEdge R760xa có các tùy chọn lưu trữ phía trước:

    • Lên đến 6 x 2,5 inch NVMe, tối đa 92,16 TB
    • Lên đến 8 x 2,5 inch SAS/SATA/NVMe, tối đa 122,88 TB

    Tất cả các tùy chọn Raid Controller PERC 11 từ thế hệ 15G trước đều được áp dụng nhưng máy chủ dell r760xa của chúng tôi đi kèm với hai trong số các bộ Raid PERC 12 Front H965i mới nằm sau khoang ổ đĩa SFF 8 khay. Máy chủ hỗ trợ các ổ cứng chuẩn SATA, SAS4 và Gen4 NVMe đều sử dụng RAID thông thường và đi kèm là bộ nhớ đệm cache 8GB DDR4 trên bo mạch chủ.

    Thêm nữa là thẻ BOSS mới không giống với thẻ BOSS cũ. Phiên bản N1 không dùng ổ SSD M.2 SATA mà thay vào đó là ổ SSD M.2 NVMe hiệu suất cao hơn và chúng tôi đã sử dụng hai thanh 480 GB trong máy chủ của mình để tạo một mảng được nhân đôi và triển khai Windows Server 2022 cho nó.

    Quản lý và giám sát

    PowerEdge R760xa sử dụng bộ điều khiển quản lý từ xa iDRAC 9 của Dell. Bảng điều khiển màn hình chính hiển thị tình trạng tổng thể của hệ thống, nhật ký gần đây và tóm tắt tác vụ.

    Siêu Siêu Nhỏ cung cấp đa dạng các Server, PC đáp ứng yêu cầu cho Doanh Nghiệp

    Server HPE

    Server DELL

    Server THINKSYSTEM

    Tham khảo các ưu đãi: https://www.sieuthimaychu.vn/index.php/Uu_Dai/

    Ngoài ta bạn có thể tham khảo thêm 1 số bài viết liên quan tại đây

    Liên hệ Bộ phận Kinh doanh để nhận được giá tốt nhất:
    ✓ TP HCM: +84 28 73073776
    ✓ Hà Nội:    +84 24 73073776
    Siêu Thị Máy Chủ - Sự lựa chọn tốt nhất về Server với chi phí hợp lý, sản phẩm đáng tin cậy, phục vụ chuyên nghiệp!

      Bài viết liên quan