Thời đại mô hình AI lớn: Phân tích sự bùng nổ nhu cầu thiết bị mạng và cơ hội đầu tư

Vị trí quan trọng của mạng trong thời đại mô hình AI lớn

Thời đại mô hình lớn đã bắt đầu cho thấy sự bùng nổ nhu cầu về thiết bị mạng. Bài viết này sẽ khám phá lý do tại sao mạng trở thành yếu tố cốt lõi trong thời đại AI, và thảo luận về những đổi mới và cơ hội đầu tư trong tương lai của mạng.

Nguồn gốc của nhu cầu mạng

Bước vào kỷ nguyên mô hình lớn, sự chênh lệch giữa kích thước mô hình và giới hạn của một thẻ nhanh chóng gia tăng, cụm máy chủ đa năng trở thành giải pháp cho các vấn đề đào tạo. Mạng không chỉ được sử dụng để truyền dữ liệu, mà còn nhiều hơn để đồng bộ hóa các tham số mô hình giữa các card đồ họa, đặt ra yêu cầu cao hơn về mật độ và dung lượng mạng.

Kích thước mô hình lớn có nghĩa là:

1. Thời gian huấn luyện = Quy mô dữ liệu huấn luyện × Số lượng tham số mô hình / Tốc độ tính toán
2. Tốc độ tính toán = Tốc độ tính toán của một thiết bị × Số lượng thiết bị × Hiệu suất song song của nhiều thiết bị

Trong khi theo đuổi quy mô dữ liệu và tham số lớn hơn, việc nâng cao hiệu suất tính toán trở thành yếu tố then chốt để rút ngắn thời gian đào tạo. Việc mở rộng "số thiết bị" và nâng cao "hiệu suất song song" trực tiếp quyết định sức mạnh tính toán.

Giao tiếp phức tạp của đa thẻ đồng bộ

Trong quá trình huấn luyện mô hình lớn, sau khi chia mô hình thành từng thẻ đơn, sau mỗi lần tính toán cần phải thực hiện việc căn chỉnh. Các thao tác như All-to-All khá phổ biến, đặt ra yêu cầu cao hơn đối với việc truyền tải và trao đổi dữ liệu trong mạng.

Chi phí lỗi đắt đỏ

Việc huấn luyện mô hình lớn thường kéo dài hàng tháng, sự gián đoạn có thể cần phải quay lại điểm dừng vài ngày trước để huấn luyện lại. Một lỗi hoặc độ trễ cao ở một phần nào đó của mạng có thể dẫn đến sự gián đoạn, gây ra sự chậm tiến độ và chi phí cao. Mạng AI hiện đại đã trở thành thành quả thử thách khả năng kỹ thuật hệ thống của con người.

Hướng đi của đổi mới mạng

Phần cứng hoạt động theo nhu cầu, quy mô đầu tư vào sức mạnh tính toán toàn cầu đã đạt hàng trăm tỷ đô la. "Giảm chi phí", "mở cửa" và sự cân bằng giữa quy mô sức mạnh tính toán sẽ là những vấn đề chính trong đổi mới mạng.

Sự thay đổi của phương tiện truyền thông

Ánh sáng, đồng và silicon là ba loại phương tiện truyền tải chính. Các mô-đun quang không chỉ theo đuổi tốc độ cao hơn mà còn bắt đầu con đường giảm chi phí như LPO, LRO, quang silicon, v.v. Cáp đồng chiếm lĩnh kết nối trong tủ với tỷ lệ hiệu suất giá cả. Các công nghệ mới như Chiplet, Wafer-scaling đang tăng tốc khám phá giới hạn kết nối silicon.

Cạnh tranh giữa các giao thức mạng

Giao thức truyền thông giữa các mảnh và sự gắn kết mạnh mẽ với card đồ họa, như NV-LINK của NVIDIA, Infinity Fabric của AMD, quyết định giới hạn khả năng của một nút. Cạnh tranh giữa IB và Ethernet là giai điệu chính trong giao tiếp giữa các nút.

Sự thay đổi trong kiến trúc mạng

Hiện nay, kiến trúc lá-gân được áp dụng phổ biến, nhưng khi số lượng nút tăng lên, chi phí của kiến trúc lá-gân trong các cụm siêu lớn trở nên cao. Kiến trúc Dragonfly, kiến trúc chỉ ray, v.v. được kỳ vọng sẽ trở thành hướng phát triển cho thế hệ cụm siêu lớn tiếp theo.

Gợi ý đầu tư

Các khâu cốt lõi của hệ thống truyền thông: Zhongji Xuchuang, NewEase, Tianfu Communication, Industrial Fulian, Invec, Hudean Co., Ltd.

Các công đoạn đổi mới hệ thống viễn thông: Longfly Fiber, Taicheng Light, Yuanjie Technology, Shengke Communication, Cambrian, Dekoli.

Cảnh báo rủi ro: Nhu cầu AI không đạt kỳ vọng, quy luật mở rộng không còn hiệu lực, cạnh tranh trong ngành gia tăng