Các công ty AI như OpenAI đang tìm kiếm cách mới để vượt qua những thách thức trong việc phát triển các mô hình ngôn ngữ lớn hơn. Một chiến lược mới là áp dụng các kỹ thuật huấn luyện mô hình có xu hướng giống con người hơn, nhằm giúp các thuật toán xử lý thông tin theo cách "suy nghĩ" tự nhiên hơn.
AI ĐANG ĐẠT ĐẾN GIỚI HẠN?
Hàng chục nhà khoa học và nhà nghiên cứu trong lĩnh vực AI tin rằng những phương pháp này, được sử dụng trong mô hình mới nhất của OpenAI (được gọi là o1), có thể thay đổi cục diện cạnh tranh trong lĩnh vực AI. Các kỹ thuật này không chỉ cải thiện hiệu suất mô hình mà còn ảnh hưởng lớn đến nhu cầu tài nguyên khổng lồ của ngành AI, bao gồm năng lượng và chip máy tính.
Trước đây, các công ty AI thường tập trung vào việc "mở rộng quy mô" mô hình bằng cách thêm nhiều dữ liệu và sức mạnh tính toán để cải thiện hiệu suất. Tuy nhiên, các chuyên gia hiện đang thảo luận về giới hạn của chiến lược này. Tiến sĩ Ilya Sutskever, đồng sáng lập OpenAI và Phòng thí nghiệm AI Safe Superintelligence (SSI), cho biết hiệu quả của việc mở rộng quy mô đào tạo mô hình với dữ liệu lớn dường như đang chững lại. Điều này thúc đẩy việc nghiên cứu các cách tiếp cận sáng tạo hơn để phát triển AI.
Tiến sĩ Ilya Sutskever, một trong những người tiên phong trong lĩnh vực AI tạo sinh, đã thúc đẩy sự phát triển của các mô hình AI lớn thông qua việc tăng cường dữ liệu và sức mạnh tính toán, đóng vai trò quan trọng trong việc tạo ra ChatGPT. Tuy nhiên, vào đầu năm 2024, ông rời OpenAI để thành lập phòng thí nghiệm Safe Superintelligence Initiative (SSI), tập trung vào cách tiếp cận mới để đào tạo AI.
Tiến sĩ Sutskever cho rằng kỷ nguyên phát triển AI của những năm 2010 gắn liền với việc "mở rộng quy mô" đã đạt đến giới hạn. Ông tin rằng ngành AI đang bước vào giai đoạn khám phá sáng tạo hơn. SSI hiện đang nghiên cứu một phương pháp mới để tối ưu hóa quá trình đào tạo, mặc dù ông chưa tiết lộ chi tiết.
Đằng sau hậu trường, các phòng thí nghiệm AI hàng đầu đối mặt với nhiều thách thức khi phát triển các mô hình ngôn ngữ lớn hơn. Những mô hình này tiêu tốn hàng chục triệu đô la để đào tạo, sử dụng hàng trăm chip cùng lúc, nhưng dễ gặp lỗi phần cứng và thiếu dữ liệu đầu vào chất lượng. Quá trình đào tạo cũng đòi hỏi nguồn năng lượng khổng lồ, đôi khi bị cản trở bởi tình trạng thiếu điện.
TÌM CÁCH ĐỂ AI THÔNG MINH HƠN NỮA, BIẾT SUY NGHĨ "NHƯ CON NGƯỜI"
Để khắc phục, các nhà nghiên cứu đã áp dụng kỹ thuật mới như "tính toán thời gian thử nghiệm," giúp các mô hình suy nghĩ nhiều bước như con người trong giai đoạn "suy luận." Thay vì chọn ngay câu trả lời, các mô hình này đánh giá nhiều khả năng và chọn giải pháp tốt nhất. Phương pháp này cải thiện hiệu suất đáng kể, đặc biệt trong các nhiệm vụ phức tạp như toán học hoặc mã hóa.
Ví dụ, Tiến sĩ Noam Brown từ OpenAI chia sẻ rằng cho mô hình "suy nghĩ" thêm 20 giây trong một ván bài poker mang lại hiệu quả tương tự như tăng kích thước và thời gian đào tạo lên 100.000 lần. OpenAI đã áp dụng kỹ thuật này vào mô hình mới nhất của họ, "o1," với khả năng suy nghĩ đa bước và nhận phản hồi từ các chuyên gia. Mô hình này đánh dấu bước tiến quan trọng trong việc phát triển AI gần hơn với cách tư duy của con người.
Bí quyết của dòng o1, một trong những mô hình AI tiên tiến của OpenAI, là một giai đoạn đào tạo bổ sung được thực hiện trên các mô hình cơ sở như GPT-4. OpenAI có kế hoạch áp dụng kỹ thuật này với các mô hình lớn hơn trong tương lai. Đồng thời, các phòng thí nghiệm AI hàng đầu khác như Anthropic, xAI và Google DeepMind cũng đang phát triển các kỹ thuật tương tự để cải thiện mô hình AI, theo các nguồn tin thân cận.
Kevin Weil, giám đốc sản phẩm của OpenAI, nhận định tại một hội nghị công nghệ rằng họ vẫn có nhiều cơ hội cải thiện mô hình nhanh chóng và khẳng định OpenAI sẽ luôn nỗ lực đi trước các đối thủ. Tuy nhiên, Google, xAI và Anthropic từ chối bình luận về vấn đề này.
Sự thay đổi trong cách phát triển AI đang làm thay đổi bối cảnh cạnh tranh trong ngành công nghiệp phần cứng. Trước đây, nhu cầu chip AI, đặc biệt là từ Nvidia, được thúc đẩy bởi việc đào tạo mô hình khổng lồ. Giờ đây, trọng tâm đang dần chuyển sang các "đám mây suy luận" – các hệ thống phân tán dựa trên đám mây giúp AI thực hiện suy luận nhanh hơn. Điều này có thể tạo ra thách thức mới cho sự thống trị của Nvidia trong thị trường phần cứng AI, đặc biệt là trong lĩnh vực suy luận.
Tuy nhiên, Nvidia vẫn đang dẫn đầu với các chip AI tiên tiến như Blackwell, đáp ứng nhu cầu ngày càng tăng trong giai đoạn suy luận. Tổng giám đốc Jensen Huang của Nvidia đã nhấn mạnh tầm quan trọng của việc đáp ứng nhu cầu này, cho thấy công ty vẫn đang giữ vị thế mạnh mẽ trong ngành.
