Trong khi Altman kêu gọi quy định về tương lai của AI, ông không cho rằng mô hình hiện tại là nguy hiểm và cho rằng sẽ là một sai lầm lớn nếu quy định hoặc cấm nó.
·Dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng hiệu suất mô hình (Scaling law) vẫn có hiệu lực, làm cho mô hình lớn hơn sẽ tiếp tục tạo ra hiệu suất.
Nguồn hình ảnh: Được tạo bởi công cụ Unbounded AI
Tuần trước, hơn 20 nhà phát triển, bao gồm Giám đốc điều hành OpenAI Sam Altman và Giám đốc điều hành nền tảng phát triển AI HumanLoop, Raza Habib, đã tổ chức một cuộc họp kín để thảo luận về API của OpenAI (giao diện lập trình ứng dụng) và các kế hoạch sản phẩm. Vài ngày sau, Raza Habibi xuất bản một bản tóm tắt chi tiết về những điểm nổi bật của cuộc họp.
Trong cuộc thảo luận, Altman thừa nhận rất thẳng thắn rằng OpenAI hiện đang bị giới hạn bởi GPU (đơn vị xử lý đồ họa), đồng thời nói về kế hoạch nguồn mở của GPT-3, ưu tiên hàng đầu hiện tại của OpenAI và tác động xã hội của trí tuệ nhân tạo. Trong khi Altman kêu gọi quy định về tương lai của AI, ông không coi mô hình hiện tại là nguy hiểm.
Altman cũng cho biết dữ liệu nội bộ của OpenAI cho thấy quy luật hiệu suất của mô hình tỷ lệ thuận với quy mô vẫn đúng, tức là mô hình càng lớn thì hiệu suất càng mạnh. OpenAI sẽ tiếp tục cố gắng làm cho các mô hình lớn hơn, nhưng chúng có thể sẽ chỉ tăng gấp đôi hoặc gấp ba kích thước mỗi năm, chứ không phải theo nhiều bậc độ lớn.
Hiện tại bị giới hạn nghiêm trọng bởi GPU
Một chủ đề lặp đi lặp lại xuyên suốt cuộc thảo luận là sự phụ thuộc quá nhiều vào GPU hiện tại của OpenAI đã làm trì hoãn nhiều kế hoạch ngắn hạn của họ.
OpenAI nhận được nhiều phàn nàn nhất của người dùng về độ tin cậy và tốc độ của API. Altman hiểu mối quan tâm của họ và giải thích rằng phần lớn vấn đề là do thiếu tài nguyên GPU.
Không thể mở rộng chức năng ngữ cảnh 32 nghìn mã thông báo được ChatGPT hỗ trợ trước đây cho nhiều người hơn và OpenAI vẫn còn một số vấn đề cần giải quyết, vì vậy mặc dù họ có thể sớm có cửa sổ ngữ cảnh 100 nghìn-1 triệu mã thông báo, nhưng chúng vẫn cần đạt được trong bước đột phá nghiên cứu.
API tinh chỉnh hiện cũng bị giới hạn bởi tài nguyên GPU. Họ chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Bộ điều hợp hoặc LoRa (hai phương pháp tinh chỉnh mô hình quy mô lớn phổ biến), do đó, hoạt động tinh chỉnh và quản lý rất tốn tài nguyên tính toán. Sẽ có những cách tinh chỉnh tốt hơn trong tương lai. Họ thậm chí có thể tổ chức một thị trường cho các mô hình do cộng đồng đóng góp.
Việc cung cấp dung lượng chuyên dụng cũng bị giới hạn bởi tài nguyên GPU. OpenAI cung cấp năng lực chuyên dụng cho khách hàng có nhu cầu riêng tư, cho phép khách hàng chạy dữ liệu riêng tư trong một không gian chuyên dụng. Để tiếp cận dịch vụ này, khách hàng cần cam kết trả trước 100.000 USD.
Lộ trình OpenAI
Sam đã chia sẻ lộ trình ngắn hạn dự kiến cho API của OpenAI.
Vào năm 2023, nhiệm vụ đầu tiên là đạt được GPT-4 rẻ hơn và nhanh hơn; thứ hai, thời lượng ngữ cảnh dài hơn - trong tương lai gần, thời lượng ngữ cảnh có thể đạt tới 1 triệu mã thông báo; thứ ba, API tinh chỉnh sẽ mở rộng đến mô hình mới nhất, nhưng hình thức cụ thể sẽ được xác định bởi nhu cầu thực tế của nhà phát triển; , sẽ có phiên bản API ghi nhớ lịch sử hội thoại.
Vào năm 2024, các khả năng đa phương thức sẽ được mở. Khi GPT-4 được phát hành, nó đã thể hiện khả năng đa phương thức mạnh mẽ, nhưng cho đến khi GPU được đáp ứng, khả năng này không thể được mở rộng cho tất cả mọi người.
Nhiều nhà phát triển quan tâm đến việc truy cập các plugin ChatGPT thông qua API, nhưng Altman không nghĩ rằng các plugin này sẽ được phát hành trong thời gian ngắn. Ngoài việc duyệt, hệ thống plug-in vẫn chưa tìm thấy PMF (Product Market Fit, sự phù hợp nhất giữa sản phẩm và thị trường).
Altman chỉ ra rằng nhiều người nghĩ rằng họ muốn ứng dụng của họ nằm trong ChatGPT, nhưng điều họ thực sự muốn là ChatGPT trong ứng dụng.
Altman nói rằng OpenAI sẽ không phát hành nhiều sản phẩm hơn ChatGPT.
Anh ấy nói rằng theo quy ước, một nền tảng tuyệt vời sẽ có một ứng dụng tuyệt vời và ChatGPT sẽ tạo ra ứng dụng phá kỷ lục này. Tầm nhìn của ChatGPT là trở thành một trợ lý siêu thông minh cho công việc, nhưng có nhiều trường hợp sử dụng GPT khác mà OpenAI sẽ không chạm tới.
Luật mở rộng quy mô vẫn được áp dụng
Trong khi Altman kêu gọi quy định về tương lai của AI, ông không cho rằng mô hình hiện tại là nguy hiểm và cho rằng sẽ là một sai lầm lớn nếu quy định hoặc cấm nó.
Anh ấy nhắc lại niềm tin của mình về tầm quan trọng của nguồn mở và nói rằng OpenAI đang xem xét việc biến GPT-3 thành nguồn mở. Lý do tại sao nó không phải là mã nguồn mở là bởi vì họ cảm thấy rằng không có nhiều người và công ty có khả năng quản lý đúng cách một mô hình ngôn ngữ lớn như vậy.
Nhiều bài báo gần đây đã trích lời Altman nói rằng "kỷ nguyên của các mô hình AI khổng lồ đã qua", nhưng điều này không phản ánh chính xác ý nghĩa ban đầu của ông. Ông nói rằng dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng quy mô hiệu suất mô hình (Scaling law) vẫn đang có hiệu lực, làm cho mô hình lớn hơn sẽ tiếp tục tạo ra hiệu suất. Tốc độ mở rộng thực sự không bền vững, vì OpenAI đã mở rộng mô hình lên hàng triệu lần chỉ trong vài năm và việc tiếp tục làm như vậy trong tương lai là không bền vững. Điều đó không có nghĩa là OpenAI sẽ không tiếp tục cố gắng làm cho các mô hình lớn hơn, điều đó chỉ có nghĩa là chúng có thể chỉ tăng gấp đôi hoặc gấp ba mỗi năm, thay vì nhiều đơn đặt hàng về độ lớn.
Altman cho biết, việc các quy luật mở rộng tiếp tục được áp dụng có ý nghĩa quan trọng đối với các mốc thời gian phát triển AGI (trí tuệ tổng hợp nhân tạo). Luật mở rộng quy mô giả định rằng chúng ta có thể đã có hầu hết các phần cần thiết để xây dựng AGI và phần lớn công việc còn lại sẽ là mở rộng quy mô các phương pháp hiện có thành các mô hình lớn hơn và bộ dữ liệu lớn hơn. Nếu kỷ nguyên của các quy luật mở rộng quy mô đã kết thúc, có lẽ chúng ta nên mong đợi AGI sẽ còn rất lâu nữa. Thực tế là các quy luật mở rộng quy mô tiếp tục hoạt động hiệu quả cho thấy thời gian ngắn để đạt được AGI.
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Tiết lộ mới nhất của Altman: thiếu GPU khẩn cấp và có kế hoạch mở nguồn GPT-3 và mở đa phương thức vào năm tới
Nguồn: The Paper
Phóng viên Thiệu Văn
Trong khi Altman kêu gọi quy định về tương lai của AI, ông không cho rằng mô hình hiện tại là nguy hiểm và cho rằng sẽ là một sai lầm lớn nếu quy định hoặc cấm nó.
·Dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng hiệu suất mô hình (Scaling law) vẫn có hiệu lực, làm cho mô hình lớn hơn sẽ tiếp tục tạo ra hiệu suất.
Tuần trước, hơn 20 nhà phát triển, bao gồm Giám đốc điều hành OpenAI Sam Altman và Giám đốc điều hành nền tảng phát triển AI HumanLoop, Raza Habib, đã tổ chức một cuộc họp kín để thảo luận về API của OpenAI (giao diện lập trình ứng dụng) và các kế hoạch sản phẩm. Vài ngày sau, Raza Habibi xuất bản một bản tóm tắt chi tiết về những điểm nổi bật của cuộc họp.
Trong cuộc thảo luận, Altman thừa nhận rất thẳng thắn rằng OpenAI hiện đang bị giới hạn bởi GPU (đơn vị xử lý đồ họa), đồng thời nói về kế hoạch nguồn mở của GPT-3, ưu tiên hàng đầu hiện tại của OpenAI và tác động xã hội của trí tuệ nhân tạo. Trong khi Altman kêu gọi quy định về tương lai của AI, ông không coi mô hình hiện tại là nguy hiểm.
Altman cũng cho biết dữ liệu nội bộ của OpenAI cho thấy quy luật hiệu suất của mô hình tỷ lệ thuận với quy mô vẫn đúng, tức là mô hình càng lớn thì hiệu suất càng mạnh. OpenAI sẽ tiếp tục cố gắng làm cho các mô hình lớn hơn, nhưng chúng có thể sẽ chỉ tăng gấp đôi hoặc gấp ba kích thước mỗi năm, chứ không phải theo nhiều bậc độ lớn.
Hiện tại bị giới hạn nghiêm trọng bởi GPU
Một chủ đề lặp đi lặp lại xuyên suốt cuộc thảo luận là sự phụ thuộc quá nhiều vào GPU hiện tại của OpenAI đã làm trì hoãn nhiều kế hoạch ngắn hạn của họ.
OpenAI nhận được nhiều phàn nàn nhất của người dùng về độ tin cậy và tốc độ của API. Altman hiểu mối quan tâm của họ và giải thích rằng phần lớn vấn đề là do thiếu tài nguyên GPU.
Không thể mở rộng chức năng ngữ cảnh 32 nghìn mã thông báo được ChatGPT hỗ trợ trước đây cho nhiều người hơn và OpenAI vẫn còn một số vấn đề cần giải quyết, vì vậy mặc dù họ có thể sớm có cửa sổ ngữ cảnh 100 nghìn-1 triệu mã thông báo, nhưng chúng vẫn cần đạt được trong bước đột phá nghiên cứu.
API tinh chỉnh hiện cũng bị giới hạn bởi tài nguyên GPU. Họ chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Bộ điều hợp hoặc LoRa (hai phương pháp tinh chỉnh mô hình quy mô lớn phổ biến), do đó, hoạt động tinh chỉnh và quản lý rất tốn tài nguyên tính toán. Sẽ có những cách tinh chỉnh tốt hơn trong tương lai. Họ thậm chí có thể tổ chức một thị trường cho các mô hình do cộng đồng đóng góp.
Việc cung cấp dung lượng chuyên dụng cũng bị giới hạn bởi tài nguyên GPU. OpenAI cung cấp năng lực chuyên dụng cho khách hàng có nhu cầu riêng tư, cho phép khách hàng chạy dữ liệu riêng tư trong một không gian chuyên dụng. Để tiếp cận dịch vụ này, khách hàng cần cam kết trả trước 100.000 USD.
Lộ trình OpenAI
Sam đã chia sẻ lộ trình ngắn hạn dự kiến cho API của OpenAI.
Vào năm 2023, nhiệm vụ đầu tiên là đạt được GPT-4 rẻ hơn và nhanh hơn; thứ hai, thời lượng ngữ cảnh dài hơn - trong tương lai gần, thời lượng ngữ cảnh có thể đạt tới 1 triệu mã thông báo; thứ ba, API tinh chỉnh sẽ mở rộng đến mô hình mới nhất, nhưng hình thức cụ thể sẽ được xác định bởi nhu cầu thực tế của nhà phát triển; , sẽ có phiên bản API ghi nhớ lịch sử hội thoại.
Vào năm 2024, các khả năng đa phương thức sẽ được mở. Khi GPT-4 được phát hành, nó đã thể hiện khả năng đa phương thức mạnh mẽ, nhưng cho đến khi GPU được đáp ứng, khả năng này không thể được mở rộng cho tất cả mọi người.
Nhiều nhà phát triển quan tâm đến việc truy cập các plugin ChatGPT thông qua API, nhưng Altman không nghĩ rằng các plugin này sẽ được phát hành trong thời gian ngắn. Ngoài việc duyệt, hệ thống plug-in vẫn chưa tìm thấy PMF (Product Market Fit, sự phù hợp nhất giữa sản phẩm và thị trường).
Altman chỉ ra rằng nhiều người nghĩ rằng họ muốn ứng dụng của họ nằm trong ChatGPT, nhưng điều họ thực sự muốn là ChatGPT trong ứng dụng.
Altman nói rằng OpenAI sẽ không phát hành nhiều sản phẩm hơn ChatGPT.
Anh ấy nói rằng theo quy ước, một nền tảng tuyệt vời sẽ có một ứng dụng tuyệt vời và ChatGPT sẽ tạo ra ứng dụng phá kỷ lục này. Tầm nhìn của ChatGPT là trở thành một trợ lý siêu thông minh cho công việc, nhưng có nhiều trường hợp sử dụng GPT khác mà OpenAI sẽ không chạm tới.
Luật mở rộng quy mô vẫn được áp dụng
Trong khi Altman kêu gọi quy định về tương lai của AI, ông không cho rằng mô hình hiện tại là nguy hiểm và cho rằng sẽ là một sai lầm lớn nếu quy định hoặc cấm nó.
Anh ấy nhắc lại niềm tin của mình về tầm quan trọng của nguồn mở và nói rằng OpenAI đang xem xét việc biến GPT-3 thành nguồn mở. Lý do tại sao nó không phải là mã nguồn mở là bởi vì họ cảm thấy rằng không có nhiều người và công ty có khả năng quản lý đúng cách một mô hình ngôn ngữ lớn như vậy.
Nhiều bài báo gần đây đã trích lời Altman nói rằng "kỷ nguyên của các mô hình AI khổng lồ đã qua", nhưng điều này không phản ánh chính xác ý nghĩa ban đầu của ông. Ông nói rằng dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng quy mô hiệu suất mô hình (Scaling law) vẫn đang có hiệu lực, làm cho mô hình lớn hơn sẽ tiếp tục tạo ra hiệu suất. Tốc độ mở rộng thực sự không bền vững, vì OpenAI đã mở rộng mô hình lên hàng triệu lần chỉ trong vài năm và việc tiếp tục làm như vậy trong tương lai là không bền vững. Điều đó không có nghĩa là OpenAI sẽ không tiếp tục cố gắng làm cho các mô hình lớn hơn, điều đó chỉ có nghĩa là chúng có thể chỉ tăng gấp đôi hoặc gấp ba mỗi năm, thay vì nhiều đơn đặt hàng về độ lớn.
Altman cho biết, việc các quy luật mở rộng tiếp tục được áp dụng có ý nghĩa quan trọng đối với các mốc thời gian phát triển AGI (trí tuệ tổng hợp nhân tạo). Luật mở rộng quy mô giả định rằng chúng ta có thể đã có hầu hết các phần cần thiết để xây dựng AGI và phần lớn công việc còn lại sẽ là mở rộng quy mô các phương pháp hiện có thành các mô hình lớn hơn và bộ dữ liệu lớn hơn. Nếu kỷ nguyên của các quy luật mở rộng quy mô đã kết thúc, có lẽ chúng ta nên mong đợi AGI sẽ còn rất lâu nữa. Thực tế là các quy luật mở rộng quy mô tiếp tục hoạt động hiệu quả cho thấy thời gian ngắn để đạt được AGI.