Sự phát triển gần đây của ngành AI được một số người xem là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu suất của các ngành nghề khác nhau, ước tính đã nâng cao khoảng 20% hiệu suất làm việc tại Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một kiểu thiết kế phần mềm mới, trước đây thiết kế phần mềm là mã chính xác, còn bây giờ là một khuôn khổ mô hình lớn tổng quát hơn được nhúng vào trong phần mềm, những phần mềm này có thể thể hiện tốt hơn và hỗ trợ đầu vào và đầu ra ở nhiều hình thức hơn. Công nghệ học sâu đã mang lại sự thịnh vượng lần thứ tư cho ngành AI, và làn sóng này cũng ảnh hưởng đến ngành tiền điện tử.
Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ, cũng như tác động của công nghệ học sâu đối với ngành. Sau đó, sẽ phân tích sâu về tình trạng và xu hướng phát triển của chuỗi ngành liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, v.v. Cuối cùng, sẽ thảo luận về mối quan hệ giữa tiền điện tử và ngành AI, tổ chức lại cấu trúc chuỗi ngành AI liên quan đến tiền điện tử.
Lịch sử phát triển của ngành AI
Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển ra nhiều trường phái khác nhau để thực hiện trí tuệ nhân tạo trong các thời đại và bối cảnh khoa học khác nhau.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là cho phép máy móc dựa vào dữ liệu để lặp lại nhiều lần trong các nhiệm vụ nhằm cải thiện hiệu suất của hệ thống. Các bước chính là đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để huấn luyện mô hình, kiểm tra và triển khai mô hình, sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.
Hiện tại, học máy có ba trường phái chính, đó là kết nối, ký hiệu và hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành động của con người.
Hiện tại, chủ nghĩa kết nối đại diện cho mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), lý do chính là cấu trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Một khi số lượng lớp và số lượng nơ-ron ( tham số ) trở nên đủ lớn, sẽ có đủ cơ hội để phù hợp với các nhiệm vụ phức tạp và tổng quát. Thông qua việc nhập dữ liệu, có thể điều chỉnh liên tục các tham số của nơ-ron, cuối cùng trải qua nhiều dữ liệu, nơ-ron này sẽ đạt được trạng thái tối ưu ( tham số ), đây cũng chính là điều được gọi là "cố gắng hết mình để tạo ra những điều kỳ diệu", cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.
Lấy một ví dụ, có thể hiểu đơn giản là xây dựng một hàm, trong đó khi chúng ta nhập X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này ứng dụng cho tất cả các giá trị X, thì cần phải tiếp tục thêm bậc của hàm và các tham số của nó, ví dụ tôi có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ phát hiện Y = X2 -3X +5, khá hợp lý, nhưng không cần phải hoàn toàn khớp với dữ liệu, chỉ cần tuân theo sự cân bằng, đầu ra tương tự là đủ. Trong đây, X2 và X, X0 đều đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.
Nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron tại thời điểm này, chúng ta có thể tăng số lượng nơ-ron và điều chỉnh các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.
Công nghệ học sâu dựa trên mạng nơ-ron đã trải qua nhiều lần cải tiến và phát triển, bao gồm các loại mạng nơ-ron sớm nhất, mạng nơ-ron hồi tiếp (RNN), mạng nơ-ron tích chập (CNN), mạng đối kháng sinh (GAN) và cuối cùng là tiến hóa thành các mô hình lớn hiện đại như công nghệ Transformer sử dụng trong GPT. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ( Transformer ), dùng để mã hóa dữ liệu từ tất cả các kiểu mô hình ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, dữ liệu được đưa vào mạng nơ-ron, do đó mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa mô hình.
Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 60 của thế kỷ 20, là một thập kỷ sau khi công nghệ AI được đề xuất. Làn sóng này do sự phát triển của công nghệ ký hiệu gây ra, công nghệ này giải quyết các vấn đề về xử lý ngôn ngữ tự nhiên chung cũng như đối thoại giữa người và máy. Cùng thời điểm đó, hệ thống chuyên gia ra đời, đây là hệ thống chuyên gia DENRAL được hoàn thành dưới sự giám sát của Đại học Stanford tại NASA, hệ thống này có kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy luận và tạo ra câu trả lời giống như một chuyên gia hóa học. Hệ thống chuyên gia hóa học này có thể được xem như sự kết hợp giữa kho kiến thức hóa học và hệ thống suy luận.
Sau hệ thống chuyên gia, vào những năm 90, nhà khoa học và triết gia người Mỹ gốc Israel Judea Pearl( đã đề xuất mạng Bayes, mạng này còn được gọi là mạng niềm tin. Cùng thời điểm đó, Brooks đã đề xuất robot dựa trên hành vi, đánh dấu sự ra đời của hành vi học.
Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Garry Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.
Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn của học sâu Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đề xuất khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm cấu trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa liên kết.
Nhiều sự kiện mang tính biểu tượng cũng dần xuất hiện cùng với sự khám phá và tiến bộ của công nghệ học sâu, bao gồm:
Năm 2011, IBM's Watson) đã đánh bại con người và giành chiến thắng trong chương trình quiz "Jeopardy(".
Năm 2014, Goodfellow đã đề xuất GAN) mạng đối kháng sinh generative, Generative Adversarial Network(, thông qua việc cho hai mạng nơ-ron thi đấu lẫn nhau để học, có thể tạo ra những bức ảnh giống như thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tên "Deep Learning", được gọi là cuốn sách hoa, là một trong những cuốn sách quan trọng cho người mới bắt đầu trong lĩnh vực học sâu.
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", việc đề xuất phương pháp học sâu này đã ngay lập tức gây ra phản ứng lớn trong giới học thuật cũng như trong ngành công nghiệp.
Năm 2015, OpenAI được thành lập, Musk, tổng thống YC Altman, nhà đầu tư thiên thần Peter Thiel) và những người khác công bố đầu tư chung 1 tỷ USD.
Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp 9 dan Lee Sedol, và giành chiến thắng với tỷ số tổng là 4-1.
Năm 2017, công ty công nghệ Hanson Robotics ( có trụ sở tại Hồng Kông, Trung Quốc đã phát triển robot hình người Sophia, được coi là robot đầu tiên trong lịch sử được cấp quyền công dân hạng nhất, với khả năng thể hiện nhiều biểu cảm khuôn mặt và hiểu ngôn ngữ con người.
Năm 2017, Google, với nguồn nhân lực và dự trữ công nghệ phong phú trong lĩnh vực trí tuệ nhân tạo, đã công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, OpenAI đã phát hành GPT) Generative Pre-trained Transformer( được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.
Năm 2018, đội ngũ Google Deepmind đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một dấu mốc tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.
Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.
Năm 2020, GPT-3 do OpenAI phát triển, có 175 tỷ tham số, cao gấp 100 lần so với phiên bản trước đó GPT-2, mô hình này đã sử dụng 570GB văn bản để huấn luyện, có thể đạt được hiệu suất tiên tiến nhất trong nhiều nhiệm vụ NLP) như trả lời câu hỏi, dịch thuật, viết bài(.
Năm 2021, OpenAI đã phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.
Vào tháng 1 năm 2023, ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt, vào tháng 3, ChatGPT đạt 100 triệu người dùng, trở thành ứng dụng đạt 100 triệu người dùng nhanh nhất trong lịch sử.
Năm 2024, OpenAI ra mắt GPT-4 omni.
![Người mới phổ cập丨AI x Crypto: Từ số không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Chuỗi công nghiệp học sâu
Hiện nay, các mô hình ngôn ngữ lớn đều sử dụng các phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng hưng phấn về trí tuệ nhân tạo, rất nhiều người chơi đã đổ vào lĩnh vực này, chúng ta cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của các thuật toán học sâu, trong ngành AI do các thuật toán học sâu chi phối, các mối quan hệ giữa các bên cung và cầu trong chuỗi cung ứng là như thế nào, cũng như tình trạng hiện tại và sự phát triển trong tương lai ra sao.
Đầu tiên, chúng ta cần làm rõ rằng, khi tiến hành đào tạo các mô hình lớn LLMs do GPT dẫn đầu dựa trên công nghệ Transformer ), có tổng cộng ba bước.
Trước khi huấn luyện, vì nó dựa trên Transformer, nên bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi chữ Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.
Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn các cặp dữ liệu, tương tự như ví dụ được nêu trong phần đầu của báo cáo (X,Y), để tìm kiếm các tham số tốt nhất của từng neuron trong mô hình, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tốn nhiều sức mạnh tính toán nhất, vì phải lặp đi lặp lại các neuron thử nghiệm các tham số khác nhau. Sau khi hoàn thành huấn luyện với một tập dữ liệu, thường sẽ sử dụng cùng một tập dữ liệu để huấn luyện lại lần thứ hai nhằm tối ưu hóa các tham số.
Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ hơn nhưng chất lượng rất cao để huấn luyện, sự thay đổi này sẽ làm cho đầu ra của mô hình có chất lượng cao hơn, vì việc huấn luyện trước cần một lượng lớn dữ liệu, nhưng nhiều dữ liệu có thể có sai sót hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.
Bước thứ ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá chuyên biệt. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy chúng tôi có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ( nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình )
Nói một cách ngắn gọn, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện yêu cầu một lượng dữ liệu rất cao, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình phần thưởng để xuất ra kết quả chất lượng cao hơn.
Trong quá trình đào tạo, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ trong ví dụ hàm Y = aX + b, thực tế có hai nơ-ron X và X0, vì vậy sự thay đổi của tham số sẽ dẫn đến dữ liệu mà nó có thể khớp rất hạn chế, vì bản chất của nó vẫn là một đường thẳng. Nếu số nơ-ron càng nhiều, thì có thể lặp lại nhiều tham số hơn, và do đó có thể khớp nhiều dữ liệu hơn, đây là lý do tại sao mô hình lớn lại tạo ra kỳ tích, và đây cũng là lý do tại sao người ta gọi là mô hình lớn, bản chất là một lượng lớn nơ-ron và tham số, một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.
Do đó, hiệu suất của mô hình lớn chủ yếu được quyết định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán, ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n( tính theo số lượng Token), thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm chung, từ đó có thể ước tính tình hình sức mạnh tính toán cần mua và thời gian đào tạo.
Đơn vị tính toán thường được đo bằng Flops, đại diện cho một phép toán điểm nổi, phép toán điểm nổi là thuật ngữ chung cho việc cộng, trừ, nhân, chia các số không phải nguyên, chẳng hạn như 2.5 + 3.557, điểm nổi đại diện cho khả năng có dấu phẩy, trong khi FP16 đại diện cho sự hỗ trợ.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
6 thích
Phần thưởng
6
4
Chia sẻ
Bình luận
0/400
DefiPlaybook
· 07-21 23:34
Nâng cao hiệu suất làm việc 20%? Khai thác thanh khoản đã có thể tăng gấp vài lần rồi đó.
Sự kết hợp giữa AI và Tài sản tiền điện tử: Từ cơ bản đến phát triển tương lai
AI x Crypto: Từ số không đến đỉnh cao
Sự phát triển gần đây của ngành AI được một số người xem là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu suất của các ngành nghề khác nhau, ước tính đã nâng cao khoảng 20% hiệu suất làm việc tại Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một kiểu thiết kế phần mềm mới, trước đây thiết kế phần mềm là mã chính xác, còn bây giờ là một khuôn khổ mô hình lớn tổng quát hơn được nhúng vào trong phần mềm, những phần mềm này có thể thể hiện tốt hơn và hỗ trợ đầu vào và đầu ra ở nhiều hình thức hơn. Công nghệ học sâu đã mang lại sự thịnh vượng lần thứ tư cho ngành AI, và làn sóng này cũng ảnh hưởng đến ngành tiền điện tử.
Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ, cũng như tác động của công nghệ học sâu đối với ngành. Sau đó, sẽ phân tích sâu về tình trạng và xu hướng phát triển của chuỗi ngành liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, v.v. Cuối cùng, sẽ thảo luận về mối quan hệ giữa tiền điện tử và ngành AI, tổ chức lại cấu trúc chuỗi ngành AI liên quan đến tiền điện tử.
Lịch sử phát triển của ngành AI
Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển ra nhiều trường phái khác nhau để thực hiện trí tuệ nhân tạo trong các thời đại và bối cảnh khoa học khác nhau.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là cho phép máy móc dựa vào dữ liệu để lặp lại nhiều lần trong các nhiệm vụ nhằm cải thiện hiệu suất của hệ thống. Các bước chính là đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để huấn luyện mô hình, kiểm tra và triển khai mô hình, sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.
Hiện tại, học máy có ba trường phái chính, đó là kết nối, ký hiệu và hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành động của con người.
Hiện tại, chủ nghĩa kết nối đại diện cho mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), lý do chính là cấu trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Một khi số lượng lớp và số lượng nơ-ron ( tham số ) trở nên đủ lớn, sẽ có đủ cơ hội để phù hợp với các nhiệm vụ phức tạp và tổng quát. Thông qua việc nhập dữ liệu, có thể điều chỉnh liên tục các tham số của nơ-ron, cuối cùng trải qua nhiều dữ liệu, nơ-ron này sẽ đạt được trạng thái tối ưu ( tham số ), đây cũng chính là điều được gọi là "cố gắng hết mình để tạo ra những điều kỳ diệu", cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.
Lấy một ví dụ, có thể hiểu đơn giản là xây dựng một hàm, trong đó khi chúng ta nhập X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này ứng dụng cho tất cả các giá trị X, thì cần phải tiếp tục thêm bậc của hàm và các tham số của nó, ví dụ tôi có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ phát hiện Y = X2 -3X +5, khá hợp lý, nhưng không cần phải hoàn toàn khớp với dữ liệu, chỉ cần tuân theo sự cân bằng, đầu ra tương tự là đủ. Trong đây, X2 và X, X0 đều đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.
Nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron tại thời điểm này, chúng ta có thể tăng số lượng nơ-ron và điều chỉnh các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.
Công nghệ học sâu dựa trên mạng nơ-ron đã trải qua nhiều lần cải tiến và phát triển, bao gồm các loại mạng nơ-ron sớm nhất, mạng nơ-ron hồi tiếp (RNN), mạng nơ-ron tích chập (CNN), mạng đối kháng sinh (GAN) và cuối cùng là tiến hóa thành các mô hình lớn hiện đại như công nghệ Transformer sử dụng trong GPT. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ( Transformer ), dùng để mã hóa dữ liệu từ tất cả các kiểu mô hình ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, dữ liệu được đưa vào mạng nơ-ron, do đó mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa mô hình.
Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 60 của thế kỷ 20, là một thập kỷ sau khi công nghệ AI được đề xuất. Làn sóng này do sự phát triển của công nghệ ký hiệu gây ra, công nghệ này giải quyết các vấn đề về xử lý ngôn ngữ tự nhiên chung cũng như đối thoại giữa người và máy. Cùng thời điểm đó, hệ thống chuyên gia ra đời, đây là hệ thống chuyên gia DENRAL được hoàn thành dưới sự giám sát của Đại học Stanford tại NASA, hệ thống này có kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy luận và tạo ra câu trả lời giống như một chuyên gia hóa học. Hệ thống chuyên gia hóa học này có thể được xem như sự kết hợp giữa kho kiến thức hóa học và hệ thống suy luận.
Sau hệ thống chuyên gia, vào những năm 90, nhà khoa học và triết gia người Mỹ gốc Israel Judea Pearl( đã đề xuất mạng Bayes, mạng này còn được gọi là mạng niềm tin. Cùng thời điểm đó, Brooks đã đề xuất robot dựa trên hành vi, đánh dấu sự ra đời của hành vi học.
Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Garry Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.
Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn của học sâu Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đề xuất khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm cấu trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa liên kết.
Nhiều sự kiện mang tính biểu tượng cũng dần xuất hiện cùng với sự khám phá và tiến bộ của công nghệ học sâu, bao gồm:
Năm 2011, IBM's Watson) đã đánh bại con người và giành chiến thắng trong chương trình quiz "Jeopardy(".
Năm 2014, Goodfellow đã đề xuất GAN) mạng đối kháng sinh generative, Generative Adversarial Network(, thông qua việc cho hai mạng nơ-ron thi đấu lẫn nhau để học, có thể tạo ra những bức ảnh giống như thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tên "Deep Learning", được gọi là cuốn sách hoa, là một trong những cuốn sách quan trọng cho người mới bắt đầu trong lĩnh vực học sâu.
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", việc đề xuất phương pháp học sâu này đã ngay lập tức gây ra phản ứng lớn trong giới học thuật cũng như trong ngành công nghiệp.
Năm 2015, OpenAI được thành lập, Musk, tổng thống YC Altman, nhà đầu tư thiên thần Peter Thiel) và những người khác công bố đầu tư chung 1 tỷ USD.
Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp 9 dan Lee Sedol, và giành chiến thắng với tỷ số tổng là 4-1.
Năm 2017, công ty công nghệ Hanson Robotics ( có trụ sở tại Hồng Kông, Trung Quốc đã phát triển robot hình người Sophia, được coi là robot đầu tiên trong lịch sử được cấp quyền công dân hạng nhất, với khả năng thể hiện nhiều biểu cảm khuôn mặt và hiểu ngôn ngữ con người.
Năm 2017, Google, với nguồn nhân lực và dự trữ công nghệ phong phú trong lĩnh vực trí tuệ nhân tạo, đã công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, OpenAI đã phát hành GPT) Generative Pre-trained Transformer( được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.
Năm 2018, đội ngũ Google Deepmind đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một dấu mốc tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.
Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.
Năm 2020, GPT-3 do OpenAI phát triển, có 175 tỷ tham số, cao gấp 100 lần so với phiên bản trước đó GPT-2, mô hình này đã sử dụng 570GB văn bản để huấn luyện, có thể đạt được hiệu suất tiên tiến nhất trong nhiều nhiệm vụ NLP) như trả lời câu hỏi, dịch thuật, viết bài(.
Năm 2021, OpenAI đã phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.
Vào tháng 1 năm 2023, ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt, vào tháng 3, ChatGPT đạt 100 triệu người dùng, trở thành ứng dụng đạt 100 triệu người dùng nhanh nhất trong lịch sử.
Năm 2024, OpenAI ra mắt GPT-4 omni.
![Người mới phổ cập丨AI x Crypto: Từ số không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Chuỗi công nghiệp học sâu
Hiện nay, các mô hình ngôn ngữ lớn đều sử dụng các phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng hưng phấn về trí tuệ nhân tạo, rất nhiều người chơi đã đổ vào lĩnh vực này, chúng ta cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của các thuật toán học sâu, trong ngành AI do các thuật toán học sâu chi phối, các mối quan hệ giữa các bên cung và cầu trong chuỗi cung ứng là như thế nào, cũng như tình trạng hiện tại và sự phát triển trong tương lai ra sao.
Đầu tiên, chúng ta cần làm rõ rằng, khi tiến hành đào tạo các mô hình lớn LLMs do GPT dẫn đầu dựa trên công nghệ Transformer ), có tổng cộng ba bước.
Trước khi huấn luyện, vì nó dựa trên Transformer, nên bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi chữ Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.
Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn các cặp dữ liệu, tương tự như ví dụ được nêu trong phần đầu của báo cáo (X,Y), để tìm kiếm các tham số tốt nhất của từng neuron trong mô hình, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tốn nhiều sức mạnh tính toán nhất, vì phải lặp đi lặp lại các neuron thử nghiệm các tham số khác nhau. Sau khi hoàn thành huấn luyện với một tập dữ liệu, thường sẽ sử dụng cùng một tập dữ liệu để huấn luyện lại lần thứ hai nhằm tối ưu hóa các tham số.
Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ hơn nhưng chất lượng rất cao để huấn luyện, sự thay đổi này sẽ làm cho đầu ra của mô hình có chất lượng cao hơn, vì việc huấn luyện trước cần một lượng lớn dữ liệu, nhưng nhiều dữ liệu có thể có sai sót hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.
Bước thứ ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá chuyên biệt. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy chúng tôi có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ( nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình )
Nói một cách ngắn gọn, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện yêu cầu một lượng dữ liệu rất cao, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình phần thưởng để xuất ra kết quả chất lượng cao hơn.
Trong quá trình đào tạo, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ trong ví dụ hàm Y = aX + b, thực tế có hai nơ-ron X và X0, vì vậy sự thay đổi của tham số sẽ dẫn đến dữ liệu mà nó có thể khớp rất hạn chế, vì bản chất của nó vẫn là một đường thẳng. Nếu số nơ-ron càng nhiều, thì có thể lặp lại nhiều tham số hơn, và do đó có thể khớp nhiều dữ liệu hơn, đây là lý do tại sao mô hình lớn lại tạo ra kỳ tích, và đây cũng là lý do tại sao người ta gọi là mô hình lớn, bản chất là một lượng lớn nơ-ron và tham số, một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.
Do đó, hiệu suất của mô hình lớn chủ yếu được quyết định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán, ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n( tính theo số lượng Token), thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm chung, từ đó có thể ước tính tình hình sức mạnh tính toán cần mua và thời gian đào tạo.
Đơn vị tính toán thường được đo bằng Flops, đại diện cho một phép toán điểm nổi, phép toán điểm nổi là thuật ngữ chung cho việc cộng, trừ, nhân, chia các số không phải nguyên, chẳng hạn như 2.5 + 3.557, điểm nổi đại diện cho khả năng có dấu phẩy, trong khi FP16 đại diện cho sự hỗ trợ.