Розвиток галузі штучного інтелекту останнім часом вважається деякими людьми четвертою промисловою революцією. Поява великих моделей суттєво підвищила ефективність у різних секторах, за оцінками, підвищивши приблизно на 20% ефективність роботи в США. Водночас узагальнююча здатність великих моделей вважається новою парадигмою програмного дизайну: раніше програмний дизайн полягав у точному кодуванні, тепер це більш узагальнена структура великих моделей, інтегрована в програмне забезпечення, яке може забезпечувати кращі результати та підтримувати ширший спектр вхідних і вихідних модальностей. Технологія глибокого навчання принесла четвертий розквіт галузі штучного інтелекту, ця хвиля також вплинула на галузь криптовалют.
Цей звіт детально розгляне історію розвитку індустрії ШІ, класифікацію технологій, а також вплив технології глибокого навчання на цю індустрію. Потім буде проведено глибокий аналіз стану та тенденцій розвитку різних елементів ланцюга вартості, таких як GPU, хмарні обчислення, джерела даних, периферійні пристрої тощо. Нарешті, буде розглянуто сутність взаємозв'язку між криптовалютою та індустрією ШІ, а також проведено аналіз структури ланцюга вартості ШІ, пов'язаного з криптовалютою.
Індустрія штучного інтелекту розпочалася в 50-х роках XX століття. Для досягнення бачення штучного інтелекту наукова спільнота та промисловість в різні епохи та з різними науковими фонами розробили безліч напрямків для реалізації штучного інтелекту.
Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання". Ідея цієї технології полягає в тому, щоб дозволити машинам покращувати продуктивність системи шляхом багаторазового ітераційного навчання на основі даних у рамках завдання. Основні етапи включають надсилання даних до алгоритму, використання цих даних для навчання моделі, тестування та розгортання моделі, а також використання моделі для виконання автоматизованих предсказувальних завдань.
Наразі машинне навчання має три основні напрямки: коннекціонізм, символізм і поведінковий підхід, які імітують відповідно нервову систему, мислення та поведінку людини.
Наразі зв'язковий підхід, представленій нейронними мережами, має перевагу ( також відомий як глибоке навчання ), основна причина полягає в тому, що така архітектура має вхідний шар, вихідний шар, але має кілька прихованих шарів. Як тільки кількість шарів і нейронів ( параметрів ) стає достатньо великою, виникає достатньо можливостей для підгонки складних універсальних завдань. Через введення даних можна постійно коригувати параметри нейронів, врешті-решт, після кількох проходів через дані, цей нейрон досягне оптимального стану ( параметрів ), що також відомо як "велика сила призводить до чудес", і це є походженням його "глибини" — достатня кількість шарів і нейронів.
Наприклад, можна просто зрозуміти, що ми сконструювали функцію, де при введенні X=2, Y=3; X=3, Y=5. Якщо хочемо, щоб ця функція відповідала всім X, то потрібно постійно додавати ступінь цієї функції та її параметри. Наприклад, я можу створити функцію, що задовольняє цим умовам, Y = 2X -1, але якщо є дані X=2, Y=11, то потрібно переробити функцію, яка підходить для цих трьох точок даних. Використовуючи GPU для брутфорсу, виявляється, що Y = X2 -3X +5 досить підходить, але не потрібно, щоб воно повністю збігалося з даними, лише дотримуватися балансу, приблизно подібний вихід буде достатнім. Тут X2, X і X0 представляють різні нейрони, а 1, -3, 5 — це їхні параметри.
У цей час, якщо ми введемо в нейронну мережу велику кількість даних, ми можемо збільшити кількість нейронів та ітерацій параметрів, щоб підлаштуватися під нові дані. Таким чином, ми зможемо підлаштуватися під всі дані.
А технологія глибокого навчання на основі нейронних мереж також має кілька ітерацій та еволюцій, такі як найраніші нейронні мережі, мережі з прямою пропускною здатністю, RNN, CNN, GAN, які врешті-решт еволюціонували до сучасних великих моделей, таких як технологія Transformer, яка використовується в GPT. Технологія Transformer є лише одним із напрямків еволюції нейронних мереж, де додано перетворювач ( Transformer ), який використовується для кодування всіх модальностей (, таких як аудіо, відео, зображення тощо, в відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, таким чином нейронна мережа може підлаштуватися під будь-який тип даних, що дозволяє реалізувати мультимодальність.
! [Newcomer Science Popular丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
Розвиток ШІ пережив три технологічні хвилі. Перша хвиля відбулася в 60-х роках XX століття, через десять років після впровадження технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішували проблеми загальної обробки природної мови та діалогу між людиною і машиною. У той же час з'явилися експертні системи, зокрема експертна система DENRAL, завершена під наглядом Стенфордського університету та Національного управління з аеронавтики і дослідження космічного простору США. Ця система має дуже глибокі знання в хімії та здатна робити висновки на основі запитань, надаючи відповіді, подібні до тих, що дав би хімічний експерт. Цю хімічну експертну систему можна розглядати як поєднання бази знань з хімії та системи висновків.
Після експертних систем у 90-х роках ХХ століття американський вчений і філософ ізраїльського походження Джудія Перл ) Judea Pearl ( запропонував байєсівські мережі, які також називаються мережами віри. У той же час Брукс запропонував поведінкову робототехніку, що стало ознакою народження поведінки.
У 1997 році IBM Deep Blue переміг чемпіона світу з шахів Гаррі Каспарова з рахунком 3.5:2.5, ця перемога вважається віхою в історії штучного інтелекту, технології ШІ пережили другий етап розвитку.
Третя хвиля технологій штучного інтелекту відбулася у 2006 році. Три велетні глибокого навчання Ян Лекун, Джеффрі Хінтон та Йошуа Бенгіо запропонували концепцію глибокого навчання, алгоритму, що використовує штучні нейронні мережі для навчання репрезентації даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно сформували цю третю технологічну хвилю, а це також період розквіту конекціонізму.
Багато знакових подій також супроводжувалися дослідженням і еволюцією технологій глибокого навчання, зокрема:
У 2011 році IBM Watson) виграв у людства, отримавши перемогу в тестовій програмі «Jeopardy(».
У 2014 році Goodfellow запропонував GAN) Генеративну Суперечливу Мережу, Generative Adversarial Network(, яка навчається шляхом змагання двох нейронних мереж і здатна генерувати фотографії, які важко відрізнити від реальних. Одночасно Goodfellow також написав книгу «Deep Learning», яку називають «квітковою книгою», яка є однією з важливих вступних книг у галузі глибокого навчання.
У 2015 році Хінтон та інші запропонували алгоритм глибокого навчання у журналі «Природа», що викликало величезний резонанс у академічному середовищі та промисловості.
У 2015 році OpenAI було засновано, засновники включають Маска, президента YC Алтмана, ангела-інвестора Пітера Тіля ) Пітера Тіля ( та інших, які оголосили про спільні інвестиції в розмірі 1 мільярда доларів.
У 2016 році, на основі технології глибокого навчання, AlphaGo провела битву людини з машиною в ґо з чемпіоном світу, професійним дев’ятим даном Лі Сіши, вигравши з загальним рахунком 4:1.
У 2017 році компанія Hanson Robotics, розташована в Гонконзі, розробила гуманоїдного робота на ім'я Софія, яка стала історично першим роботом, що отримав статус громадянина. Вона має виразні обличчя та здатність розуміти людську мову.
У 2017 році компанія Google, яка має багатий потенціал кадрів та технологій у галузі штучного інтелекту, опублікувала статтю "Увага - це все, що вам потрібно", в якій була запропонована алгоритм Transformer, і почали з'являтися великомасштабні мовні моделі.
У 2018 році OpenAI випустила GPT) Генеративний попередньо навчений трансформер(, побудований на основі алгоритму Transformer, який був одним з найбільших мовних моделей на той час.
У 2018 році команда Google Deepmind випустила AlphaGo на основі глибокого навчання, здатну передбачати структуру білків, що вважається величезним кроком вперед у галузі штучного інтелекту.
У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.
У 2020 році OpenAI розробила GPT-3, що має 175 мільярдів параметрів, що в 100 разів більше, ніж попередня версія GPT-2. Ця модель використовувала 570 ГБ тексту для навчання і може досягати найсучасніших результатів у кількох завданнях обробки природної мови, таких як відповіді на запитання, переклад, написання статей.
У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.
У січні 2023 року було запущено додаток ChatGPT на основі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши додатком, який найшвидше досягнув ста мільйонів користувачів в історії.
У 2024 році OpenAI представить GPT-4 omni.
![Новачок Інформування丨AI x Crypto: з нуля до вершини])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Ланцюг промисловості глибокого навчання
Сучасні великі мовні моделі використовують методи глибокого навчання, засновані на нейронних мережах. На чолі з GPT великі моделі спричинили бум штучного інтелекту, багато гравців увійшли в цю сферу, і ми також виявили, що ринок відчуває величезний попит на дані та обчислювальні потужності. Тому в цій частині звіту ми в основному досліджуємо промисловий ланцюг алгоритмів глибокого навчання, як складаються його верхні та нижні ланки в галузі штучного інтелекту, де домінують алгоритми глибокого навчання, а також як виглядає нинішній стан верхніх і нижніх ланок і їхні відносини попиту та пропозиції, а також майбутній розвиток.
По-перше, ми повинні зрозуміти, що під час навчання великих моделей LLM на основі GPT з технологією Transformer ), процес ділиться на три етапи.
Перед навчанням, оскільки він базується на Transformer, перетворювач повинен перетворити текстовий вхід в числові значення, цей процес називається "Tokenization", після чого ці числові значення називаються Token. За загальним правилом, одне англійське слово або символ можна грубо вважати одним Token, а кожен китайський ієрогліф можна грубо вважати двома Token. Це також є основною одиницею обліку, що використовується в GPT.
Перший крок - передтренування. Шляхом надання достатньої кількості пар даних на вхідному шарі, подібно до прикладів, наведених у першій частині звіту, таких як (X,Y), шукають найбільш оптимальні параметри для кожного нейрона в моделі. На цьому етапі потрібно багато даних, і цей процес є найбільш витратним за обчислювальними ресурсами, оскільки необхідно багаторазово ітерувати нейрони, пробуючи різні параметри. Після завершення навчання на одній партії даних зазвичай використовують ту саму партію даних для повторного навчання з метою ітерації параметрів.
Другий крок, доопрацювання. Доопрацювання полягає в використанні невеликої, але дуже якісної вибірки даних для навчання, таке коригування дозволяє підвищити якість виходу моделі, адже попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може підвищити якість моделі за рахунок використання якісних даних.
Третій крок, підкріплене навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста - це впорядкування результатів виходу, тому реалізація цієї моделі буде досить простою, оскільки бізнес-сценарій є досить вертикальним. Після цього цю модель використовують для визначення, чи є вихідні дані нашої великої моделі високоякісними, таким чином можна використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ( Але іноді також потрібна людська участь для оцінки якості виходу моделі ).
У двох словах, під час навчання великих моделей, попереднє навчання має дуже високі вимоги до обсягу даних, а також вимагає найбільших обчислювальних потужностей GPU, тоді як доопрацювання потребує більш якісних даних для поліпшення параметрів. Посилене навчання може повторно ітеративно налаштовувати параметри через модель винагороди для отримання більш якісних результатів.
Під час тренування, чим більше параметрів, тим вища межа його узагальнюючої здатності. Наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X і X0. Отже, як би не змінювалися параметри, дані, які можна наблизити, залишаються вкрай обмеженими, адже по суті це все ще пряма лінія. Якщо нейронів більше, то можна ітеративно налаштовувати більше параметрів, що дозволяє наближати більше даних. Ось чому великі моделі творять дива, і це також причина, чому їх називають великими моделями: по суті, це величезна кількість нейронів та параметрів, величезна кількість даних, і при цьому потрібна величезна обчислювальна потужність.
Отже, на продуктивність великих моделей впливають три основні фактори: кількість параметрів, обсяг та якість даних, а також обчислювальні потужності. Ці три фактори спільно впливають на якість результатів великих моделей та їх здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних - n(, обчислюючи за кількістю токенів), тоді ми можемо за загальними емпіричними правилами розрахувати необхідну кількість обчислень, що дозволить нам приблизно оцінити, яку обчислювальну потужність нам потрібно придбати, а також час навчання.
Обчислювальна потужність зазвичай вимірюється у Flops, що представляє одну операцію з плаваючою комою. Операції з плаваючою комою є загальним терміном для додавання, віднімання, множення та ділення нецілих чисел, таких як 2.5+3.557, де плаваюча кома означає можливість використання десяткових дробів, а FP16 означає підтримку.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
6 лайків
Нагородити
6
4
Поділіться
Прокоментувати
0/400
DefiPlaybook
· 07-21 23:34
Підвищення ефективності праці на 20%? Майнінг ліквідності вже може перевищити кілька разів!
Переглянути оригіналвідповісти на0
AlwaysAnon
· 07-21 23:26
Ти кажеш, що Боти заберуть в мене роботу?
Переглянути оригіналвідповісти на0
FloorPriceNightmare
· 07-21 23:23
Заголовок лише хвалиться, про що можна говорити на вершині.
Штучний інтелект та криптоактиви: від основ до майбутнього розвитку
AI x Crypto: від нуля до вершини
Розвиток галузі штучного інтелекту останнім часом вважається деякими людьми четвертою промисловою революцією. Поява великих моделей суттєво підвищила ефективність у різних секторах, за оцінками, підвищивши приблизно на 20% ефективність роботи в США. Водночас узагальнююча здатність великих моделей вважається новою парадигмою програмного дизайну: раніше програмний дизайн полягав у точному кодуванні, тепер це більш узагальнена структура великих моделей, інтегрована в програмне забезпечення, яке може забезпечувати кращі результати та підтримувати ширший спектр вхідних і вихідних модальностей. Технологія глибокого навчання принесла четвертий розквіт галузі штучного інтелекту, ця хвиля також вплинула на галузь криптовалют.
Цей звіт детально розгляне історію розвитку індустрії ШІ, класифікацію технологій, а також вплив технології глибокого навчання на цю індустрію. Потім буде проведено глибокий аналіз стану та тенденцій розвитку різних елементів ланцюга вартості, таких як GPU, хмарні обчислення, джерела даних, периферійні пристрої тощо. Нарешті, буде розглянуто сутність взаємозв'язку між криптовалютою та індустрією ШІ, а також проведено аналіз структури ланцюга вартості ШІ, пов'язаного з криптовалютою.
! Newcomer Science丨AI x Crypto: від нуля до піку
Історія розвитку галузі штучного інтелекту
Індустрія штучного інтелекту розпочалася в 50-х роках XX століття. Для досягнення бачення штучного інтелекту наукова спільнота та промисловість в різні епохи та з різними науковими фонами розробили безліч напрямків для реалізації штучного інтелекту.
Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання". Ідея цієї технології полягає в тому, щоб дозволити машинам покращувати продуктивність системи шляхом багаторазового ітераційного навчання на основі даних у рамках завдання. Основні етапи включають надсилання даних до алгоритму, використання цих даних для навчання моделі, тестування та розгортання моделі, а також використання моделі для виконання автоматизованих предсказувальних завдань.
Наразі машинне навчання має три основні напрямки: коннекціонізм, символізм і поведінковий підхід, які імітують відповідно нервову систему, мислення та поведінку людини.
Наразі зв'язковий підхід, представленій нейронними мережами, має перевагу ( також відомий як глибоке навчання ), основна причина полягає в тому, що така архітектура має вхідний шар, вихідний шар, але має кілька прихованих шарів. Як тільки кількість шарів і нейронів ( параметрів ) стає достатньо великою, виникає достатньо можливостей для підгонки складних універсальних завдань. Через введення даних можна постійно коригувати параметри нейронів, врешті-решт, після кількох проходів через дані, цей нейрон досягне оптимального стану ( параметрів ), що також відомо як "велика сила призводить до чудес", і це є походженням його "глибини" — достатня кількість шарів і нейронів.
Наприклад, можна просто зрозуміти, що ми сконструювали функцію, де при введенні X=2, Y=3; X=3, Y=5. Якщо хочемо, щоб ця функція відповідала всім X, то потрібно постійно додавати ступінь цієї функції та її параметри. Наприклад, я можу створити функцію, що задовольняє цим умовам, Y = 2X -1, але якщо є дані X=2, Y=11, то потрібно переробити функцію, яка підходить для цих трьох точок даних. Використовуючи GPU для брутфорсу, виявляється, що Y = X2 -3X +5 досить підходить, але не потрібно, щоб воно повністю збігалося з даними, лише дотримуватися балансу, приблизно подібний вихід буде достатнім. Тут X2, X і X0 представляють різні нейрони, а 1, -3, 5 — це їхні параметри.
У цей час, якщо ми введемо в нейронну мережу велику кількість даних, ми можемо збільшити кількість нейронів та ітерацій параметрів, щоб підлаштуватися під нові дані. Таким чином, ми зможемо підлаштуватися під всі дані.
А технологія глибокого навчання на основі нейронних мереж також має кілька ітерацій та еволюцій, такі як найраніші нейронні мережі, мережі з прямою пропускною здатністю, RNN, CNN, GAN, які врешті-решт еволюціонували до сучасних великих моделей, таких як технологія Transformer, яка використовується в GPT. Технологія Transformer є лише одним із напрямків еволюції нейронних мереж, де додано перетворювач ( Transformer ), який використовується для кодування всіх модальностей (, таких як аудіо, відео, зображення тощо, в відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, таким чином нейронна мережа може підлаштуватися під будь-який тип даних, що дозволяє реалізувати мультимодальність.
! [Newcomer Science Popular丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
Розвиток ШІ пережив три технологічні хвилі. Перша хвиля відбулася в 60-х роках XX століття, через десять років після впровадження технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішували проблеми загальної обробки природної мови та діалогу між людиною і машиною. У той же час з'явилися експертні системи, зокрема експертна система DENRAL, завершена під наглядом Стенфордського університету та Національного управління з аеронавтики і дослідження космічного простору США. Ця система має дуже глибокі знання в хімії та здатна робити висновки на основі запитань, надаючи відповіді, подібні до тих, що дав би хімічний експерт. Цю хімічну експертну систему можна розглядати як поєднання бази знань з хімії та системи висновків.
Після експертних систем у 90-х роках ХХ століття американський вчений і філософ ізраїльського походження Джудія Перл ) Judea Pearl ( запропонував байєсівські мережі, які також називаються мережами віри. У той же час Брукс запропонував поведінкову робототехніку, що стало ознакою народження поведінки.
У 1997 році IBM Deep Blue переміг чемпіона світу з шахів Гаррі Каспарова з рахунком 3.5:2.5, ця перемога вважається віхою в історії штучного інтелекту, технології ШІ пережили другий етап розвитку.
Третя хвиля технологій штучного інтелекту відбулася у 2006 році. Три велетні глибокого навчання Ян Лекун, Джеффрі Хінтон та Йошуа Бенгіо запропонували концепцію глибокого навчання, алгоритму, що використовує штучні нейронні мережі для навчання репрезентації даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно сформували цю третю технологічну хвилю, а це також період розквіту конекціонізму.
Багато знакових подій також супроводжувалися дослідженням і еволюцією технологій глибокого навчання, зокрема:
У 2011 році IBM Watson) виграв у людства, отримавши перемогу в тестовій програмі «Jeopardy(».
У 2014 році Goodfellow запропонував GAN) Генеративну Суперечливу Мережу, Generative Adversarial Network(, яка навчається шляхом змагання двох нейронних мереж і здатна генерувати фотографії, які важко відрізнити від реальних. Одночасно Goodfellow також написав книгу «Deep Learning», яку називають «квітковою книгою», яка є однією з важливих вступних книг у галузі глибокого навчання.
У 2015 році Хінтон та інші запропонували алгоритм глибокого навчання у журналі «Природа», що викликало величезний резонанс у академічному середовищі та промисловості.
У 2015 році OpenAI було засновано, засновники включають Маска, президента YC Алтмана, ангела-інвестора Пітера Тіля ) Пітера Тіля ( та інших, які оголосили про спільні інвестиції в розмірі 1 мільярда доларів.
У 2016 році, на основі технології глибокого навчання, AlphaGo провела битву людини з машиною в ґо з чемпіоном світу, професійним дев’ятим даном Лі Сіши, вигравши з загальним рахунком 4:1.
У 2017 році компанія Hanson Robotics, розташована в Гонконзі, розробила гуманоїдного робота на ім'я Софія, яка стала історично першим роботом, що отримав статус громадянина. Вона має виразні обличчя та здатність розуміти людську мову.
У 2017 році компанія Google, яка має багатий потенціал кадрів та технологій у галузі штучного інтелекту, опублікувала статтю "Увага - це все, що вам потрібно", в якій була запропонована алгоритм Transformer, і почали з'являтися великомасштабні мовні моделі.
У 2018 році OpenAI випустила GPT) Генеративний попередньо навчений трансформер(, побудований на основі алгоритму Transformer, який був одним з найбільших мовних моделей на той час.
У 2018 році команда Google Deepmind випустила AlphaGo на основі глибокого навчання, здатну передбачати структуру білків, що вважається величезним кроком вперед у галузі штучного інтелекту.
У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.
У 2020 році OpenAI розробила GPT-3, що має 175 мільярдів параметрів, що в 100 разів більше, ніж попередня версія GPT-2. Ця модель використовувала 570 ГБ тексту для навчання і може досягати найсучасніших результатів у кількох завданнях обробки природної мови, таких як відповіді на запитання, переклад, написання статей.
У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.
У січні 2023 року було запущено додаток ChatGPT на основі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши додатком, який найшвидше досягнув ста мільйонів користувачів в історії.
У 2024 році OpenAI представить GPT-4 omni.
![Новачок Інформування丨AI x Crypto: з нуля до вершини])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Ланцюг промисловості глибокого навчання
Сучасні великі мовні моделі використовують методи глибокого навчання, засновані на нейронних мережах. На чолі з GPT великі моделі спричинили бум штучного інтелекту, багато гравців увійшли в цю сферу, і ми також виявили, що ринок відчуває величезний попит на дані та обчислювальні потужності. Тому в цій частині звіту ми в основному досліджуємо промисловий ланцюг алгоритмів глибокого навчання, як складаються його верхні та нижні ланки в галузі штучного інтелекту, де домінують алгоритми глибокого навчання, а також як виглядає нинішній стан верхніх і нижніх ланок і їхні відносини попиту та пропозиції, а також майбутній розвиток.
По-перше, ми повинні зрозуміти, що під час навчання великих моделей LLM на основі GPT з технологією Transformer ), процес ділиться на три етапи.
Перед навчанням, оскільки він базується на Transformer, перетворювач повинен перетворити текстовий вхід в числові значення, цей процес називається "Tokenization", після чого ці числові значення називаються Token. За загальним правилом, одне англійське слово або символ можна грубо вважати одним Token, а кожен китайський ієрогліф можна грубо вважати двома Token. Це також є основною одиницею обліку, що використовується в GPT.
Перший крок - передтренування. Шляхом надання достатньої кількості пар даних на вхідному шарі, подібно до прикладів, наведених у першій частині звіту, таких як (X,Y), шукають найбільш оптимальні параметри для кожного нейрона в моделі. На цьому етапі потрібно багато даних, і цей процес є найбільш витратним за обчислювальними ресурсами, оскільки необхідно багаторазово ітерувати нейрони, пробуючи різні параметри. Після завершення навчання на одній партії даних зазвичай використовують ту саму партію даних для повторного навчання з метою ітерації параметрів.
Другий крок, доопрацювання. Доопрацювання полягає в використанні невеликої, але дуже якісної вибірки даних для навчання, таке коригування дозволяє підвищити якість виходу моделі, адже попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може підвищити якість моделі за рахунок використання якісних даних.
Третій крок, підкріплене навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста - це впорядкування результатів виходу, тому реалізація цієї моделі буде досить простою, оскільки бізнес-сценарій є досить вертикальним. Після цього цю модель використовують для визначення, чи є вихідні дані нашої великої моделі високоякісними, таким чином можна використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ( Але іноді також потрібна людська участь для оцінки якості виходу моделі ).
У двох словах, під час навчання великих моделей, попереднє навчання має дуже високі вимоги до обсягу даних, а також вимагає найбільших обчислювальних потужностей GPU, тоді як доопрацювання потребує більш якісних даних для поліпшення параметрів. Посилене навчання може повторно ітеративно налаштовувати параметри через модель винагороди для отримання більш якісних результатів.
Під час тренування, чим більше параметрів, тим вища межа його узагальнюючої здатності. Наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X і X0. Отже, як би не змінювалися параметри, дані, які можна наблизити, залишаються вкрай обмеженими, адже по суті це все ще пряма лінія. Якщо нейронів більше, то можна ітеративно налаштовувати більше параметрів, що дозволяє наближати більше даних. Ось чому великі моделі творять дива, і це також причина, чому їх називають великими моделями: по суті, це величезна кількість нейронів та параметрів, величезна кількість даних, і при цьому потрібна величезна обчислювальна потужність.
Отже, на продуктивність великих моделей впливають три основні фактори: кількість параметрів, обсяг та якість даних, а також обчислювальні потужності. Ці три фактори спільно впливають на якість результатів великих моделей та їх здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних - n(, обчислюючи за кількістю токенів), тоді ми можемо за загальними емпіричними правилами розрахувати необхідну кількість обчислень, що дозволить нам приблизно оцінити, яку обчислювальну потужність нам потрібно придбати, а також час навчання.
Обчислювальна потужність зазвичай вимірюється у Flops, що представляє одну операцію з плаваючою комою. Операції з плаваючою комою є загальним терміном для додавання, віднімання, множення та ділення нецілих чисел, таких як 2.5+3.557, де плаваюча кома означає можливість використання десяткових дробів, а FP16 означає підтримку.