Розвиток індустрії штучного інтелекту в останні часи деякими людьми сприймається як четверта промислова революція. Поява великих моделей суттєво підвищила ефективність у різних сферах, згідно з дослідженнями, GPT підвищив приблизно на 20% робочу ефективність у США. Водночас універсальність, яку принесли великі моделі, вважається новою парадигмою програмного дизайну, порівняно з точним дизайном коду в минулому, нинішній програмний дизайн більше зосереджений на інтеграції універсальних великих моделей у програмне забезпечення, яке може продемонструвати кращі результати та підтримувати ширший спектр модальних входів і виходів. Технології глибокого навчання дійсно принесли нову хвилю процвітання в індустрію ШІ, і ця хвиля також поширилася на індустрію криптовалют.
Цей звіт детально розгляне історію розвитку галузі ШІ, класифікацію технологій та вплив технології глибокого навчання на галузь. Далі буде проведено глибокий аналіз промислових ланцюгів, таких як GPU, хмарні обчислення, джерела даних, пристрої на краю тощо в глибокому навчанні, а також їхній розвиток та тенденції. Після цього ми детально розглянемо сутність зв'язку між криптовалютою та галуззю ШІ, а також проаналізуємо структуру промислового ланцюга, пов'язаного з криптовалютою.
Індустрія штучного інтелекту розпочалася в 50-х роках XX століття, і для досягнення бачення штучного інтелекту академічна та промислова сфери в різні епохи та з різним дисциплінарним контекстом розвинули багато напрямків для реалізації штучного інтелекту.
Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання", концепція якого полягає в тому, щоб дозволити машинам покладатися на дані для багаторазової ітерації в завданнях, щоб покращити продуктивність системи. Основні етапи полягають у тому, щоб надати дані алгоритму, використовувати ці дані для навчання моделі, тестування та впровадження моделі, а також використовувати модель для виконання автоматизованих прогнозних завдань.
Наразі машинне навчання має три основні напрями: з'єднувальна теорія, символічна теорія та поведінкова теорія, які імітують людську нервову систему, мислення і поведінку.
А наразі перевагу має коннекціонізм, представлений нейронними мережами, також відомий як глибоке навчання (, основна причина полягає в тому, що така архітектура має один вхідний шар, один вихідний шар, але кілька прихованих шарів. Як тільки кількість шарів і нейронів ) параметрів ( стає достатньо великою, з'являється достатньо можливостей для моделювання складних загальних задач. Через введення даних можна постійно коригувати параметри нейронів, і в результаті, пройшовши через багато даних, цей нейрон досягне оптимального стану ) параметри (, що й називається "сильною магією", а це також пояснює походження слова "глибокий" — достатня кількість шарів і нейронів.
А технологія глибокого навчання, що базується на нейронних мережах, також має кілька технічних ітерацій та еволюцій, зокрема, такі як найраніші нейронні мережі, мережі прямого поширення, RNN, CNN, GAN, які врешті-решт еволюціонували до сучасних великих моделей, таких як GPT, що використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, до якого додано перетворювач ) Transformer (, призначений для кодування всіх модальностей ), таких як аудіо, відео, зображення тощо (, у відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, що дозволяє нейронній мережі адаптуватися до будь-якого типу даних, реалізуючи мультимодальність.
! [Newcomer Science Popular丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
Розвиток ШІ пройшов три технологічні хвилі: перша хвиля відбулася в 60-х роках XX століття, через десять років після появи технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішували проблеми загальної обробки природної мови та діалогу між людиною і машиною. У той же час виникли експертні системи, зокрема експертна система DENRAL, яка була створена під наглядом Стенфордського університету та Національного управління з аеронавтики і дослідження космічного простору США. Ця система має надзвичайно сильні знання в хімії, здатна робити висновки на основі запитань, щоб генерувати відповіді, подібні до тих, що дає хімічний експерт. Цю хімічну експертну систему можна розглядати як поєднання хімічної бази знань та системи висновків.
Після експертних систем, у 90-х роках ХХ століття ізраїльсько-американський вчений і філософ Джудія Перл ) Judea Pearl ( запропонував байєсівські мережі, які також відомі як мережі віри. У той же час Брукс запропонував поведінкову робототехніку, що стало ознакою народження біхевіоризму.
У 1997 році IBM Deep Blue з рахунком 3.5:2.5 переміг чемпіона світу з шахів Гаррі Каспарова )Kasparov(, ця перемога вважається віхою в розвитку штучного інтелекту, технології AI пережили другий сплеск розвитку.
Третя хвиля технологій штучного інтелекту відбулася в 2006 році. Три великі фігури глибокого навчання, Ян ЛеКун, Джеффрі Хінтон та Йошуа Бенгіо, запропонували концепцію глибокого навчання, алгоритму, що базується на штучних нейронних мережах для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно сформували цю третю технологічну хвилю, а це також був розквіт коннекціонізму.
Багато знакових подій також супроводжувалися поступовим виникненням дослідження та еволюції технологій глибокого навчання, включаючи:
У 2011 році IBM Watson) переміг людину та здобув перемогу у телевізійній вікторині «Jeopardy(».
У 2014 році Goodfellow запропонував GAN) генеративну змагальну мережу, Generative Adversarial Network(, яка навчається шляхом змагання двох нейронних мереж, здатна генерувати фальшиві фотографії, які важко відрізнити від справжніх. Також Goodfellow написав книгу "Deep Learning", яка відома як "квіткова книга", і є однією з важливих вступних книг у галузі глибокого навчання.
У 2015 році Хінтон та ін. у журналі «Природа» запропонували алгоритм глибокого навчання, що викликало величезний резонанс у науковій спільноті та промисловості.
У 2015 році OpenAI був заснований, кілька відомих осіб оголосили про спільні інвестиції в 1 мільярд доларів.
У 2016 році AlphaGo, що базується на технології глибокого навчання, провела матч людина-проти-машини з чемпіоном світу з го, професійним дев'ятим даном Лі Седолем, здобувши перемогу з рахунком 4:1.
У 2017 році компанія Hanson Robotics, розташована в Гонконзі, розробила гуманоїдного робота Софію, яка стала першим роботом в історії, що отримав статус громадянина першого класу, з багатими виразами обличчя та здатністю розуміти людську мову.
У 2017 році компанія Google, яка має багатий кадровий і технологічний запас у сфері штучного інтелекту, опублікувала статтю "Увага - це все, що вам потрібно", в якій була запропонована алгоритм Transformer, і почали з'являтися великомасштабні мовні моделі.
У 2018 році OpenAI випустила GPT) Генеративний попередньо навчений трансформер(, побудований на основі алгоритму Transformer, який на той момент був одним із найбільших мовних моделей.
У 2018 році команда Google Deepmind представила AlphaGo на основі глибокого навчання, здатну передбачати структуру білків, що вважається величезним кроком уперед у сфері штучного інтелекту.
У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.
У 2020 році OpenAI розробила GPT-3, який має 175 мільярдів параметрів, що в 100 разів більше, ніж попередня версія GPT-2. Ця модель використовувала 570 ГБ тексту для навчання і може досягати найсучасніших результатів у кількох завданнях NLP), таких як відповіді на запитання, переклад, написання статей(.
У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.
У січні 2023 року було запущено застосунок ChatGPT на базі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши найшвидшим застосунком в історії, який досягнув ста мільйонів користувачів.
У 2024 році OpenAI випустить GPT-4 omni.
! [Newcomer Science丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Ланцюг промисловості глибокого навчання
В даний час великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. На чолі з GPT великі моделі спричинили сплеск штучного інтелекту, і багато гравців увійшли в цю галузь. Ми також виявили, що ринок має величезний попит на дані та обчислювальні потужності, тому в цій частині звіту ми в основному вивчаємо промисловий ланцюг алгоритмів глибокого навчання. У галузі штучного інтелекту, що керується алгоритмами глибокого навчання, як складаються її верхні та нижні ланки, а також який нинішній стан та взаємозв'язок попиту і пропозиції, а також майбутній розвиток.
По-перше, нам потрібно чітко розуміти, що під час навчання великих моделей LLMs) на основі технології Transformer, очолюваних GPT(, це поділяється на три етапи.
Перед навчанням, оскільки він базується на Transformer, конвертеру потрібно перетворити текстовий ввід у числовий, цей процес називається "Tokenization", після чого ці числові значення називаються токенами. За загальним правилом, одне англійське слово або символ можна грубо вважати одним токеном, тоді як кожен китайський ієрогліф можна грубо вважати двома токенами. Це також є базовою одиницею обліку GPT.
Перший крок, попереднє навчання. Шляхом надання достатньої кількості пар даних на вхідному шарі, подібно до прикладів, наведених у першій частині звіту, таких як )X,Y(, щоб знайти найкращі параметри для кожного нейрона в моделі, в цей момент потрібно багато даних, і цей процес також є найбільш витратним за обчислювальними ресурсами, оскільки нейрони повинні повторно ітерувати, намагаючись різні параметри. Після завершення навчання однієї партії даних зазвичай використовується та сама партія даних для повторного навчання з метою ітерації параметрів.
Другий крок, доопрацювання. Доопрацювання передбачає використання невеликої, але дуже якісної вибірки даних для навчання, таке коригування підвищить якість виходу моделі, оскільки попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може покращити якість моделі завдяки якісним даним.
Третій крок, посилене навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста - це впорядкування вихідних результатів, тому реалізація цієї моделі буде відносно простою, оскільки бізнес-сценарій є досить вертикальним. Після цього ми використовуємо цю модель, щоб визначити, чи є вихідні дані нашої великої моделі високоякісними, таким чином ми можемо використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ) але іноді також потрібна людська участь для оцінки якості виходу моделі (
Коротше кажучи, під час навчання великих моделей, попереднє навчання має дуже високі вимоги до обсягу даних, а також потребує найбільших витрат на обчислення GPU, тоді як доопрацювання потребує більш якісних даних для покращення параметрів, а навчання з підкріпленням може повторно ітеративно налаштовувати параметри за допомогою моделі винагороди для отримання більш якісних результатів.
У процесі навчання, чим більше параметрів, тим вища межа узагальнення, наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X та X0, тому як би не змінювалися параметри, дані, які можна апроксимувати, є вкрай обмеженими, оскільки їхня суть все ще є прямою лінією. Якщо нейронів буде більше, то можна ітерувати більше параметрів, отже, можна апроксимувати більше даних, ось чому великі моделі творять дива, і ця причина також пояснює, чому їх називають великими моделями, адже суть полягає в величезній кількості нейронів і параметрів, величезній кількості даних, а також у величезній обчислювальній потужності.
Отже, на продуктивність великих моделей впливають три основні аспекти: кількість параметрів, обсяг та якість даних, обчислювальна потужність. Ці три чинники спільно впливають на якість результатів великих моделей та їхню здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних дорівнює n), обчислений за кількістю токенів(, тоді ми можемо за загальними емпіричними правилами розрахувати необхідний обсяг обчислень, що дозволить нам приблизно оцінити, яку обчислювальну потужність нам потрібно купити та час навчання.
Обчислювальна потужність зазвичай вимірюється у Flops, що представляє одну операцію з плаваючою комою. Операції з плаваючою комою - це загальний термін для додавання, віднімання, множення та ділення нецілих чисел, наприклад, 2.5+3.557. Плаваюча точка вказує на можливість наявності десяткової частини, а FP16 представляє точність, що підтримує десяткові числа, FP32 - це більш розповсюджена точність. Згідно з практичними емпіричними правилами, попереднє навчання )Pre-traning( один раз ) зазвичай вимагає багаторазового навчання ( великої моделі, приблизно 6np Flops, 6 називається галузевою константою. А інференс )Inference - це процес, коли ми вводимо дані і чекаємо на вихід великої моделі (, що ділиться на дві частини, ввід n токенів, вихід n токенів, отже, загалом потрібно приблизно 2np Flops.
На початку використовувалися чіпи CPU для навчання, які надавали обчислювальну потужність, але потім почали поступово замінювати їх на GPU, такі як чіпи A100, H100 деяких компаній. Оскільки CPU існує як універсальне обчислення, GPU може бути спеціалізованим обчисленням, що значно перевищує CPU за ефективністю споживання енергії. GPU виконує обчислення з плаваючою комою переважно через модуль, який називається Tensor Core. Тому звичайні чіпи мають дані Flops при точності FP16 / FP32.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
AI та Криптоактиви: Глибина аналізу промислового ланцюга
AI x Crypto: від нуля до вершин
Вступ
Розвиток індустрії штучного інтелекту в останні часи деякими людьми сприймається як четверта промислова революція. Поява великих моделей суттєво підвищила ефективність у різних сферах, згідно з дослідженнями, GPT підвищив приблизно на 20% робочу ефективність у США. Водночас універсальність, яку принесли великі моделі, вважається новою парадигмою програмного дизайну, порівняно з точним дизайном коду в минулому, нинішній програмний дизайн більше зосереджений на інтеграції універсальних великих моделей у програмне забезпечення, яке може продемонструвати кращі результати та підтримувати ширший спектр модальних входів і виходів. Технології глибокого навчання дійсно принесли нову хвилю процвітання в індустрію ШІ, і ця хвиля також поширилася на індустрію криптовалют.
Цей звіт детально розгляне історію розвитку галузі ШІ, класифікацію технологій та вплив технології глибокого навчання на галузь. Далі буде проведено глибокий аналіз промислових ланцюгів, таких як GPU, хмарні обчислення, джерела даних, пристрої на краю тощо в глибокому навчанні, а також їхній розвиток та тенденції. Після цього ми детально розглянемо сутність зв'язку між криптовалютою та галуззю ШІ, а також проаналізуємо структуру промислового ланцюга, пов'язаного з криптовалютою.
! Newcomer Science丨AI x Crypto: від нуля до піку
Історія розвитку індустрії штучного інтелекту
Індустрія штучного інтелекту розпочалася в 50-х роках XX століття, і для досягнення бачення штучного інтелекту академічна та промислова сфери в різні епохи та з різним дисциплінарним контекстом розвинули багато напрямків для реалізації штучного інтелекту.
Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання", концепція якого полягає в тому, щоб дозволити машинам покладатися на дані для багаторазової ітерації в завданнях, щоб покращити продуктивність системи. Основні етапи полягають у тому, щоб надати дані алгоритму, використовувати ці дані для навчання моделі, тестування та впровадження моделі, а також використовувати модель для виконання автоматизованих прогнозних завдань.
Наразі машинне навчання має три основні напрями: з'єднувальна теорія, символічна теорія та поведінкова теорія, які імітують людську нервову систему, мислення і поведінку.
А наразі перевагу має коннекціонізм, представлений нейронними мережами, також відомий як глибоке навчання (, основна причина полягає в тому, що така архітектура має один вхідний шар, один вихідний шар, але кілька прихованих шарів. Як тільки кількість шарів і нейронів ) параметрів ( стає достатньо великою, з'являється достатньо можливостей для моделювання складних загальних задач. Через введення даних можна постійно коригувати параметри нейронів, і в результаті, пройшовши через багато даних, цей нейрон досягне оптимального стану ) параметри (, що й називається "сильною магією", а це також пояснює походження слова "глибокий" — достатня кількість шарів і нейронів.
А технологія глибокого навчання, що базується на нейронних мережах, також має кілька технічних ітерацій та еволюцій, зокрема, такі як найраніші нейронні мережі, мережі прямого поширення, RNN, CNN, GAN, які врешті-решт еволюціонували до сучасних великих моделей, таких як GPT, що використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, до якого додано перетворювач ) Transformer (, призначений для кодування всіх модальностей ), таких як аудіо, відео, зображення тощо (, у відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, що дозволяє нейронній мережі адаптуватися до будь-якого типу даних, реалізуючи мультимодальність.
! [Newcomer Science Popular丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
Розвиток ШІ пройшов три технологічні хвилі: перша хвиля відбулася в 60-х роках XX століття, через десять років після появи технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішували проблеми загальної обробки природної мови та діалогу між людиною і машиною. У той же час виникли експертні системи, зокрема експертна система DENRAL, яка була створена під наглядом Стенфордського університету та Національного управління з аеронавтики і дослідження космічного простору США. Ця система має надзвичайно сильні знання в хімії, здатна робити висновки на основі запитань, щоб генерувати відповіді, подібні до тих, що дає хімічний експерт. Цю хімічну експертну систему можна розглядати як поєднання хімічної бази знань та системи висновків.
Після експертних систем, у 90-х роках ХХ століття ізраїльсько-американський вчений і філософ Джудія Перл ) Judea Pearl ( запропонував байєсівські мережі, які також відомі як мережі віри. У той же час Брукс запропонував поведінкову робототехніку, що стало ознакою народження біхевіоризму.
У 1997 році IBM Deep Blue з рахунком 3.5:2.5 переміг чемпіона світу з шахів Гаррі Каспарова )Kasparov(, ця перемога вважається віхою в розвитку штучного інтелекту, технології AI пережили другий сплеск розвитку.
Третя хвиля технологій штучного інтелекту відбулася в 2006 році. Три великі фігури глибокого навчання, Ян ЛеКун, Джеффрі Хінтон та Йошуа Бенгіо, запропонували концепцію глибокого навчання, алгоритму, що базується на штучних нейронних мережах для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно сформували цю третю технологічну хвилю, а це також був розквіт коннекціонізму.
Багато знакових подій також супроводжувалися поступовим виникненням дослідження та еволюції технологій глибокого навчання, включаючи:
У 2011 році IBM Watson) переміг людину та здобув перемогу у телевізійній вікторині «Jeopardy(».
У 2014 році Goodfellow запропонував GAN) генеративну змагальну мережу, Generative Adversarial Network(, яка навчається шляхом змагання двох нейронних мереж, здатна генерувати фальшиві фотографії, які важко відрізнити від справжніх. Також Goodfellow написав книгу "Deep Learning", яка відома як "квіткова книга", і є однією з важливих вступних книг у галузі глибокого навчання.
У 2015 році Хінтон та ін. у журналі «Природа» запропонували алгоритм глибокого навчання, що викликало величезний резонанс у науковій спільноті та промисловості.
У 2015 році OpenAI був заснований, кілька відомих осіб оголосили про спільні інвестиції в 1 мільярд доларів.
У 2016 році AlphaGo, що базується на технології глибокого навчання, провела матч людина-проти-машини з чемпіоном світу з го, професійним дев'ятим даном Лі Седолем, здобувши перемогу з рахунком 4:1.
У 2017 році компанія Hanson Robotics, розташована в Гонконзі, розробила гуманоїдного робота Софію, яка стала першим роботом в історії, що отримав статус громадянина першого класу, з багатими виразами обличчя та здатністю розуміти людську мову.
У 2017 році компанія Google, яка має багатий кадровий і технологічний запас у сфері штучного інтелекту, опублікувала статтю "Увага - це все, що вам потрібно", в якій була запропонована алгоритм Transformer, і почали з'являтися великомасштабні мовні моделі.
У 2018 році OpenAI випустила GPT) Генеративний попередньо навчений трансформер(, побудований на основі алгоритму Transformer, який на той момент був одним із найбільших мовних моделей.
У 2018 році команда Google Deepmind представила AlphaGo на основі глибокого навчання, здатну передбачати структуру білків, що вважається величезним кроком уперед у сфері штучного інтелекту.
У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.
У 2020 році OpenAI розробила GPT-3, який має 175 мільярдів параметрів, що в 100 разів більше, ніж попередня версія GPT-2. Ця модель використовувала 570 ГБ тексту для навчання і може досягати найсучасніших результатів у кількох завданнях NLP), таких як відповіді на запитання, переклад, написання статей(.
У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.
У січні 2023 року було запущено застосунок ChatGPT на базі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши найшвидшим застосунком в історії, який досягнув ста мільйонів користувачів.
У 2024 році OpenAI випустить GPT-4 omni.
! [Newcomer Science丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Ланцюг промисловості глибокого навчання
В даний час великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. На чолі з GPT великі моделі спричинили сплеск штучного інтелекту, і багато гравців увійшли в цю галузь. Ми також виявили, що ринок має величезний попит на дані та обчислювальні потужності, тому в цій частині звіту ми в основному вивчаємо промисловий ланцюг алгоритмів глибокого навчання. У галузі штучного інтелекту, що керується алгоритмами глибокого навчання, як складаються її верхні та нижні ланки, а також який нинішній стан та взаємозв'язок попиту і пропозиції, а також майбутній розвиток.
По-перше, нам потрібно чітко розуміти, що під час навчання великих моделей LLMs) на основі технології Transformer, очолюваних GPT(, це поділяється на три етапи.
Перед навчанням, оскільки він базується на Transformer, конвертеру потрібно перетворити текстовий ввід у числовий, цей процес називається "Tokenization", після чого ці числові значення називаються токенами. За загальним правилом, одне англійське слово або символ можна грубо вважати одним токеном, тоді як кожен китайський ієрогліф можна грубо вважати двома токенами. Це також є базовою одиницею обліку GPT.
Перший крок, попереднє навчання. Шляхом надання достатньої кількості пар даних на вхідному шарі, подібно до прикладів, наведених у першій частині звіту, таких як )X,Y(, щоб знайти найкращі параметри для кожного нейрона в моделі, в цей момент потрібно багато даних, і цей процес також є найбільш витратним за обчислювальними ресурсами, оскільки нейрони повинні повторно ітерувати, намагаючись різні параметри. Після завершення навчання однієї партії даних зазвичай використовується та сама партія даних для повторного навчання з метою ітерації параметрів.
Другий крок, доопрацювання. Доопрацювання передбачає використання невеликої, але дуже якісної вибірки даних для навчання, таке коригування підвищить якість виходу моделі, оскільки попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може покращити якість моделі завдяки якісним даним.
Третій крок, посилене навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста - це впорядкування вихідних результатів, тому реалізація цієї моделі буде відносно простою, оскільки бізнес-сценарій є досить вертикальним. Після цього ми використовуємо цю модель, щоб визначити, чи є вихідні дані нашої великої моделі високоякісними, таким чином ми можемо використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ) але іноді також потрібна людська участь для оцінки якості виходу моделі (
Коротше кажучи, під час навчання великих моделей, попереднє навчання має дуже високі вимоги до обсягу даних, а також потребує найбільших витрат на обчислення GPU, тоді як доопрацювання потребує більш якісних даних для покращення параметрів, а навчання з підкріпленням може повторно ітеративно налаштовувати параметри за допомогою моделі винагороди для отримання більш якісних результатів.
У процесі навчання, чим більше параметрів, тим вища межа узагальнення, наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X та X0, тому як би не змінювалися параметри, дані, які можна апроксимувати, є вкрай обмеженими, оскільки їхня суть все ще є прямою лінією. Якщо нейронів буде більше, то можна ітерувати більше параметрів, отже, можна апроксимувати більше даних, ось чому великі моделі творять дива, і ця причина також пояснює, чому їх називають великими моделями, адже суть полягає в величезній кількості нейронів і параметрів, величезній кількості даних, а також у величезній обчислювальній потужності.
Отже, на продуктивність великих моделей впливають три основні аспекти: кількість параметрів, обсяг та якість даних, обчислювальна потужність. Ці три чинники спільно впливають на якість результатів великих моделей та їхню здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних дорівнює n), обчислений за кількістю токенів(, тоді ми можемо за загальними емпіричними правилами розрахувати необхідний обсяг обчислень, що дозволить нам приблизно оцінити, яку обчислювальну потужність нам потрібно купити та час навчання.
Обчислювальна потужність зазвичай вимірюється у Flops, що представляє одну операцію з плаваючою комою. Операції з плаваючою комою - це загальний термін для додавання, віднімання, множення та ділення нецілих чисел, наприклад, 2.5+3.557. Плаваюча точка вказує на можливість наявності десяткової частини, а FP16 представляє точність, що підтримує десяткові числа, FP32 - це більш розповсюджена точність. Згідно з практичними емпіричними правилами, попереднє навчання )Pre-traning( один раз ) зазвичай вимагає багаторазового навчання ( великої моделі, приблизно 6np Flops, 6 називається галузевою константою. А інференс )Inference - це процес, коли ми вводимо дані і чекаємо на вихід великої моделі (, що ділиться на дві частини, ввід n токенів, вихід n токенів, отже, загалом потрібно приблизно 2np Flops.
На початку використовувалися чіпи CPU для навчання, які надавали обчислювальну потужність, але потім почали поступово замінювати їх на GPU, такі як чіпи A100, H100 деяких компаній. Оскільки CPU існує як універсальне обчислення, GPU може бути спеціалізованим обчисленням, що значно перевищує CPU за ефективністю споживання енергії. GPU виконує обчислення з плаваючою комою переважно через модуль, який називається Tensor Core. Тому звичайні чіпи мають дані Flops при точності FP16 / FP32.