Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У всьому ланцюгу створення вартості штучного інтелекту тренування моделей є етапом, який споживає найбільше ресурсів і має найвищий технічний поріг, що безпосередньо визначає межі можливостей моделі та її фактичну ефективність у застосуванні. На відміну від легковагових викликів на етапі інференції, процес тренування вимагає постійних великих витрат обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи штучного інтелекту. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Централізоване навчання є найбільш поширеним традиційним методом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчального фреймворку, координується єдиною системою контролю. Така архітектура глибокої співпраці забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів захисту від збоїв, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризиків єдиної точки.
Розподілене навчання є основним способом навчання великих моделей на сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Незважаючи на те, що фізично має "дистрибутивні" характеристики, в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмережевої шини NVLink, головний вузол координує підзавдання. Основні методи включають:
Паралельність даних: кожен вузол тренує різні дані, параметри діляться, необхідно узгодити ваги моделі.
Модульна паралель: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості;
Паралельне трубопровід: поетапне серійне виконання, підвищення пропускної здатності;
Тензорне паралелювання: тонке розділення матричних обчислень, підвищення паралельності.
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос віддалено керує співробітниками кількох "офісів" для спільного виконання завдання. На сьогодні майже всі основні великі моделі навчання реалізуються таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів спільно виконують завдання тренування без центрального координатора, зазвичай через протоколи, що керують розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання, що забезпечує добросовісність внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань;
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, чітко виражене вузьке місце синхронізації градієнтів;
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях;
Відсутність єдиної координації: немає центрального диспетчера, складні механізми розподілу завдань та відкату помилок.
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які по черзі вносять обчислювальну потужність для спільного тренування моделі, але "справді життєздатне масштабне децентралізоване тренування" все ще є систематичною інженерною проблемою, що охоплює архітектуру системи, комунікаційні протоколи, криптобезпеку, економічні механізми, перевірку моделей та інші аспекти, але чи можливо "співпрацювати ефективно + мотивувати чесно + отримати правильний результат" наразі перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між дистрибутивом та децентралізацією, підкреслює збереження даних локально та централізоване агрегування параметрів моделі, що підходить для сценаріїв, які акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні можливості співпраці, одночасно володіючи перевагами розподілу даних децентралізованого навчання, але все ж залежить від надійних координуючих сторін і не має повністю відкритих та антицензурних характеристик. Це можна розглядати як "контрольовану децентралізацію" в контексті дотримання конфіденційності, яка є відносно помірною в навчальних завданнях, структурах довіри та механізмах зв'язку, що робить її більш придатною як перехідну архітектуру для промислового впровадження.
Порівняльна таблиця парадигм навчання AI
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або велику складність співпраці, воно природно не підходить для ефективного виконання між гетерогеннми, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподіл і синхронізацію в відкритих мережах; завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені юридичними нормами та етичними зобов'язаннями, не можуть бути відкритими для спільного використання; тоді як завдання, що не мають основи для співпраці, відчувають брак зовнішньої мотивації для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у легких за структурою, простих у паралелізації та стимулюючих типах завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання для вирівнювання поведінки, навчання та маркування даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність і можуть терпіти неоднорідні обчислювальні потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренувальних завдань адаптації
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє передові напрямки теоретичних досліджень; тоді як реалізаційні шляхи Gensyn і Flock.io відносно чіткі, і вже видно перші інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерну архітектуру цих п'яти проектів, а також додатково розглянуто їхні відмінності та взаємодоповнюючі зв'язки в рамках децентралізованої системи навчання штучного інтелекту.
Prime Intellect: тренувальна траєкторія, що підлягає перевірці, підсилене навчання, мережа співпраці піонерів
Prime Intellect прагне створити мережу тренування ШІ без потреби в довірі, що дозволяє будь-кому брати участь у тренуванні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати децентралізовану систему тренування ШІ з перевіркою, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два. Детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком для моделювання завдань та виконання, спеціально розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплене навчання як пріоритетний адаптивний об'єкт, структурно розділяючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань на місці та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового розподілу, що знижує складність системи і закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм верифікації навчальної поведінки
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легкої структури шляхом аналізу локальної узгодженості траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти для перевірки, що є ключовою інновацією для реалізації розподілу нагород за навчання без довіри, і забезпечує можливий шлях для створення перевіряємих, заохочувальних децентралізованих кооперативних навчальних мереж.
SHARDCAST: Асинхронний ваговий агрегат та протокол поширення
SHARDCAST є протоколом розповсюдження та агрегації ваг, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах різних станів синхронізації, досягаючи прогресивної збіжності ваг та еволюції багатьох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом фреймворку оптимізації зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення поширених викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів у децентралізованому навчанні. Його архітектура базується на паралельній обробці даних і, створюючи рідкісні топології, такі як кільце, розширювач та малосвітові, уникає високих витрат на зв'язок у глобальному синхронізованому режимі, покладаючись лише на сусідні вузли для виконання спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що значно підвищує можливість участі у глобальному співпраці під час навчання, і є однією з ключових комунікаційних інфраструктур для створення децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL є легковісною комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання штучного інтелекту, яка має на меті вирішити проблеми адаптації традиційних комунікаційних бібліотек у гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальних мереж і сумісність пристроїв, прокладаючи "останній кілометр" комунікаційної інфраструктури для створення справді відкритих, бездоверчих мереж спільного навчання.
Три, мережа стимулів Prime Intellect та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі справжнього внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити середовище навчання, початкову модель, функцію винагороди та критерії валідації
Тренувальний вузол: виконання локального тренування, подання оновлень ваг і спостереження за траєкторією
Вузли верифікації: використання механізму TOPLOC для перевірки достовірності тренувальної поведінки та участь у розрахунку винагород та агрегації стратегій
Основні процеси угоди включають публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, формуючи мотиваційний замкнутий цикл, що обертається навколо "реальних навчальних дій".
Чотири, INTELLECT-2: перше перевірене децентралізоване навчальне рішення
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель зміцнення навчання, що була створена за допомогою асинхронної, без довіри, децентралізованої кооперації вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за участю понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, демонструючи можливість та стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, але й першим системним впровадженням парадигми "навчання є консенсусом", запропонованої Prime Intellect. INTELLECT-2 інтегрує PRIME
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Дослідження децентралізованого навчання ШІ: від централізованого контролю до глобальної співпраці в технологічній трансформації
Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У всьому ланцюгу створення вартості штучного інтелекту тренування моделей є етапом, який споживає найбільше ресурсів і має найвищий технічний поріг, що безпосередньо визначає межі можливостей моделі та її фактичну ефективність у застосуванні. На відміну від легковагових викликів на етапі інференції, процес тренування вимагає постійних великих витрат обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи штучного інтелекту. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Централізоване навчання є найбільш поширеним традиційним методом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчального фреймворку, координується єдиною системою контролю. Така архітектура глибокої співпраці забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів захисту від збоїв, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризиків єдиної точки.
Розподілене навчання є основним способом навчання великих моделей на сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Незважаючи на те, що фізично має "дистрибутивні" характеристики, в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмережевої шини NVLink, головний вузол координує підзавдання. Основні методи включають:
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос віддалено керує співробітниками кількох "офісів" для спільного виконання завдання. На сьогодні майже всі основні великі моделі навчання реалізуються таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів спільно виконують завдання тренування без центрального координатора, зазвичай через протоколи, що керують розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання, що забезпечує добросовісність внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які по черзі вносять обчислювальну потужність для спільного тренування моделі, але "справді життєздатне масштабне децентралізоване тренування" все ще є систематичною інженерною проблемою, що охоплює архітектуру системи, комунікаційні протоколи, криптобезпеку, економічні механізми, перевірку моделей та інші аспекти, але чи можливо "співпрацювати ефективно + мотивувати чесно + отримати правильний результат" наразі перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між дистрибутивом та децентралізацією, підкреслює збереження даних локально та централізоване агрегування параметрів моделі, що підходить для сценаріїв, які акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні можливості співпраці, одночасно володіючи перевагами розподілу даних децентралізованого навчання, але все ж залежить від надійних координуючих сторін і не має повністю відкритих та антицензурних характеристик. Це можна розглядати як "контрольовану децентралізацію" в контексті дотримання конфіденційності, яка є відносно помірною в навчальних завданнях, структурах довіри та механізмах зв'язку, що робить її більш придатною як перехідну архітектуру для промислового впровадження.
Порівняльна таблиця парадигм навчання AI
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або велику складність співпраці, воно природно не підходить для ефективного виконання між гетерогеннми, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподіл і синхронізацію в відкритих мережах; завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені юридичними нормами та етичними зобов'язаннями, не можуть бути відкритими для спільного використання; тоді як завдання, що не мають основи для співпраці, відчувають брак зовнішньої мотивації для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у легких за структурою, простих у паралелізації та стимулюючих типах завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання для вирівнювання поведінки, навчання та маркування даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність і можуть терпіти неоднорідні обчислювальні потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренувальних завдань адаптації
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє передові напрямки теоретичних досліджень; тоді як реалізаційні шляхи Gensyn і Flock.io відносно чіткі, і вже видно перші інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерну архітектуру цих п'яти проектів, а також додатково розглянуто їхні відмінності та взаємодоповнюючі зв'язки в рамках децентралізованої системи навчання штучного інтелекту.
Prime Intellect: тренувальна траєкторія, що підлягає перевірці, підсилене навчання, мережа співпраці піонерів
Prime Intellect прагне створити мережу тренування ШІ без потреби в довірі, що дозволяє будь-кому брати участь у тренуванні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати децентралізовану систему тренування ШІ з перевіркою, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два. Детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком для моделювання завдань та виконання, спеціально розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплене навчання як пріоритетний адаптивний об'єкт, структурно розділяючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань на місці та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового розподілу, що знижує складність системи і закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм верифікації навчальної поведінки
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легкої структури шляхом аналізу локальної узгодженості траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти для перевірки, що є ключовою інновацією для реалізації розподілу нагород за навчання без довіри, і забезпечує можливий шлях для створення перевіряємих, заохочувальних децентралізованих кооперативних навчальних мереж.
SHARDCAST: Асинхронний ваговий агрегат та протокол поширення
SHARDCAST є протоколом розповсюдження та агрегації ваг, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах різних станів синхронізації, досягаючи прогресивної збіжності ваг та еволюції багатьох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом фреймворку оптимізації зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення поширених викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів у децентралізованому навчанні. Його архітектура базується на паралельній обробці даних і, створюючи рідкісні топології, такі як кільце, розширювач та малосвітові, уникає високих витрат на зв'язок у глобальному синхронізованому режимі, покладаючись лише на сусідні вузли для виконання спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що значно підвищує можливість участі у глобальному співпраці під час навчання, і є однією з ключових комунікаційних інфраструктур для створення децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL є легковісною комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання штучного інтелекту, яка має на меті вирішити проблеми адаптації традиційних комунікаційних бібліотек у гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальних мереж і сумісність пристроїв, прокладаючи "останній кілометр" комунікаційної інфраструктури для створення справді відкритих, бездоверчих мереж спільного навчання.
Три, мережа стимулів Prime Intellect та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі справжнього внеску. Протокол працює на основі трьох основних ролей:
Основні процеси угоди включають публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, формуючи мотиваційний замкнутий цикл, що обертається навколо "реальних навчальних дій".
Чотири, INTELLECT-2: перше перевірене децентралізоване навчальне рішення
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель зміцнення навчання, що була створена за допомогою асинхронної, без довіри, децентралізованої кооперації вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за участю понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, демонструючи можливість та стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, але й першим системним впровадженням парадигми "навчання є консенсусом", запропонованої Prime Intellect. INTELLECT-2 інтегрує PRIME