Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация совместным технологиям
В полной цепочке создания стоимости ИИ моделирование занимает наибольшее количество ресурсов и имеет самый высокий порог вхождения, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного ввода вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно классифицировать на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является самым распространенным традиционным способом, при котором единственный институт выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов обучающей рамки, которые координируются единой управляющей системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения таких масштабных моделей, как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкивается с проблемами монополизации данных, барьеров ресурсов, потребления энергии и рисков одиночной точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели и распределить ее на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он имеет "Децентрализация" характеристики, в целом все еще контролируется и координируется централизованным учреждением, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо согласовать веса модели
Модульное параллельное выполнение: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллелизм каналов: поэтапное последовательное выполнение, повышение пропускной способности;
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение степени параллелизма.
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", что можно сравнить с одним и тем же начальником, который удаленно координирует сотрудничество нескольких сотрудников из разных "офисов" для выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущем. Его основная характеристика заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Недостаток доверенного выполнения: отсутствие доверенной среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях;
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката ошибок сложны.
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждая из которых вносит свои вычислительные мощности для совместной тренировки модели, но "действительно реализуемая массовая децентрализация тренировки" по-прежнему является системной инженерной задачей, которая затрагивает такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и так далее, но возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределённостью и Децентрализацией, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, где важна соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределённого обучения и способностью к локальной кооперации, в то же время оно сохраняет преимущества распределённого обучения в плане данных, но всё же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализацию" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизму коммуникации, что делает его более подходящим как переходную архитектуру для промышленного развертывания.
Сравнительная таблица парадигм обучения ИИ
Децентрализация тренировочные границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения между гетерогенными, доверенными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, ограниченные строгими законами о конфиденциальности данных и суверенитете, сталкиваются с правовыми и этическими ограничениями, что делает невозможным открытое деление; в то время как задачи, лишенные базовых стимулов для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкими для параллелизации и мотивирующими типами, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: тонкая настройка LoRA, пост-тренировочные задачи по выравниванию поведения, задачи по обучению и аннотированию данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместной тренировки с участием устройств на краю. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Обзор адаптивности задач обучения Децентрализация
Децентрализация тренировочных классических проектов анализа
На данный момент в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического проектирования, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги к инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в системе децентрализованного обучения ИИ.
Prime Intellect: первопроходец кооперативных сетей с подкрепляющим обучением, чья траектория тренировки может быть проверена
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура и ключевая ценность модуля протокола Prime Intellect
Два, Подробное объяснение ключевых механизмов обучения Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является задачей моделирования и выполнения, разработанной Prime Intellect для децентрализованных учебных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо завершать циклы задач локально и сотрудничать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировки
TOPLOC - это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения, действительно ли узел на основе наблюдаемых данных завершил эффективное обучение стратегии. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а вместо этого выполняет верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдаемой последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории процесса обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предлагая жизнеспособный путь для построения аудитируемых и стимулирующих сетей децентрализованного сотрудничества.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает прогрессивное сходимость весов и эволюцию нескольких версий. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, основанной командой Prime Intellect на концепции DiLoCo, предложенной DeepMind, и специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, часто встречающиеся в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander, Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает терпимость сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для создания по-настоящему открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect построил разрешительную, проверяемую и экономически стимулирующую сеть для обучения, которая позволяет любому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и отслеживание траектории
Узлы верификации: использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый круг стимулов вокруг "реальных тренировочных действий".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронной, не требующей доверия Децентрализации узлов, совместно обучающихся, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, используя полностью асинхронную архитектуру, время обучения превысило 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель является не только прорывом в производительности, но и первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрировала PRIME
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Исследование Децентрализации AI-обучения: технологическая трансформация от централизованного контроля к глобальному сотрудничеству
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация совместным технологиям
В полной цепочке создания стоимости ИИ моделирование занимает наибольшее количество ресурсов и имеет самый высокий порог вхождения, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного ввода вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно классифицировать на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является самым распространенным традиционным способом, при котором единственный институт выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов обучающей рамки, которые координируются единой управляющей системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения таких масштабных моделей, как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкивается с проблемами монополизации данных, барьеров ресурсов, потребления энергии и рисков одиночной точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели и распределить ее на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он имеет "Децентрализация" характеристики, в целом все еще контролируется и координируется централизованным учреждением, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, при этом главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", что можно сравнить с одним и тем же начальником, который удаленно координирует сотрудничество нескольких сотрудников из разных "офисов" для выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущем. Его основная характеристика заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждая из которых вносит свои вычислительные мощности для совместной тренировки модели, но "действительно реализуемая массовая децентрализация тренировки" по-прежнему является системной инженерной задачей, которая затрагивает такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и так далее, но возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределённостью и Децентрализацией, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, где важна соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределённого обучения и способностью к локальной кооперации, в то же время оно сохраняет преимущества распределённого обучения в плане данных, но всё же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализацию" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизму коммуникации, что делает его более подходящим как переходную архитектуру для промышленного развертывания.
Сравнительная таблица парадигм обучения ИИ
Децентрализация тренировочные границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения между гетерогенными, доверенными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, ограниченные строгими законами о конфиденциальности данных и суверенитете, сталкиваются с правовыми и этическими ограничениями, что делает невозможным открытое деление; в то время как задачи, лишенные базовых стимулов для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкими для параллелизации и мотивирующими типами, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: тонкая настройка LoRA, пост-тренировочные задачи по выравниванию поведения, задачи по обучению и аннотированию данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместной тренировки с участием устройств на краю. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Обзор адаптивности задач обучения Децентрализация
Децентрализация тренировочных классических проектов анализа
На данный момент в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического проектирования, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги к инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в системе децентрализованного обучения ИИ.
Prime Intellect: первопроходец кооперативных сетей с подкрепляющим обучением, чья траектория тренировки может быть проверена
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура и ключевая ценность модуля протокола Prime Intellect
Два, Подробное объяснение ключевых механизмов обучения Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является задачей моделирования и выполнения, разработанной Prime Intellect для децентрализованных учебных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо завершать циклы задач локально и сотрудничать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировки
TOPLOC - это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения, действительно ли узел на основе наблюдаемых данных завершил эффективное обучение стратегии. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а вместо этого выполняет верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдаемой последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории процесса обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предлагая жизнеспособный путь для построения аудитируемых и стимулирующих сетей децентрализованного сотрудничества.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает прогрессивное сходимость весов и эволюцию нескольких версий. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, основанной командой Prime Intellect на концепции DiLoCo, предложенной DeepMind, и специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, часто встречающиеся в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander, Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает терпимость сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для создания по-настоящему открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect построил разрешительную, проверяемую и экономически стимулирующую сеть для обучения, которая позволяет любому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый круг стимулов вокруг "реальных тренировочных действий".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронной, не требующей доверия Децентрализации узлов, совместно обучающихся, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, используя полностью асинхронную архитектуру, время обучения превысило 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель является не только прорывом в производительности, но и первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрировала PRIME