С углублением внедрения искусственного интеллекта (AI) в ключевых областях, таких как медицина, финансы и автономное вождение, обеспечение надежности, прозрачности и безопасности процесса вывода машинного обучения (ML) становится важнее, чем когда-либо.
Тем не менее, традиционные услуги машинного обучения часто работают как «черный ящик», пользователи могут видеть только результаты, но трудно проверить процесс. Эта непрозрачность делает услуги моделей уязвимыми к рискам:
Модель была украдена,
Результаты вывода были злонамеренно изменены,
Данные пользователей подвергаются риску утечки конфиденциальности.
ZKML (незнание знаний машинного обучения) предлагает совершенно новое криптографическое решение для этой проблемы. Он основывается на технологии доказательства нулевых знаний (ZKP), наделяя модели машинного обучения возможностью зашифрованной проверки: доказать, что вычисление выполнено правильно, не раскрывая при этом чувствительную информацию.
Другими словами, ZKP позволяют поставщикам услуг доказать пользователям:
«Результаты вывода, которые вы получили, действительно были получены с помощью моей обученной модели — но я не буду раскрывать никакие параметры модели.»
Это означает, что пользователи могут доверять подлинности результатов вывода, в то время как структура и параметры модели (которые часто являются высокоценными активами) всегда остаются конфиденциальными.
zkPyTorch
Polyhedra Network рада объявить о запуске zkPyTorch, революционного компилятора для машинного обучения с нулевым разглашением (ZKML), предназначенного для преодоления последней мили между основными фреймворками искусственного интеллекта и технологиями ZK.
zkPyTorch глубоко интегрирует мощные возможности машинного обучения PyTorch с передовым механизмом доказательства с нулевым разглашением, позволяя разработчикам ИИ создавать проверяемые приложения ИИ в знакомой среде, не меняя привычек программирования и не изучая новый язык ZK.
Этот компилятор может автоматически транслировать высокоуровневые операции модели (такие как свертка, умножение матриц, ReLU, softmax и механизмы внимания) в схемы ZKP, которые могут быть криптографически проверены, и сочетаться с самостоятельно разработанным Polyedra пакетом оптимизации ZKML для интеллектуального сжатия и ускорения основных путей вывода для обеспечения как правильности схемы, так и вычислительной эффективности.
Ключевая инфраструктура для создания надежной экосистемы ИИ
Современная экосистема машинного обучения сталкивается с множеством вызовов, таких как безопасность данных, проверяемость вычислений и прозрачность моделей. Особенно в ключевых отраслях, таких как здравоохранение, финансы и автономное вождение, модели ИИ не только обрабатывают большое количество чувствительной личной информации, но и несут высокую ценность интеллектуальной собственности и конфиденциальных коммерческих секретов.
Нулевое знание машинного обучения (ZKML) возникло как важный прорыв в решении этой проблемы. С помощью технологии нулевых доказательств (ZKP) ZKML может завершить проверку целостности модели без раскрытия параметров модели или входных данных — сохраняя при этом конфиденциальность и обеспечивая доверие.
Но на практике разработка ZKML часто требует высокой квалификации и глубоких знаний в области криптографии, что далеко не по силам традиционным AI-инженерам.
Это именно то, чему служит zkPyTorch. Он создает мост между PyTorch и ZKP-движком, позволяя разработчикам строить AI-системы с защитой конфиденциальности и возможностью верификации, используя знакомый код, без необходимости заново изучать сложный язык криптографии.
С помощью zkPyTorch Polyhedra Network значительно снижает технические барьеры для ZKML, продвигая масштабируемые и надежные приложения ИИ в массовое развитие и реконструируя новую парадигму безопасности и конфиденциальности ИИ.
Как показано на рисунке 1, zkPyTorch автоматически преобразует стандартную модель PyTorch в ZKP-совместимую схему с помощью трех хорошо спроектированных модулей. Эти три модуля включают в себя: модуль предварительной обработки, модуль квантования с нулевым разглашением и модуль оптимизации схемы.
Этот процесс не требует от разработчика освоения каких-либо криптографических схем или специализированного синтаксиса: разработчику нужно только написать модель в стандартном PyTorch, а zkPyTorch может преобразовать ее в схему, которая может быть распознана механизмом доказательства с нулевым разглашением, таким как Expander, для создания соответствующего доказательства ZK. Эта модульная конструкция значительно снижает порог входа для разработки ZKML, облегчая разработчикам искусственного интеллекта создание эффективных, безопасных и проверяемых приложений машинного обучения без необходимости переключаться между языками или изучать криптографию.
Модуль 1: Предобработка модели
На первом этапе zkPyTorch преобразует модели PyTorch в структурированную вычислительную графику, используя формат обмена открытыми нейронными сетями (ONNX). ONNX является широко используемым в отрасли стандартом промежуточного представления, который может унифицировать представление различных сложных операций машинного обучения. Благодаря этому предварительному этапу zkPyTorch может прояснить структуру модели, разобрать основные вычислительные процессы и заложить прочный фундамент для последующей генерации схемы нулевых знаний.
Модуль два: Дружественная к ZKP количественная оценка
Модуль квантования является ключевой частью системы ZKML. Традиционные модели машинного обучения опираются на операции с плавающей запятой, в то время как среда ZKP больше подходит для целочисленных операций в конечных полях. zkPyTorch использует целочисленную схему квантования, оптимизированную для конечных полей, для точного сопоставления вычислений с плавающей запятой с целочисленными вычислениями и в то же время преобразования нелинейных операций, которые не способствуют ZKP (например, ReLU и Softmax), в эффективные таблицы поиска.
Эта стратегия не только значительно сократила сложность схемы, но и повысила общую проверяемость и эффективность работы системы при обеспечении точности модели.
Модуль три: Оптимизация слоистой схемы
zkPyTorch применяет многослойную стратегию в области оптимизации цепей, в частности включает в себя:
Оптимизация пакетной обработки
Специально разработан для сериализованных вычислений, значительно снижая сложность вычислений и потребление ресурсов за счет однократной обработки нескольких шагов вывода, особенно подходит для сценариев проверки крупных языковых моделей, таких как Transformer.
Ускорение операций оригинального языка
Сочетая свёртку с быстрым преобразованием Фурье (FFT) и технологией таблиц поиска, эффективно повышается скорость выполнения базовых операций, таких как свёртка и Softmax, что в корне улучшает общую вычислительную эффективность.
Параллельное выполнение цепей
Полноценно используя преимущества вычислительной мощности многоядерных ЦПУ и ГПУ, разбивайте такие ресурсоемкие вычисления, как умножение матриц, на несколько подзадач для параллельного выполнения, что значительно увеличивает скорость и масштабируемость генерации нулевых знаний.
Глубокое техническое обсуждение
Орграф (DAG)
zkPyTorch использует направленный ациклический граф (DAG) для управления вычислительным потоком машинного обучения. Структура DAG систематически фиксирует сложные зависимости модели, как показано на рисунке 2, где каждый узел представляет конкретную операцию (например, транспонирование матрицы, умножение матрицы, деление и softmax), а ребра точно показывают, где данные передаются между этими операциями.
Этот ясный и структурированный способ представления не только значительно облегчает процесс отладки, но и способствует глубокому оптимизированию производительности. Безцикловая природа DAG предотвращает циклические зависимости, обеспечивая эффективное и контролируемое выполнение вычислений, что имеет решающее значение для оптимизации генерации нулевых знаний.
Кроме того, DAG позволяет zkPyTorch эффективно обрабатывать сложные архитектуры моделей, такие как Transformer and Residual Network (ResNet), которые часто имеют сложные потоки данных с несколькими путями и нелинейностями, а DAG разработана для удовлетворения его вычислительных потребностей для обеспечения точности и эффективности вывода модели.
Рис. 2: Пример модели машинного обучения, представленной в виде ориентированного ациклического графа (DAG)
Продвинутая квантовая технология
В zkPyTorch передовые методы квантования являются ключевым шагом в преобразовании вычислений с плавающей запятой в целочисленные операции для эффективной арифметики конечного поля в системах доказательства с нулевым разглашением (ZKP). zkPyTorch использует статический целочисленный метод, тщательно разработанный для обеспечения баланса между вычислительной эффективностью и точностью модели, гарантируя быстрое и точное создание доказательств.
Этот процесс квантизации включает строгую калибровку, точно определяющую оптимальный масштаб квантизации для эффективного представления чисел с плавающей запятой, чтобы избежать переполнения и значительной потери точности. В ответ на уникальные вызовы нелинейных операций ZKP (например, Softmax и нормализация по слоям), zkPyTorch инновационно преобразует эти сложные функции в эффективные операции поиска по таблице.
Эта стратегия не только значительно повысила эффективность генерации доказательств, но и обеспечила полное соответствие результатов генерации доказательств выходным данным высокоточных количественных моделей, что учитывает как производительность, так и надежность, способствуя процессу практической реализации проверяемого машинного обучения.
Многоуровневая стратегия оптимизации цепей
zkPyTorch использует высокоточный многоуровневый оптимизационный механизм, который обеспечивает выдающиеся результаты нулевых знаний в области эффективности и масштабируемости с нескольких сторон:
Оптимизация пакетной обработки (Batch Processing Optimization)
Упаковывая несколько задач вывода в пакетную обработку, общая вычислительная сложность значительно снижается, особенно для сценариев последовательных операций в таких языковых моделях, как трансформеры. Как показано на рисунке 3, традиционный процесс вывода большой языковой модели (LLM) выполняется на основе маркера за маркером, в то время как инновационный подход zkPyTorch объединяет все входные и выходные маркеры в единый процесс запроса для проверки. Этот процесс подтверждает, что общий вывод LLM верен сразу, при этом гарантируя, что каждый выходной токен согласуется со стандартным выводом LLM.
В выводе LLM корректность механизма кэша KV является ключом к обеспечению достоверности выходных данных вывода. Если логика вывода модели неверна, даже если используется кэш, восстановить результаты, соответствующие стандартному процессу декодирования, не удастся. zkPyTorch обеспечивает проверяемую достоверность и полноту каждого вывода в доказательстве с нулевым разглашением, точно воспроизводя этот процесс.
Рис. 3: Пакетная проверка, вычисляемая большими языковыми моделями (LLMs), где L обозначает длину входной последовательности, N - длину выходной последовательности, H - размерность скрытого слоя модели.
Оптимизация основных операций (Optimized Primitive Operations)
zkPyTorch глубоко оптимизирует лежащие в основе примитивы машинного обучения, что значительно повышает эффективность схемы. Например, операции свертки всегда требовали больших вычислительных ресурсов, и zkPyTorch использует метод оптимизации на основе быстрого преобразования Фурье (БПФ) для преобразования сверток, первоначально выполненных в пространственной области, в операции умножения в частотной области, что значительно снижает вычислительные затраты. В то же время для нелинейных функций, таких как ReLU и softmax, система использует метод предварительно вычисленной таблицы поиска, который позволяет избежать недружественных нелинейных вычислений ZKP и значительно повышает эффективность работы схемы вывода.
Параллельное выполнение цепей (Parallel Circuit Execution)
zkPyTorch автоматически компилирует сложные операции машинного обучения в параллельные схемы, раскрывая весь аппаратный потенциал многоядерных процессоров/графических процессоров для массово-параллельной генерации доказательств. Например, при выполнении умножения тензоров zkPyTorch автоматически разделит вычислительную задачу на несколько независимых подзадач, которые будут распределены по нескольким вычислительным блокам параллельно. Эта стратегия распараллеливания не только значительно повышает пропускную способность выполнения схем, но и обеспечивает эффективную верификацию больших моделей, открывая новое измерение для масштабируемых ZKML.
Комплексные испытания производительности: двойной прорыв в производительности и точности
zkPyTorch демонстрирует выдающуюся производительность и практическую применимость в нескольких основных моделях машинного обучения благодаря строгим бенчмаркингам:
Тестирование модели VGG-16
На наборе данных CIFAR-10 zkPyTorch требуется всего 6,3 секунды для генерации доказательства VGG-16 для одного изображения, и по точности он практически не отличается от традиционных вычислений с плавающей точкой. Это знаменует собой то, что zkML уже обладает практическими возможностями в классических задачах, таких как распознавание изображений.
Тестирование модели Llama-3
Для языковой модели Llama-3 с масштабом до 8 миллиардов параметров, zkPyTorch реализовал эффективное генерирование доказательства примерно за 150 секунд на токен. Более того, его выходные результаты сохраняют 99,32% косинусного сходства по сравнению с оригинальной моделью, обеспечивая высокую степень достоверности и при этом учитывая семантическую согласованность выходных данных модели.
Таблица 1: Производительность различных схем ZKP в свёрточных нейронных сетях и трансформаторных сетях
Широкие области применения в реальном мире
Проверяемое машинное обучение как услуга (Verifiable MLaaS)
По мере того, как ценность моделей машинного обучения продолжает расти, все больше и больше разработчиков ИИ предпочитают развертывать свои собственные модели в облаке и предоставлять услуги машинного обучения как услуги (MLaaS). Однако в действительности пользователям часто бывает трудно проверить, являются ли результаты вывода истинными и достоверными. Поставщики моделей также хотят защитить основные активы, такие как структуры и параметры модели, от кражи или неправомерного использования.
zkPyTorch был создан для решения этой проблемы: он придаёт облачным AI-сервисам родную "возможность нулевого знания", позволяя проверять уровень шифрования результатов вывода.
Как показано на рисунке 4, разработчики могут напрямую подключать большие модели, такие как Llama-3, к zkPyTorch для создания надежной системы MLaaS с возможностями доказательства с нулевым разглашением. Благодаря бесшовной интеграции с базовым механизмом ZKP, zkPyTorch может автоматически генерировать доказательства без раскрытия деталей модели, проверяя, правильно ли выполнен каждый вывод, тем самым создавая действительно надежную интерактивную доверительную основу доверия для поставщиков и потребителей моделей.
Рисунок 4: Применение zkPyTorch в верифицируемом машинном обучении как услуге (Verifiable MLaaS).
Безопасное сопровождение оценки модели
zkPyTorch предоставляет безопасный и проверяемый механизм оценки модели ИИ, позволяющий заинтересованным сторонам критически оценивать свои ключевые показатели производительности, не раскрывая деталей модели. Этот метод оценки «нулевой утечки» устанавливает новый стандарт доверия для моделей ИИ, повышая эффективность бизнес-транзакций и защищая интеллектуальную собственность разработчиков. Это не только повышает прозрачность ценности моделей, но и обеспечивает большую прозрачность и справедливость в отрасли искусственного интеллекта в целом.
и глубокая интеграция с блокчейном EXPchain
zkPyTorch изначально интегрирует блокчейн-сеть EXPchain, независимо разработанную Polyhedra Network, для совместного создания надежной децентрализованной инфраструктуры искусственного интеллекта. Эта интеграция обеспечивает высокооптимизированный путь для вызовов смарт-контрактов и проверки в сети, позволяя криптографически проверять результаты вывода ИИ и сохранять их в блокчейне.
Благодаря сотрудничеству между zkPyTorch и EXPchain разработчики могут создавать комплексные проверяемые приложения ИИ, от развертывания моделей, вывода и вычислений до проверки в сети, по-настоящему реализовать прозрачный, надежный и проверяемый вычислительный процесс ИИ, а также обеспечить базовую поддержку для следующего поколения приложений блокчейн + ИИ.
Будущая дорожная карта и постоянные инновации
Polyhedra будет продолжать развивать zkPyTorch, сосредоточив внимание на следующих направлениях:
Открытый исходный код и совместное строительство сообщества
Постепенное открытие исходного кода основных компонентов zkPyTorch, которое стимулирует участие разработчиков со всего мира и способствует совместным инновациям и процветанию экосистемы в области машинного обучения с нулевым знанием.
Расширение совместимости моделей и фреймов
Расширить поддержку основных моделей и фреймворков машинного обучения, дополнительно повысив адаптивность и универсальность zkPyTorch, чтобы он мог гибко интегрироваться в различные AI рабочие процессы.
Инструменты разработки и сборка SDK
Выпуск комплексной цепочки инструментов разработки и программного обеспечения (SDK), упрощение процесса интеграции, ускорение развертывания и применения zkPyTorch в реальных бизнес-сценариях.
Заключение
zkPyTorch является важным этапом на пути к надежному будущему ИИ. Объединив зрелую платформу PyTorch с передовыми технологиями нулевых знаний, zkPyTorch не только значительно повышает безопасность и проверяемость машинного обучения, но и переосмысляет способы развертывания ИИ-приложений и границы доверия.
Polyhedra будет продолжать углубленное инновационное развитие в области «безопасного ИИ», способствуя повышению стандартов машинного обучения в области защиты конфиденциальности, проверки результатов и соблюдения норм, помогая создать прозрачные, надежные и масштабируемые интеллектуальные системы.
Пожалуйста, следите за нашими постоянными обновлениями и станьте свидетелем того, как zkPyTorch меняет будущее эпохи безопасного интеллекта.
Исходная ссылка
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
zkPyTorch: создание надежного ИИ будущего с помощью zk-SNARKs
Автор оригинала: Jiaheng Zhang
С углублением внедрения искусственного интеллекта (AI) в ключевых областях, таких как медицина, финансы и автономное вождение, обеспечение надежности, прозрачности и безопасности процесса вывода машинного обучения (ML) становится важнее, чем когда-либо.
Тем не менее, традиционные услуги машинного обучения часто работают как «черный ящик», пользователи могут видеть только результаты, но трудно проверить процесс. Эта непрозрачность делает услуги моделей уязвимыми к рискам:
ZKML (незнание знаний машинного обучения) предлагает совершенно новое криптографическое решение для этой проблемы. Он основывается на технологии доказательства нулевых знаний (ZKP), наделяя модели машинного обучения возможностью зашифрованной проверки: доказать, что вычисление выполнено правильно, не раскрывая при этом чувствительную информацию.
Другими словами, ZKP позволяют поставщикам услуг доказать пользователям:
«Результаты вывода, которые вы получили, действительно были получены с помощью моей обученной модели — но я не буду раскрывать никакие параметры модели.»
Это означает, что пользователи могут доверять подлинности результатов вывода, в то время как структура и параметры модели (которые часто являются высокоценными активами) всегда остаются конфиденциальными.
zkPyTorch
Polyhedra Network рада объявить о запуске zkPyTorch, революционного компилятора для машинного обучения с нулевым разглашением (ZKML), предназначенного для преодоления последней мили между основными фреймворками искусственного интеллекта и технологиями ZK.
zkPyTorch глубоко интегрирует мощные возможности машинного обучения PyTorch с передовым механизмом доказательства с нулевым разглашением, позволяя разработчикам ИИ создавать проверяемые приложения ИИ в знакомой среде, не меняя привычек программирования и не изучая новый язык ZK.
Этот компилятор может автоматически транслировать высокоуровневые операции модели (такие как свертка, умножение матриц, ReLU, softmax и механизмы внимания) в схемы ZKP, которые могут быть криптографически проверены, и сочетаться с самостоятельно разработанным Polyedra пакетом оптимизации ZKML для интеллектуального сжатия и ускорения основных путей вывода для обеспечения как правильности схемы, так и вычислительной эффективности.
Ключевая инфраструктура для создания надежной экосистемы ИИ
Современная экосистема машинного обучения сталкивается с множеством вызовов, таких как безопасность данных, проверяемость вычислений и прозрачность моделей. Особенно в ключевых отраслях, таких как здравоохранение, финансы и автономное вождение, модели ИИ не только обрабатывают большое количество чувствительной личной информации, но и несут высокую ценность интеллектуальной собственности и конфиденциальных коммерческих секретов.
Нулевое знание машинного обучения (ZKML) возникло как важный прорыв в решении этой проблемы. С помощью технологии нулевых доказательств (ZKP) ZKML может завершить проверку целостности модели без раскрытия параметров модели или входных данных — сохраняя при этом конфиденциальность и обеспечивая доверие.
Но на практике разработка ZKML часто требует высокой квалификации и глубоких знаний в области криптографии, что далеко не по силам традиционным AI-инженерам.
Это именно то, чему служит zkPyTorch. Он создает мост между PyTorch и ZKP-движком, позволяя разработчикам строить AI-системы с защитой конфиденциальности и возможностью верификации, используя знакомый код, без необходимости заново изучать сложный язык криптографии.
С помощью zkPyTorch Polyhedra Network значительно снижает технические барьеры для ZKML, продвигая масштабируемые и надежные приложения ИИ в массовое развитие и реконструируя новую парадигму безопасности и конфиденциальности ИИ.
Рабочий процесс zkPyTorch
! zkPyTorch: Построение будущего доверенного ИИ с доказательствами с нулевым разглашением
Рисунок 1: Обзор общей архитектуры ZKPyTorch
Как показано на рисунке 1, zkPyTorch автоматически преобразует стандартную модель PyTorch в ZKP-совместимую схему с помощью трех хорошо спроектированных модулей. Эти три модуля включают в себя: модуль предварительной обработки, модуль квантования с нулевым разглашением и модуль оптимизации схемы.
Этот процесс не требует от разработчика освоения каких-либо криптографических схем или специализированного синтаксиса: разработчику нужно только написать модель в стандартном PyTorch, а zkPyTorch может преобразовать ее в схему, которая может быть распознана механизмом доказательства с нулевым разглашением, таким как Expander, для создания соответствующего доказательства ZK. Эта модульная конструкция значительно снижает порог входа для разработки ZKML, облегчая разработчикам искусственного интеллекта создание эффективных, безопасных и проверяемых приложений машинного обучения без необходимости переключаться между языками или изучать криптографию.
Модуль 1: Предобработка модели
На первом этапе zkPyTorch преобразует модели PyTorch в структурированную вычислительную графику, используя формат обмена открытыми нейронными сетями (ONNX). ONNX является широко используемым в отрасли стандартом промежуточного представления, который может унифицировать представление различных сложных операций машинного обучения. Благодаря этому предварительному этапу zkPyTorch может прояснить структуру модели, разобрать основные вычислительные процессы и заложить прочный фундамент для последующей генерации схемы нулевых знаний.
Модуль два: Дружественная к ZKP количественная оценка
Модуль квантования является ключевой частью системы ZKML. Традиционные модели машинного обучения опираются на операции с плавающей запятой, в то время как среда ZKP больше подходит для целочисленных операций в конечных полях. zkPyTorch использует целочисленную схему квантования, оптимизированную для конечных полей, для точного сопоставления вычислений с плавающей запятой с целочисленными вычислениями и в то же время преобразования нелинейных операций, которые не способствуют ZKP (например, ReLU и Softmax), в эффективные таблицы поиска.
Эта стратегия не только значительно сократила сложность схемы, но и повысила общую проверяемость и эффективность работы системы при обеспечении точности модели.
Модуль три: Оптимизация слоистой схемы
zkPyTorch применяет многослойную стратегию в области оптимизации цепей, в частности включает в себя:
Глубокое техническое обсуждение
Орграф (DAG)
zkPyTorch использует направленный ациклический граф (DAG) для управления вычислительным потоком машинного обучения. Структура DAG систематически фиксирует сложные зависимости модели, как показано на рисунке 2, где каждый узел представляет конкретную операцию (например, транспонирование матрицы, умножение матрицы, деление и softmax), а ребра точно показывают, где данные передаются между этими операциями.
Этот ясный и структурированный способ представления не только значительно облегчает процесс отладки, но и способствует глубокому оптимизированию производительности. Безцикловая природа DAG предотвращает циклические зависимости, обеспечивая эффективное и контролируемое выполнение вычислений, что имеет решающее значение для оптимизации генерации нулевых знаний.
Кроме того, DAG позволяет zkPyTorch эффективно обрабатывать сложные архитектуры моделей, такие как Transformer and Residual Network (ResNet), которые часто имеют сложные потоки данных с несколькими путями и нелинейностями, а DAG разработана для удовлетворения его вычислительных потребностей для обеспечения точности и эффективности вывода модели.
Рис. 2: Пример модели машинного обучения, представленной в виде ориентированного ациклического графа (DAG)
Продвинутая квантовая технология
В zkPyTorch передовые методы квантования являются ключевым шагом в преобразовании вычислений с плавающей запятой в целочисленные операции для эффективной арифметики конечного поля в системах доказательства с нулевым разглашением (ZKP). zkPyTorch использует статический целочисленный метод, тщательно разработанный для обеспечения баланса между вычислительной эффективностью и точностью модели, гарантируя быстрое и точное создание доказательств.
Этот процесс квантизации включает строгую калибровку, точно определяющую оптимальный масштаб квантизации для эффективного представления чисел с плавающей запятой, чтобы избежать переполнения и значительной потери точности. В ответ на уникальные вызовы нелинейных операций ZKP (например, Softmax и нормализация по слоям), zkPyTorch инновационно преобразует эти сложные функции в эффективные операции поиска по таблице.
Эта стратегия не только значительно повысила эффективность генерации доказательств, но и обеспечила полное соответствие результатов генерации доказательств выходным данным высокоточных количественных моделей, что учитывает как производительность, так и надежность, способствуя процессу практической реализации проверяемого машинного обучения.
Многоуровневая стратегия оптимизации цепей
zkPyTorch использует высокоточный многоуровневый оптимизационный механизм, который обеспечивает выдающиеся результаты нулевых знаний в области эффективности и масштабируемости с нескольких сторон:
Оптимизация пакетной обработки (Batch Processing Optimization)
Упаковывая несколько задач вывода в пакетную обработку, общая вычислительная сложность значительно снижается, особенно для сценариев последовательных операций в таких языковых моделях, как трансформеры. Как показано на рисунке 3, традиционный процесс вывода большой языковой модели (LLM) выполняется на основе маркера за маркером, в то время как инновационный подход zkPyTorch объединяет все входные и выходные маркеры в единый процесс запроса для проверки. Этот процесс подтверждает, что общий вывод LLM верен сразу, при этом гарантируя, что каждый выходной токен согласуется со стандартным выводом LLM.
В выводе LLM корректность механизма кэша KV является ключом к обеспечению достоверности выходных данных вывода. Если логика вывода модели неверна, даже если используется кэш, восстановить результаты, соответствующие стандартному процессу декодирования, не удастся. zkPyTorch обеспечивает проверяемую достоверность и полноту каждого вывода в доказательстве с нулевым разглашением, точно воспроизводя этот процесс.
! zkPyTorch: Построение будущего доверенного ИИ с доказательствами с нулевым разглашением
Рис. 3: Пакетная проверка, вычисляемая большими языковыми моделями (LLMs), где L обозначает длину входной последовательности, N - длину выходной последовательности, H - размерность скрытого слоя модели.
Оптимизация основных операций (Optimized Primitive Operations)
zkPyTorch глубоко оптимизирует лежащие в основе примитивы машинного обучения, что значительно повышает эффективность схемы. Например, операции свертки всегда требовали больших вычислительных ресурсов, и zkPyTorch использует метод оптимизации на основе быстрого преобразования Фурье (БПФ) для преобразования сверток, первоначально выполненных в пространственной области, в операции умножения в частотной области, что значительно снижает вычислительные затраты. В то же время для нелинейных функций, таких как ReLU и softmax, система использует метод предварительно вычисленной таблицы поиска, который позволяет избежать недружественных нелинейных вычислений ZKP и значительно повышает эффективность работы схемы вывода.
Параллельное выполнение цепей (Parallel Circuit Execution)
zkPyTorch автоматически компилирует сложные операции машинного обучения в параллельные схемы, раскрывая весь аппаратный потенциал многоядерных процессоров/графических процессоров для массово-параллельной генерации доказательств. Например, при выполнении умножения тензоров zkPyTorch автоматически разделит вычислительную задачу на несколько независимых подзадач, которые будут распределены по нескольким вычислительным блокам параллельно. Эта стратегия распараллеливания не только значительно повышает пропускную способность выполнения схем, но и обеспечивает эффективную верификацию больших моделей, открывая новое измерение для масштабируемых ZKML.
Комплексные испытания производительности: двойной прорыв в производительности и точности
zkPyTorch демонстрирует выдающуюся производительность и практическую применимость в нескольких основных моделях машинного обучения благодаря строгим бенчмаркингам:
Тестирование модели VGG-16
На наборе данных CIFAR-10 zkPyTorch требуется всего 6,3 секунды для генерации доказательства VGG-16 для одного изображения, и по точности он практически не отличается от традиционных вычислений с плавающей точкой. Это знаменует собой то, что zkML уже обладает практическими возможностями в классических задачах, таких как распознавание изображений.
Тестирование модели Llama-3
Для языковой модели Llama-3 с масштабом до 8 миллиардов параметров, zkPyTorch реализовал эффективное генерирование доказательства примерно за 150 секунд на токен. Более того, его выходные результаты сохраняют 99,32% косинусного сходства по сравнению с оригинальной моделью, обеспечивая высокую степень достоверности и при этом учитывая семантическую согласованность выходных данных модели.
Таблица 1: Производительность различных схем ZKP в свёрточных нейронных сетях и трансформаторных сетях
Широкие области применения в реальном мире
Проверяемое машинное обучение как услуга (Verifiable MLaaS)
По мере того, как ценность моделей машинного обучения продолжает расти, все больше и больше разработчиков ИИ предпочитают развертывать свои собственные модели в облаке и предоставлять услуги машинного обучения как услуги (MLaaS). Однако в действительности пользователям часто бывает трудно проверить, являются ли результаты вывода истинными и достоверными. Поставщики моделей также хотят защитить основные активы, такие как структуры и параметры модели, от кражи или неправомерного использования.
zkPyTorch был создан для решения этой проблемы: он придаёт облачным AI-сервисам родную "возможность нулевого знания", позволяя проверять уровень шифрования результатов вывода.
Как показано на рисунке 4, разработчики могут напрямую подключать большие модели, такие как Llama-3, к zkPyTorch для создания надежной системы MLaaS с возможностями доказательства с нулевым разглашением. Благодаря бесшовной интеграции с базовым механизмом ZKP, zkPyTorch может автоматически генерировать доказательства без раскрытия деталей модели, проверяя, правильно ли выполнен каждый вывод, тем самым создавая действительно надежную интерактивную доверительную основу доверия для поставщиков и потребителей моделей.
Рисунок 4: Применение zkPyTorch в верифицируемом машинном обучении как услуге (Verifiable MLaaS).
Безопасное сопровождение оценки модели
zkPyTorch предоставляет безопасный и проверяемый механизм оценки модели ИИ, позволяющий заинтересованным сторонам критически оценивать свои ключевые показатели производительности, не раскрывая деталей модели. Этот метод оценки «нулевой утечки» устанавливает новый стандарт доверия для моделей ИИ, повышая эффективность бизнес-транзакций и защищая интеллектуальную собственность разработчиков. Это не только повышает прозрачность ценности моделей, но и обеспечивает большую прозрачность и справедливость в отрасли искусственного интеллекта в целом.
и глубокая интеграция с блокчейном EXPchain
zkPyTorch изначально интегрирует блокчейн-сеть EXPchain, независимо разработанную Polyhedra Network, для совместного создания надежной децентрализованной инфраструктуры искусственного интеллекта. Эта интеграция обеспечивает высокооптимизированный путь для вызовов смарт-контрактов и проверки в сети, позволяя криптографически проверять результаты вывода ИИ и сохранять их в блокчейне.
Благодаря сотрудничеству между zkPyTorch и EXPchain разработчики могут создавать комплексные проверяемые приложения ИИ, от развертывания моделей, вывода и вычислений до проверки в сети, по-настоящему реализовать прозрачный, надежный и проверяемый вычислительный процесс ИИ, а также обеспечить базовую поддержку для следующего поколения приложений блокчейн + ИИ.
Будущая дорожная карта и постоянные инновации
Polyhedra будет продолжать развивать zkPyTorch, сосредоточив внимание на следующих направлениях:
Открытый исходный код и совместное строительство сообщества
Постепенное открытие исходного кода основных компонентов zkPyTorch, которое стимулирует участие разработчиков со всего мира и способствует совместным инновациям и процветанию экосистемы в области машинного обучения с нулевым знанием.
Расширение совместимости моделей и фреймов
Расширить поддержку основных моделей и фреймворков машинного обучения, дополнительно повысив адаптивность и универсальность zkPyTorch, чтобы он мог гибко интегрироваться в различные AI рабочие процессы.
Инструменты разработки и сборка SDK
Выпуск комплексной цепочки инструментов разработки и программного обеспечения (SDK), упрощение процесса интеграции, ускорение развертывания и применения zkPyTorch в реальных бизнес-сценариях.
Заключение
zkPyTorch является важным этапом на пути к надежному будущему ИИ. Объединив зрелую платформу PyTorch с передовыми технологиями нулевых знаний, zkPyTorch не только значительно повышает безопасность и проверяемость машинного обучения, но и переосмысляет способы развертывания ИИ-приложений и границы доверия.
Polyhedra будет продолжать углубленное инновационное развитие в области «безопасного ИИ», способствуя повышению стандартов машинного обучения в области защиты конфиденциальности, проверки результатов и соблюдения норм, помогая создать прозрачные, надежные и масштабируемые интеллектуальные системы.
Пожалуйста, следите за нашими постоянными обновлениями и станьте свидетелем того, как zkPyTorch меняет будущее эпохи безопасного интеллекта.
Исходная ссылка