L'importance des données Blockchain et l'application des indexeurs

La clé de la technologie Blockchain réside dans les données. Les données sont non seulement la base du développement des applications décentralisées (dApp), mais aussi un élément crucial pour maintenir l'intégrité du réseau. Bien que l'industrie se concentre principalement sur la disponibilité des données (DA), c'est-à-dire garantir que les participants au réseau peuvent accéder aux données de transaction les plus récentes pour validation, l'accessibilité des données est tout aussi importante, mais souvent négligée.

À l'ère des blockchains modulaires, les solutions DA sont devenues une partie intégrante. Ces solutions garantissent que les participants peuvent accéder aux données de transaction, permettant ainsi une vérification en temps réel et le maintien de l'intégrité du réseau. Cependant, la couche DA ressemble davantage à un tableau d'affichage temporaire qu'à une base de données permanente. Les données sont supprimées avec le temps, tout comme les affiches sur un panneau publicitaire sont finalement remplacées par de nouveaux contenus.

En comparaison, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est essentiel pour le développement d'applications décentralisées (dApp) et l'analyse de la Blockchain. Bien que moins discutée, l'accessibilité des données est tout aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l'écosystème de la Blockchain, et une approche de gestion des données complète doit aborder ces deux questions pour soutenir des applications Blockchain robustes et efficaces.

Méthodes traditionnelles de recherche de données sur la Blockchain

Depuis sa création, la Blockchain a complètement transformé les infrastructures, favorisant l'innovation des dApps dans des domaines tels que les jeux, la finance et les réseaux sociaux. Cependant, la construction de ces dApps nécessite l'accès à d'énormes données de Blockchain, un processus à la fois difficile et coûteux.

Pour les développeurs de dApp, une option est d'héberger et d'exécuter eux-mêmes des nœuds RPC archivés. Ces nœuds stockent toutes les données historiques de la blockchain, permettant un accès complet. Cependant, les coûts de maintenance sont élevés, la capacité de requête est limitée, ce qui rend difficile de répondre aux besoins spécifiques des développeurs. Bien que l'exécution de nœuds légers soit moins coûteuse, la capacité de récupération des données est limitée, ce qui peut affecter le bon fonctionnement de la dApp.

Une autre méthode consiste à utiliser des services de nœuds RPC commerciaux. Ces fournisseurs prennent en charge les coûts et la gestion des nœuds, fournissant des données via des points de terminaison RPC. Les points de terminaison RPC publics sont gratuits à utiliser, mais présentent des limitations de taux, ce qui peut affecter l'expérience utilisateur des dApp. Les points de terminaison RPC privés offrent de meilleures performances, mais même la récupération de données simples nécessite une communication importante, ce qui est inefficace et difficile à mettre à l'échelle. De plus, ils manquent souvent de compatibilité interréseaux.

Meilleure solution: Blockchain indexeur

Les indexeurs de Blockchain jouent un rôle clé dans l'organisation des données sur la chaîne et leur stockage dans une base de données pour des requêtes, c'est pourquoi ils sont appelés "moteurs de recherche de la Blockchain". Ils indexent les données de la Blockchain et utilisent un langage de requête similaire à SQL ( tel que l'API GraphQL ) pour rendre les données toujours disponibles. Les indexeurs fournissent aux développeurs une interface de requête de données unifiée, simplifiant considérablement le processus de récupération des données.

Différents types d'indexeurs optimisent la manière dont les données sont récupérées.

1. Indexeur de nœud complet : Exécuter un nœud complet de la blockchain et extraire directement les données, garantissant l'exactitude et l'intégralité des données, mais nécessitant une grande capacité de stockage et de traitement.

2. Indexeur léger : dépend des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les besoins de stockage mais pouvant augmenter le temps de requête.

3. Indexeur spécialisé : optimisé pour des types de données spécifiques ou des Blockchains spécifiques, comme les données NFT ou les transactions DeFi.

4. Agrégateur d'index: extrait des données de plusieurs Blockchains et sources, y compris des informations hors chaîne, fournissant une interface de requête unifiée, adaptée aux dApps multi-chaînes.

Il faut 3 To d'espace de stockage juste pour Ethereum, et cela continue d'augmenter avec la croissance de la blockchain. Le protocole d'indexation déploie plusieurs indexeurs, permettant d'indexer efficacement et de requêter rapidement de grandes quantités de données, ce qui n'est pas réalisable par RPC.

L'indexeur prend en charge des requêtes complexes, un filtrage flexible des données et une analyse post-extraction. Certains indexeurs peuvent également agréger des données provenant de plusieurs sources, évitant ainsi le déploiement de plusieurs API pour les dApps multi-chaînes. Grâce à des nœuds distribués, l'indexeur offre une sécurité et des performances améliorées, tandis que les fournisseurs RPC centralisés peuvent rencontrer des interruptions et des temps d'arrêt.

Dans l'ensemble, par rapport aux services de nœuds RPC, l'indexeur a amélioré l'efficacité et la fiabilité de la récupération des données, tout en réduisant le coût de déploiement d'un nœud unique. Cela fait du protocole d'indexeur de Blockchain la solution privilégiée pour les développeurs de dApp.

Scénarios d'application de l'indexeur

Comme mentionné précédemment, la construction d'un dApp nécessite de récupérer et de lire des données de la Blockchain pour faire fonctionner le service. Cela inclut divers dApps, tels que DeFi, plateformes NFT, jeux et même réseaux sociaux, car ces plateformes doivent d'abord lire les données avant d'exécuter d'autres transactions.

DeFi

Les protocoles DeFi nécessitent différentes informations pour fournir aux utilisateurs des prix, des taux, des frais, etc. Les teneurs de marché automatiques (AMM) ont besoin des prix et des informations de liquidité de certains pools de fonds pour calculer les taux de swap, tandis que les protocoles de prêt doivent utiliser le taux d'utilisation pour déterminer les taux d'intérêt de prêt et le ratio de dettes des liquidations. Avant de calculer les taux d'intérêt exécutés par les utilisateurs, il est essentiel d'entrer ces informations dans le dApp.

Jeu

GameFi a besoin d'un indexage rapide et d'un accès aux données pour garantir une expérience de jeu fluide pour les utilisateurs. Ce n'est qu'avec une récupération et une exécution des données aussi rapides qu'un éclair que les jeux Web3 peuvent rivaliser en performance avec les jeux Web2, attirant ainsi davantage d'utilisateurs. Ces jeux nécessitent des données telles que la propriété foncière, le solde des tokens in-game, les opérations in-game, etc. En utilisant des indexeurs, ils peuvent mieux garantir un flux de données stable et un temps de fonctionnement normal, assurant une expérience de jeu parfaite.

NFT

Les marchés NFT et les plateformes de prêt ont besoin d'indexer les données pour accéder à diverses informations, telles que les métadonnées NFT, les données de propriété et de transfert, les informations sur les redevances, etc. L'indexation rapide de ces données peut éviter de parcourir chaque NFT un par un pour trouver les données de propriété ou les attributs NFT.

Que ce soit pour le market maker automatisé DeFi nécessitant des informations sur les prix et la liquidité (AMM), ou pour l'application SocialFi nécessitant la mise à jour des publications des nouveaux utilisateurs, la capacité de récupérer rapidement les données est essentielle au bon fonctionnement des dApps. Grâce à l'indexeur, elles peuvent récupérer les données de manière efficace et précise, offrant ainsi une expérience utilisateur fluide.

Analyse

L'indexeur fournit un moyen d'extraire des données spécifiques à partir des données brutes de la Blockchain (, y compris les événements de contrat intelligent dans chaque Bloc ). Cela offre des opportunités pour une analyse de données plus spécifique, fournissant ainsi des insights complets.

Par exemple, un protocole de trading perpétuel peut identifier quels tokens ont un volume de transactions élevé, quels tokens génèrent des frais, afin de décider s'ils doivent être listés comme contrats perpétuels sur sa plateforme. Les développeurs de DEX peuvent créer des tableaux de bord pour leurs produits, afin d'analyser en profondeur quels pools de liquidités offrent les meilleurs rendements ou la plus grande liquidité. Ils peuvent également créer des tableaux de bord publics permettant aux développeurs de consulter librement et de manière flexible tout type de données à afficher sur les graphiques.

Étant donné qu'il existe plusieurs indexeurs de blockchain disponibles, il est essentiel de reconnaître les différences entre les protocoles d'indexation afin de garantir que les développeurs choisissent l'indexeur le mieux adapté à leurs besoins.

Overview de l'indexeur Blockchain

The Graph

The Graph est le premier protocole d'indexation lancé sur Ethereum, qui simplifie la requête de données de transaction auparavant difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer les sous-ensembles de données collectées à partir de la Blockchain, comme toutes les transactions liées à un pool de transactions spécifique.

En utilisant la preuve d'index, les indexeurs mettent en jeu le jeton natif GRT pour les services d'indexation et de requête, et les délégataires peuvent choisir de mettre en jeu leurs jetons ici. Les curateurs peuvent accéder à des sous-graphes de haute qualité pour aider les indexeurs à déterminer quels sous-graphes compiler des données afin de gagner les meilleures frais de requête. Dans le cadre du processus de transition vers une plus grande décentralisation, The Graph finira par arrêter ses services d'hébergement et demandera aux sous-graphes de migrer vers son réseau, tout en fournissant des indexeurs de mise à niveau.

Son infrastructure permet d'atteindre un coût moyen de 40 dollars par million de requêtes, bien en dessous du coût des nœuds auto-hébergés. En utilisant des sources de données de fichiers, il prend également en charge l'indexation parallèle des données à la fois on-chain et off-chain pour un accès efficace aux données.

Les récompenses des indexeurs de The Graph ont augmenté régulièrement au cours des derniers trimestres. Cela est en partie dû à l'augmentation du volume des requêtes, mais aussi à la hausse des prix des tokens, car ils prévoient d'intégrer des requêtes assistées par l'intelligence artificielle à l'avenir.

Subsquid

Subsquid est un lac de données décentralisé, pair à pair et horizontalement évolutif, capable d'agréger efficacement de grandes quantités de données on-chain et off-chain, tout en étant protégé par des preuves à connaissance nulle. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage des données provenant d'un sous-ensemble spécifique de blocs, accélérant ainsi le processus de récupération des données en identifiant rapidement les nœuds qui conservent les données nécessaires.

Subsquid prend en charge l'indexation en temps réel, permettant d'indexer avant la finalisation du bloc. Il prend également en charge le stockage des données dans le format choisi par le développeur, facilitant ainsi l'analyse avec des outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphes peuvent être déployés sans code sur le réseau Subsquid, sans avoir besoin de migrer vers Squid SDK.

Bien qu'il soit encore en phase de test, Subsquid a réalisé des progrès significatifs, avec plus de 80 000 utilisateurs de test, le déploiement de plus de 60 000 indexeurs Squid et plus de 20 000 développeurs vérifiés sur le réseau. Récemment, Subsquid a lancé le mainnet de son lac de données.

En plus de l'indexation, le lac de données de Subsquid Network peut également remplacer les RPC dans des cas d'utilisation tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et les Oracles.

SubQuery

SubQuery est un réseau d'infrastructure middleware décentralisé, offrant des services de données RPC et d'indexation. Il prend à l'origine en charge les réseaux Polkadot et Substrate, et s'est depuis étendu à plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph utilisant des preuves d'indexation, où les indexeurs indexent les données et fournissent des demandes de requêtes, tandis que les délégués mettent en jeu des parts auprès des indexeurs. Cependant, il introduit des consommateurs pour soumettre des commandes d'achat, afin de garantir que les revenus des indexeurs sont sécurisés, plutôt que les gestionnaires.

Il introduira des nœuds de données SubQuery prenant en charge le sharding, afin d'éviter la synchronisation continue de nouvelles données entre chaque nœud, optimisant ainsi l'efficacité des requêtes, tout en se dirigeant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 SQT en frais de calcul pour chaque 1000 demandes, ou de définir des frais personnalisés pour les indexeurs via le protocole.

Bien que SubQuery ait lancé son jeton plus tôt cette année, les récompenses d'émission pour les nœuds et les délégataires sont également en augmentation, ce qui représente une augmentation continue du nombre de services de requête offerts sur sa plateforme. Depuis la TGE, le montant total de SQT staké est passé de 6 millions à 125 millions, soulignant la croissance de la participation à son réseau.

Covalent

Covalent est un réseau d'indexation décentralisé, créé par des producteurs d'échantillons de blocs (BSP), qui crée des copies des données de la Blockchain par le biais d'exportations en masse, et publie des preuves sur la Blockchain L1 de Covalent. Ces données sont ensuite affinées par des producteurs de résultats de blocs (BRP) selon des règles définies, sélectionnant les données conformes aux exigences.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données pertinentes de la Blockchain avec un format de requête et de réponse cohérent, sans avoir à écrire des requêtes complexes personnalisées pour accéder aux données. Les jetons CQT réglés sur Moonbeam peuvent être utilisés comme moyen de paiement pour extraire ces ensembles de données préconfigurés auprès des opérateurs de réseau.

Les récompenses de Covalent semblent globalement en tendance à la hausse de la première trimestre de 2023 à la première trimestre de 2024, en partie en raison de l'augmentation du prix du token Covalent CQT.

Facteurs à considérer pour le choix d'un indexeur

La personnalisation des données

Certains indexeurs ( comme Covalent ) sont des indexeurs génériques, fournissant uniquement des ensembles de données préconfigurés standard via une API. Bien qu'ils puissent être rapides, ils n'offrent pas la flexibilité nécessaire aux développeurs qui ont besoin d'ensembles de données personnalisés. L'utilisation d'un cadre d'indexeur permet un traitement de données plus personnalisé pour répondre aux besoins spécifiques des applications.

Sécurité

Les données d'index doivent être sécurisées, sinon les dApps construites sur ces indexeurs peuvent également être vulnérables aux attaques. Par exemple, si les transactions et les soldes de portefeuille peuvent être manipulés, la dApp risque de perdre de la liquidité, ce qui affecte ses utilisateurs. Bien que tous les indexeurs adoptent une forme de sécurité en utilisant des jetons de staking d'indexeur, d'autres solutions d'indexeurs peuvent utiliser des preuves pour renforcer davantage la sécurité.

Subsquid propose des options utilisant des preuves optimistes et des preuves à connaissance nulle, tandis que Covalent a également publié des preuves contenant des valeurs de hachage de bloc. Graph fournit une période de contestation pour les requêtes des indexeurs sous la forme d'une fenêtre de défi optimiste, tandis que SubQuery pour chaque