A importância dos dados do Blockchain e a ascensão dos indexadores

A tecnologia Blockchain tem como núcleo os dados. É a pedra angular para o desenvolvimento de aplicações descentralizadas (dApp). Embora a indústria atualmente se concentre principalmente na disponibilidade de dados (DA), a acessibilidade dos dados é igualmente importante, mas frequentemente ignorada.

Na era do Blockchain modular, as soluções DA tornaram-se uma parte indispensável. Elas garantem que todos os participantes possam acessar os dados das transações, permitindo a validação em tempo real e mantendo a integridade da rede. No entanto, a camada DA é mais como um cartaz publicitário do que uma base de dados. Isso significa que os dados não são armazenados permanentemente, mas são substituídos por novos dados ao longo do tempo.

Em comparação, a acessibilidade dos dados foca na capacidade de recuperar dados históricos, o que é crucial para o desenvolvimento de dApps e a realização de análises de Blockchain. É especialmente importante para tarefas que precisam acessar dados passados para garantir uma representação e execução precisas. Embora haja menos discussão, a acessibilidade dos dados é tão importante quanto a disponibilidade dos dados. Ambos desempenham papéis diferentes, mas complementares, no ecossistema Blockchain, e uma abordagem abrangente de gestão de dados deve abordar esses dois problemas simultaneamente para apoiar aplicações Blockchain robustas e eficientes.

Métodos tradicionais de recuperação de dados de Blockchain

Desde o seu surgimento, a Blockchain transformou completamente a infraestrutura, impulsionando a criação de dApps em áreas como jogos, finanças e redes sociais. No entanto, construir esses dApps requer acesso a uma grande quantidade de dados da Blockchain, o que é tanto difícil quanto caro.

Para os desenvolvedores de dApp, uma opção é hospedar e executar o seu próprio nó RPC de arquivo. Esses nós armazenam todos os dados históricos da blockchain, permitindo acesso total. No entanto, a manutenção de nós de arquivo é cara, a capacidade de consulta é limitada e não é possível consultar os dados no formato necessário pelos desenvolvedores. Embora executar nós mais baratos seja uma opção, a capacidade de recuperação de dados desses nós é limitada, o que pode afetar o funcionamento do dApp.

Outra forma é usar provedores comerciais de nós RPC. Esses provedores são responsáveis pelo custo e gerenciamento dos nós, fornecendo dados através de endpoints RPC. Os endpoints RPC públicos são gratuitos, mas possuem limitações de taxa, o que pode afetar a experiência do usuário do dApp. Os endpoints RPC privados oferecem melhor desempenho ao reduzir a congestionamento, mas até mesmo a recuperação simples de dados requer uma quantidade significativa de comunicação de ida e volta. Isso os torna pesados em solicitações e ineficientes para consultas de dados complexas. Além disso, os endpoints RPC privados geralmente são difíceis de escalar e carecem de compatibilidade entre redes.

Blockchain indexador: solução mais eficiente

Os indexadores de Blockchain desempenham um papel crucial na organização dos dados da cadeia e no envio destes para o banco de dados para facilitar a consulta, sendo frequentemente chamados de "Google do Blockchain". Eles indexam os dados da blockchain e utilizam uma linguagem de consulta semelhante ao SQL (, como a API GraphQL ), tornando os dados disponíveis a qualquer momento. Os indexadores fornecem uma interface de consulta de dados unificada, permitindo que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias usando uma linguagem de consulta padronizada, simplificando muito o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nós completos: extrai dados diretamente de nós completos de Blockchain, garantindo que os dados sejam completos e precisos, mas requer uma grande capacidade de armazenamento e processamento.

2. Indexador leve: depende de nós completos para obter dados específicos conforme necessário, reduzindo a necessidade de armazenamento, mas podendo aumentar o tempo de consulta.

3. Índice dedicado: otimização da recuperação de dados ou Blockchain para tipos específicos de dados, como dados de NFT ou transações DeFi.

4. Agregador de Índices: extrai dados de múltiplos Blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, especialmente útil para dApps multi-chain.

Apenas o Ethereum requer 3TB de espaço de armazenamento, à medida que a Blockchain cresce, a quantidade de dados dos nós de arquivamento continua a aumentar. O protocolo indexador implementa vários indexadores, permitindo indexar e consultar rapidamente grandes volumes de dados, algo que o RPC não consegue realizar.

Os indexadores também permitem consultas complexas, filtragem fácil de dados e análise posterior. Alguns indexadores podem agregar dados de múltiplas fontes, evitando a necessidade de implantar várias APIs em dApps de múltiplas cadeias. Ao serem distribuídos por múltiplos nós, os indexadores oferecem segurança e desempenho aprimorados, enquanto os provedores RPC podem enfrentar interrupções e paradas devido às suas características centralizadas.

De um modo geral, em comparação com os provedores de nós RPC, os indexadores melhoraram a eficiência e a confiabilidade da recuperação de dados, enquanto reduziram o custo de implantação de um único nó. Isso torna o protocolo de indexação de blockchain a escolha preferida para desenvolvedores de dApps.

Cenários de aplicação do indexador

Construir dApp requer a recuperação e leitura de dados da Blockchain para operar serviços. Isso abrange vários tipos de dApp, incluindo DeFi, plataformas NFT, jogos e até redes sociais, pois essas plataformas precisam ler os dados primeiro antes de executar outras transações.

DeFi

Os protocolos DeFi precisam de diferentes informações para fornecer preços, taxas e custos específicos aos usuários. O Automated Market Maker (AMM) precisa de informações sobre preços e liquidez do pool de liquidez para calcular a taxa de swap, enquanto os protocolos de empréstimo precisam da taxa de utilização para determinar a taxa de juros de empréstimo e a razão de liquidação da dívida. É essencial inserir informações no dApp antes de calcular a taxa executada pelo usuário.

Jogo

GameFi precisa de indexação rápida e acesso a dados para garantir uma experiência de jogo fluida para os usuários. Apenas através de uma recuperação e execução de dados rápidas, os jogos Web3 podem competir em desempenho com os jogos Web2, atraindo assim mais usuários. Esses jogos precisam de dados como propriedade de terras, saldo de tokens dentro do jogo, operações dentro do jogo, entre outros. O uso de indexadores pode garantir melhor um fluxo de dados estável e um tempo de operação consistente, assegurando uma experiência de jogo perfeita.

NFT

O mercado de NFT e a plataforma de empréstimos precisam de indexar dados para acessar várias informações, como metadados de NFT, dados de propriedade e transferência, informações sobre royalties, entre outros. Indexar rapidamente esses dados pode evitar a necessidade de percorrer cada NFT individualmente para encontrar dados de propriedade ou atributos.

Análise

O indexador oferece uma maneira de extrair dados específicos de dados de blockchain originais (, incluindo eventos de contratos inteligentes em cada bloco ). Isso proporciona uma oportunidade para análises de dados mais específicas, resultando em insights abrangentes.

Por exemplo, o protocolo de negociação perpétua pode identificar quais tokens têm um grande volume de negociação e geram taxas, decidindo assim se os deve listar como contratos perpétuos na plataforma. Os desenvolvedores de DEX podem criar painéis para seus produtos, obtendo uma visão aprofundada sobre quais pools de liquidez apresentam o maior retorno ou a maior liquidez. Também é possível criar painéis públicos, permitindo que os desenvolvedores consultem livremente e de maneira flexível qualquer tipo de dado que desejem exibir nos gráficos.

Visão geral do principal indexador de Blockchain

The Graph

The Graph é o primeiro protocolo de indexação lançado na Ethereum, que permite consultar facilmente dados de transações que eram difíceis de acessar anteriormente. Utiliza subgrafos para definir e filtrar subconjuntos de dados coletados da blockchain, como todas as transações relacionadas a um determinado pool de transações.

Usando a prova de índice, os indexadores fazem staking do token nativo GRT para serviços de indexação e consulta, e os delegadores podem optar por fazer staking dos tokens aqui. Os curadores podem acessar subgráficos de alta qualidade, ajudando os indexadores a determinar quais subgráficos compilar dados para ganhar as melhores taxas de consulta. No processo de transição para uma maior descentralização, The Graph eventualmente deixará de fornecer serviços de hospedagem, exigindo que os subgráficos sejam atualizados para sua rede, ao mesmo tempo que fornece indexadores atualizados.

A sua infraestrutura permite que o custo médio por milhão de consultas atinja 40 dólares, muito abaixo dos nós auto-hospedados. Usando fontes de dados de arquivos, também suporta a indexação paralela de dados em cadeia e fora da cadeia, permitindo a recuperação eficiente de dados.

As recompensas do indexador do The Graph cresceram de forma constante nos últimos trimestres, em parte devido ao aumento do volume de consultas e também atribuído à valorização do token, eles planejam integrar consultas assistidas por IA no futuro.

Subsquid

Subsquid é um lago de dados descentralizado, ponto a ponto e escalável horizontalmente, que agrega de forma eficiente uma grande quantidade de dados on-chain e off-chain, protegidos por provas de conhecimento zero. Como uma rede de trabalhadores descentralizada, cada nó é responsável por armazenar um subconjunto específico de dados de blocos, acelerando o processo de recuperação ao identificar rapidamente os nós que armazenam os dados necessários.

Subsquid suporta indexação em tempo real, permitindo a indexação antes da confirmação final do bloco. Também suporta o armazenamento de dados no formato escolhido pelo desenvolvedor, facilitando a análise com ferramentas como BigQuery, Parquet ou CSV. Além disso, subgráficos podem ser implantados sem código na rede Subsquid, sem necessidade de migração para o Squid SDK.

Embora ainda esteja na fase de teste, a Subsquid já alcançou resultados significativos, com mais de 80 mil usuários na rede de testes, mais de 60 mil indexadores Squid implantados e mais de 20 mil desenvolvedores de validadores na rede. Recentemente, a Subsquid lançou sua rede principal do lago de dados.

Além do índice, o lago de dados da Subsquid Network também pode substituir o RPC em cenários como análise, processadores ZK/TEE, agentes de IA e oráculos.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que oferece serviços de RPC e indexação de dados. Inicialmente suportava as redes Polkadot e Substrate, mas agora se expandiu para mais de 200 cadeias. Seu funcionamento é semelhante ao The Graph, que utiliza prova de indexação, onde os indexadores indexam dados e fornecem solicitações de consulta, enquanto os delegadores fazem a aposta de suas participações nos indexadores. Ele introduz consumidores para submeter pedidos de compra, indicando que a receita dos indexadores está garantida, e não dos administradores.

Ele introduzirá nós de dados SubQuery que suportam fragmentação, evitando a necessidade de sincronizar novos dados continuamente entre os nós, otimizando a eficiência das consultas, ao mesmo tempo que avança para uma maior descentralização. Os usuários podem escolher pagar uma taxa de computação de cerca de 1 SQT por mil solicitações, ou definir uma taxa personalizada para o indexador através do protocolo.

Apesar de a SubQuery ter lançado o seu token apenas este ano, as recompensas de emissão para nós e delegados aumentaram em valor em dólares, representando um aumento constante no número de serviços de consulta oferecidos na sua plataforma. Desde o TGE, a quantidade total de SQT em staking aumentou de 6 milhões para 125 milhões, destacando o crescimento da participação na rede.

Covalent

Covalent é uma rede de indexadores descentralizada, onde os produtores de amostras de blocos (BSP) criam cópias dos dados da blockchain através da exportação em massa, e publicam provas na blockchain L1 da Covalent. Esses dados são então refinados pelos produtores de resultados de blocos (BRP) de acordo com regras, filtrando os dados que atendem aos requisitos.

Através de uma API unificada, os desenvolvedores podem extrair facilmente dados relevantes de Blockchain em um formato consistente, sem a necessidade de escrever consultas complexas para acessar os dados. É possível usar o token CQT, que é liquidado na Moonbeam, para extrair conjuntos de dados pré-configurados dos operadores de rede.

As recompensas da Covalent apresentaram uma tendência de crescimento geral do primeiro trimestre de 23 até o primeiro trimestre de 24, em parte devido à valorização do preço do CQT.

Fatores a considerar ao escolher um indexador

Personalização de Dados

Alguns indexadores ( como Covalent ) são indexadores genéricos que oferecem conjuntos de dados pré-configurados padrão apenas através da API. Embora sejam rápidos, carecem de flexibilidade e não atendem aos desenvolvedores que precisam de conjuntos de dados personalizados. O uso de uma estrutura de indexadores permite um processamento de dados mais personalizado para atender às necessidades específicas das aplicações.

Segurança

Os dados de índice devem ser seguros; caso contrário, os dApps construídos com base nesses indexadores também estarão vulneráveis a ataques. Se as transações e os saldos das carteiras puderem ser manipulados, o dApp pode perder liquidez, afetando os usuários. Embora todos os indexadores utilizem alguma forma de segurança através da staking de tokens, outras soluções podem usar provas adicionais para aumentar a segurança.

Subsquid oferece opções de prova otimista e de conhecimento nulo, a Covalent publica provas que contêm hashes de bloco. O Graph fornece um período de contestação otimista para consultas de indexadores, e a SubQuery gera provas Merkle Mountain para cada bloco, calculando o hash de bloco de todos os dados em seu banco de dados.

Velocidade e escalabilidade

Com o crescimento do Blockchain, o volume de transações aumenta, tornando o indexar grandes quantidades de dados mais complicado, necessitando de mais capacidade de processamento e espaço de armazenamento. Manter a eficiência torna-se mais difícil, mas os protocolos de indexação introduzem soluções que atendem a essas crescentes demandas.

Subsquid consegue escalar horizontalmente adicionando mais nós para armazenar dados, podendo escalar com melhorias de hardware. O Graph fornece dados de fluxo paralelo para acelerar a sincronização, e o SubQuery introduz fragmentação de nós para acelerar o processo de sincronização.

Redes suportadas

Embora a maior parte da atividade de blockchain ainda ocorra no Ethereum, com o passar do tempo, diferentes blockchains estão se tornando cada vez mais populares. Layer 2, Solana, blockchain Move e a cadeia do ecossistema Bitcoin têm seus próprios desenvolvedores e atividades em constante crescimento, e também precisam de serviços de indexação.

O suporte a certas cadeias que não são suportadas por outros protocolos de indexação pode resultar em uma maior participação no mercado. Indexar redes intensivas em dados ( como a Solana ) não é uma tarefa fácil, atualmente apenas a Subsquid conseguiu fornecer suporte de indexação para elas.

![Desenvolvimento de acesso a dados Web3: Indexador