Эволюция технологий индексирования данных Блокчейн: от Узлов до AI-обеспечиваемых услуг по всей цепочке

Эволюция технологий индексации данных Блокчейн: от Узлов к AI-обеспеченным полным цепочкам данных

1 Введение

С момента появления первой партии dApp в 2017 году блокчейн-приложения стремительно развиваются, охватывая такие области, как финансы, игры и социальные сети. Обсуждая децентрализованные приложения, задумывались ли мы когда-нибудь о тех источниках данных, которые используют эти dApp?

В 2024 году ИИ и Web3 станут горячими темами. В области искусственного интеллекта данные подобны источнику жизни и имеют решающее значение для роста и эволюции ИИ-систем. Как растениям необходимо солнечное свет и влага для полноценного роста, так и ИИ-системы зависят от огромного объема данных для постоянного "обучения" и "размышления". Без поддержки данных даже самые изощренные алгоритмы ИИ не смогут проявить свой потенциал и эффективность.

В этой статье будет проведен глубокий анализ эволюции индексирования данных Блокчейн в процессе развития отрасли с точки зрения доступности данных Блокчейн. Мы также сравним устоявшиеся протоколы индексирования данных с новыми протоколами сервисов данных Блокчейн, уделяя особое внимание сходствам и различиям новых протоколов, сочетавших технологии ИИ, в области сервисов данных и особенностей архитектуры продуктов.

Чтение, индексирование для анализа, краткое описание сектора индексации данных Web3

2 Сложность и простота индексирования данных: от узлов Блокчейн до полной базы данных цепи

2.1 Источник данных: Узел Блокчейн

Блокчейн часто описывается как децентрализованная бухгалтерская книга. Узлы блокчейна являются основой всей сети, отвечающей за запись, хранение и распространение всех данных о транзакциях в цепочке. Каждый узел сохраняет полную копию данных блокчейна, обеспечивая децентрализованную природу сети. Тем не менее, для обычных пользователей создание и обслуживание узлов не так просто, это требует не только профессиональных навыков, но и связано с высокими затратами на оборудование и пропускную способность. Запросные возможности обычных узлов также ограничены, что затрудняет удовлетворение потребностей разработчиков. Поэтому, хотя теоретически каждый может запустить узел, на практике пользователи склонны полагаться на услуги третьих сторон.

Чтобы решить эту проблему, появились поставщики узлов RPC. Эти поставщики отвечают за стоимость и управление узлами и предоставляют услуги по передаче данных через конечные точки RPC. Пользователи могут легко получать доступ к данным блокчейна без необходимости создания собственных узлов. Публичные конечные точки RPC бесплатны, но имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные конечные точки RPC обеспечивают лучшую производительность, но имеют низкую эффективность для сложных запросов и трудно масштабируемы и совместимы между сетями. Несмотря на это, стандартизированные API-интерфейсы поставщиков узлов снижают барьеры для пользователей при доступе к данным на блокчейне, закладывая основу для последующей обработки данных и приложений.

2.2 Анализ данных: от прототипных данных до пригодных данных

Данные, полученные от узлов Блокчейн, обычно являются зашифрованными и закодированными сырыми данными. Хотя эти данные обеспечивают целостность и безопасность Блокчейн, они также увеличивают сложность анализа данных. Для обычных пользователей или разработчиков прямое обращение с этими сырыми данными требует значительных технических знаний и вычислительных ресурсов.

Процесс анализа данных в этом контексте становится особенно важным. Преобразуя сложные прототипные данные в более понятный и удобный формат, пользователи могут более интуитивно понимать и использовать эти данные. Эффективность анализа данных напрямую влияет на эффективность и результативность применения данных Блокчейн, являясь ключевым звеном в процессе индексирования данных.

Чтение, индексирование для анализа, краткое описание сектора индексирования данных Web3

2.3 Эволюция индексатора данных

С увеличением объема данных Блокчейн растет и потребность в индексаторе. Индексатор играет важную роль в организации данных на цепочке и их отправке в базу данных для запроса. Индексатор индексирует данные Блокчейн и предоставляет язык запросов, подобный SQL (например, GraphQL API), что делает данные доступными в любое время. Предоставляя унифицированный интерфейс запросов, индексатор позволяет разработчикам быстро и точно извлекать необходимую информацию, используя стандартизированный язык запросов, что значительно упрощает процесс.

Разные типы индексаторов оптимизируют извлечение данных различными способами:

  1. Полный узел-индексатор: извлечение данных непосредственно из полного Блокчейн узла, обеспечивая полную и точную информацию, но требуя значительных объёмов хранения и вычислительных мощностей.
  2. Легковесный индексатор: полагается на полные узлы для получения специфических данных по мере необходимости, снижая требования к хранилищу, но возможно увеличивая время запроса.
  3. Специальный индексатор: оптимизация для определенных типов данных или конкретного блокчейна, таких как данные NFT или сделки DeFi.
  4. Аггрегатор индексов: извлечение данных из нескольких Блокчейн и источников, включая внецепочные данные, предоставление единого интерфейса запросов, особенно подходит для многосетевых dApp.

В настоящее время архивные узлы Ethereum занимают около 13,5 ТБ пространства для хранения в клиенте Geth и примерно 3 ТБ в клиенте Erigon. С ростом Блокчейна объем данных архивных узлов будет продолжать увеличиваться. Перед лицом такого огромного объема данных основные протоколы индексирования поддерживают не только многосетевое индексирование, но и создают специальные структуры анализа данных для различных потребностей приложений.

Появление индексаторов значительно повысило эффективность индексации и запроса данных. В отличие от традиционных RPC-узлов, индексаторы могут эффективно индексировать большие объемы данных и поддерживать высокоскоростные запросы. Пользователи могут выполнять сложные запросы, легко фильтровать данные и проводить анализ после извлечения. Некоторые индексаторы также поддерживают агрегацию источников данных нескольких Блокчейн, что устраняет проблему многосетевых dApp, требующих развертывания нескольких API. Благодаря распределенному выполнению индексаторы обеспечивают более высокую безопасность и производительность, снижая риски сбоев, которые могут возникнуть из-за централизованных поставщиков RPC.

В отличие от этого, индексатор позволяет пользователям напрямую получать необходимую информацию, не обрабатывая сложные данные на нижнем уровне, благодаря предопределенному языку запросов. Этот механизм значительно повышает эффективность и надежность извлечения данных и является важной инновацией в доступе к данным Блокчейн.

2.4 Полный цепочный баз данных: выравнивание по приоритету потока

Использование индексных узлов для запроса данных обычно означает, что API становится единственной точкой доступа для обработки данных на блокчейне. Однако, когда проекты переходят в стадию расширения, часто требуется более гибкий источник данных, и стандартизированный API не может удовлетворить эту потребность. С усложнением требований приложений начальные индексаторы данных и их стандартизированные форматы индексации постепенно становятся недостаточными для удовлетворения все более разнообразных запросов, таких как поиск, кроссчейн-доступ или отображение внецепочных данных.

В современной архитектуре данных подход "приоритет потока" стал решением для ограничения традиционной пакетной обработки, обеспечивая захват, обработку и анализ данных в реальном времени. Этот переход парадигмы позволяет организациям немедленно реагировать на входящие данные, практически в реальном времени получая инсайты и принимая решения. Аналогично, поставщики услуг данных блокчейн также развиваются в направлении создания потоков данных блокчейн, традиционные сервисы индексирования постепенно запускают продукты для получения данных блокчейн в реальном времени в формате потоков данных.

Эти услуги направлены на решение потребностей в реальном анализе транзакций в Блокчейн и предоставлении более комплексных возможностей для запросов. Как "приоритет потока" архитектура революционизировала обработку данных в традиционных каналах данных, снижая задержки и повышая отзывчивость, эти сервисы потоковых данных Блокчейн также надеются поддерживать развитие большего числа приложений и содействовать анализу данных на цепочке с помощью более продвинутых и зрелых источников данных.

Переопределив вызовы данных на блокчейне с точки зрения современных потоков данных, мы можем взглянуть на управление, хранение и предоставление данных на блокчейне с новой перспективы. Когда мы начинаем рассматривать индексаторы, такие как Subgraph и Ethereum ETL, как потоки данных в потоках данных, а не как конечный вывод, мы можем представить мир, в котором высокопроизводительные наборы данных могут быть адаптированы для любого бизнес-кейса.

Считывание, индексирование до анализа, краткое описание сектора индексирования данных Web3

3 Глубокое сравнение The Graph, Chainbase и Space and Time

3.1 Граф

Сеть The Graph реализует многосетевые индексацию и услуги поиска данных через децентрализованную сеть узлов, что облегчает разработчикам индексацию данных Блокчейн и создание децентрализованных приложений. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексов данных, которые по сути обслуживают потребности пользователей в запросах продуктов.

Субграф — это базовая структура данных в сети The Graph, которая определяет, как извлекать и преобразовывать данные из Блокчейн в формат, пригодный для запросов. Любой может создать субграф, и множество приложений могут повторно использовать эти субграфы, что повышает повторное использование данных и эффективность их использования.

Сеть The Graph состоит из четырех ключевых ролей: индексатор, куратор, делегатор и разработчик, которые совместно обеспечивают поддержку данных для приложений Web3. В настоящее время The Graph полностью перешел на децентрализованный сервис хостинга подсетей, где существует экономический стимул для циркуляции между различными участниками, чтобы гарантировать функционирование системы.

Продукты The Graph также быстро развиваются на волне ИИ. Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, значительно повышают производительность экосистемы в различных аспектах. Применение этих инструментов позволяет The Graph, в сочетании с ИИ, дополнительно повысить интеллектуальность системы и удобство для пользователей.

Чтение, индексирование для анализа, краткое описание сектора индексации данных Web3

3.2 Chainbase

Chainbase — это сеть данных по всей цепочке, которая интегрирует все данные Блокчейн в одну платформу, облегчая разработчикам создание и поддержку приложений. Его уникальные функции включают:

  • Реальное время данных: предоставляет специализированное хранилище данных в реальном времени для потоков данных Блокчейн, позволяя получать доступ к данным в момент их создания.
  • Двуцепная архитектура: основана на Eigenlayer AVS, создающем слой исполнения, и формирует параллельную двуцепную архитектуру с алгоритмом согласования CometBFT.
  • Инновационный стандарт формата данных: внедрение стандарта формата данных "manuscripts", оптимизация структурирования и использования данных в криптоиндустрии.
  • Модель криптомира: сочетая технологии модели ИИ, создать ИИ модель, которая эффективно понимает, предсказывает Блокчейн транзакции и взаимодействует с ними.

AI-модель Theia от Chainbase является ключевым моментом, который отличает его от других протоколов данных. Theia основана на модели DORA, разработанной NVIDIA, и сочетает ончейн и офчейн данные, а также временные и пространственные активности, чтобы изучать и анализировать криптографические модели, реагируя с помощью причинно-следственного вывода, глубоко исследуя потенциальную ценность и закономерности ончейн данных, предоставляя пользователям более интеллектуальные данные сервисы.

Чтение, индексирование до анализа, краткий обзор сектора индексирования данных Web3

3.3 Пространство и Время

Space and Time (SxT) нацелен на создание проверяемого вычислительного слоя, который расширяет доказательства с нулевым разглашением на децентрализованном хранилище данных, предоставляя надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.

SxT внедряет технологию Proof of SQL, которая является инновационной технологией нулевых знаний, обеспечивающей защиту от подделки и проверяемость SQL-запросов, выполняемых в децентрализованных хранилищах данных. Proof of SQL генерирует криптографические доказательства, подтверждающие целостность и точность результатов запроса, позволяя любому проверяющему независимо подтвердить, что данные не были подделаны в процессе обработки.

SxT всегда тесно сотрудничал с инновационной лабораторией AI от Microsoft, ускоряя разработку инструментов генеративного AI, чтобы пользователи могли обрабатывать данные Блокчейн с помощью естественного языка. В Space and Time Studio пользователи могут испытать ввод запросов на естественном языке, AI автоматически преобразует их в SQL и выполняет запрос, представляя пользователю необходимые конечные результаты.

Чтение, индексирование для анализа, краткое описание сектора индексирования данных Web3

Выводы и перспективы

Технология индексации данных Блокчейн прошла путь от первоначальных узловых источников данных, через развитие анализа данных и индексаторов, в конечном итоге эволюционировав в полное цепочечное обслуживание данных, усиленное ИИ, пройдя постепенный процесс совершенствования. Непрерывная эволюция этих технологий не только повысила эффективность и точность доступа к данным, но и предоставила пользователям беспрецедентный уровень интеллектуального опыта.

Смотря в будущее, с постоянным развитием новых технологий, таких как AI и zk-свидетельства, услуги по данным Блокчейн станут еще более интеллектуальными и безопасными. Услуги по данным Блокчейн, как инфраструктура, будут продолжать играть важную роль и обеспечивать сильную поддержку для прогресса и инноваций в отрасли.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 6
  • Поделиться
комментарий
0/400
SolidityJestervip
· 5ч назад
Что это опять за сложные вещи, не понимаю.
Посмотреть ОригиналОтветить0
DataOnlookervip
· 7ч назад
Все еще используете глупые методы для работы с данными? Эпоха нового времени наступила!
Посмотреть ОригиналОтветить0
ContractExplorervip
· 07-24 18:06
Здесь разгоняют AI
Посмотреть ОригиналОтветить0
EyeOfTheTokenStormvip
· 07-24 18:05
Индикаторы четко показывают, что рынок ai и web3 почти достиг дна! Решительно входите в позицию, друзья!
Посмотреть ОригиналОтветить0
¯\_(ツ)_/¯vip
· 07-24 18:00
Кому какое дело до индексов? Всё решит ИИ.
Посмотреть ОригиналОтветить0
HypotheticalLiquidatorvip
· 07-24 17:56
Риски цепной ликвидации из-за безопасности данных уже проявились, факторы здоровья постоянно снижаются.
Посмотреть ОригиналОтветить0
  • Закрепить