Штучний інтелект перетворює браузер: напередодні третьої війни браузерів
Третя війна браузерів тихо розгортається. Від Netscape і Microsoft IE з 90-х років до Firefox з відкритим вихідним кодом та Chrome від Google, суперечка браузерів завжди була концентрованим відображенням контролю над платформами та зміни технічних парадигм. Chrome завоював домінуючу позицію завдяки швидкості оновлень та екосистемній взаємодії, тоді як Google сформував закритий цикл інформаційного входу через "подвійну олігархію" пошуку та браузера.
Але сьогодні ця структура починає коливатися. Поява великих мовних моделей (LLM) дозволяє дедалі більшій кількості користувачів виконувати завдання на сторінках результатів пошуку без кліків, що призводить до зменшення традиційної поведінки кліків на веб-сторінках. Тим часом, є чутки, що Apple має намір замінити пошукову систему за замовчуванням у Safari, що ще більше загрожує прибутковій основі Alphabet, ринок вже починає виявляти занепокоєння щодо "ортодоксії пошуку".
Браузер сам також стикається з перетворенням ролі. Він більше не просто інструмент для відображення веб-сторінок, а є контейнером для багатьох можливостей, таких як введення даних, поведінка користувачів, приватність та ідентифікація. Хоча AI Agent досить потужний, для виконання складних взаємодій на сторінці, виклику локальних даних про особу та контролю елементів веб-сторінки все ще потрібна допомога довірчих меж і функціональних пісочниць браузера. Браузер перетворюється з інтерфейсу для людей на платформу системних викликів для агентів.
Справжнім фактором, здатним зламати сучасну ринкову структуру браузерів, є не ще один "кращий Chrome", а нова структура взаємодії: не просто відображення інформації, а виклик завдань. Майбутні браузери повинні бути спроектовані для AI Agent - вони повинні не лише читати, але й писати та виконувати. Проекти на зразок Browser Use намагаються семантизувати структуру сторінки, перетворюючи візуальний інтерфейс на структурований текст, який можна викликати в LLM, що значно знижує витрати на взаємодію.
Основні проекти на ринку вже почали експериментувати: Perplexity створює рідний браузер Comet, використовуючи ШІ замість традиційних результатів пошуку; Brave поєднує захист приватності з локальним висновком, посилюючи функції пошуку та блокування за допомогою LLM; а проекти Crypto, такі як Donut, намагаються знайти нові входи для взаємодії між ШІ та активами на блокчейні. Спільною рисою цих проектів є спроби реконструювати вхідну частину браузера, а не покращувати його вихідний рівень.
Для підприємців можливості приховані в трикутних відносинах між введенням, структурою та агентом. Браузер як інтерфейс для виклику світу в майбутньому означає, що той, хто зможе надати структуровані, викликані, довірені "блоки можливостей", зможе стати частиною нового покоління платформ. Від SEO до AEO (оптимізації агентських движків), від трафіку на сторінці до викликів ланцюгів завдань, форма продукту та дизайнерське мислення перебудовуються. Третя війна браузерів відбувається в "введенні", а не в "відображенні"; вирішальним фактором більше не є те, хто привертає увагу користувачів, а хто здобуває довіру агента і отримує доступ для викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, як корабель, що відкриває нові землі, відкриваючи мільйонам користувачів двері у цифровий світ. Цей браузер не був першим, але став першим продуктом, який насправді вийшов на масовий ринок та сформував інтернет-досвід. У той час люди вперше могли так легко переглядати веб-сторінки через графічний інтерфейс, наче весь світ раптово став доступним.
Проте, блискучі часи часто є короткочасними. Microsoft швидко усвідомила важливість браузера і вирішила примусово інтегрувати Internet Explorer у операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала справжнім "вбивцею платформ", що прямо підкосило домінуючу позицію Netscape на ринку. Багато користувачів не обирали IE свідомо, а просто приймали його через налаштування за замовчуванням у системі. Завдяки розподільчим можливостям Windows, IE швидко став лідером галузі, тоді як Netscape потрапив у спіраль занепаду.
У складних умовах інженери Netscape обрали радикальний і ідеалістичний шлях – вони відкрили вихідний код браузера, закликавши відкриту спільноту. Це рішення було схоже на «македонську поступку» у технологічному світі, що передбачало кінець старої ери та підйом нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix (що означає «фенікс»), але через проблеми з торговою маркою неодноразово змінював назву, поки врешті-решт не отримав ім'я Firefox.
Firefox не просто копіює Netscape, він досягнув значних проривів у користувацькому досвіді, екосистемі плагінів, безпеці тощо. Його народження символізує перемогу відкритого програмного забезпечення та надає нову енергію всій галузі. Дехто описує Firefox як "духовного спадкоємця" Netscape, так само як Османська імперія успадкувала залишки Візантії. Це порівняння хоча й перебільшене, проте має глибокий зміст.
Але за кілька років до офіційного випуску Firefox Microsoft вже випустила шість версій IE, завдяки перевазі в часі та стратегії пакетної установки системи, що змусило Firefox з самого початку опинитися в позиції наздоганяючого, що обіцяє, що ця гонка не є справедливою конкуренцією з рівної стартової лінії.
Водночас ще один ранній гравець тихо з'являється на сцені. У 1994 році з'явився браузер Opera, який походить з Норвегії і спочатку був лише експериментальним проектом. Але з 7.0 версії 2003 року він впровадив власний движок Presto, першим підтримавши CSS, адаптивну верстку, голосове керування та кодування Unicode та інші передові технології. Хоча кількість користувачів була обмеженою, технологічно браузер завжди був попереду в індустрії, ставши "улюбленцем ґіків".
Того ж року Apple випустила браузер Safari. Це стало знаковим поворотом. Тоді Microsoft інвестувала 150 мільйонів доларів в Apple, яка була на межі банкрутства, щоб підтримати видимість конкуренції та уникнути антимонопольного розслідування. Хоча за замовчуванням пошуковою системою Safari з моменту його створення є Google, ця історія стосунків з Microsoft символізує складні й делікатні відносини між інтернет-гігантами: співпраця та конкуренція завжди йдуть рука об руку.
У 2007 році IE7 вийшов разом з Windows Vista, але ринкові відгуки були середніми. Натомість Firefox, завдяки швидшому темпу оновлень, більш дружній механіці розширень та природному залученню розробників, поступово збільшив свою частку на ринку до приблизно 20%. Панування IE поступово послаблюється, напрямок змінюється.
Google - це ще один підхід. Хоча з 2001 року компанія почала розробляти свій власний браузер, їй знадобилося шість років, щоб переконати генерального директора Еріка Шмідта схвалити цей проект. Chrome з'явився у 2008 році, створений на основі відкритого проекту Chromium та движка WebKit, який використовує Safari. Його жартома називають "обтяженим" браузером, але завдяки глибоким навичкам Google у рекламі та формуванні бренду, він швидко піднявся.
Ключовою зброєю Chrome є не функції, а частота оновлень версій (кожні шість тижнів) та єдиний досвід на всіх платформах. У листопаді 2011 року Chrome вперше перевищив Firefox, зайнявши 27% ринку; через шість місяців він знову перевершив IE, завершивши перехід від виклику до домінування.
Водночас мобільний Інтернет Китаю також формує свою екосистему. Браузер, що належить відомій компанії, швидко став популярним на початку 2010-х років, особливо на ринках, що розвиваються, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисненню даних для економії трафіку та іншим характеристикам, що здобули прихильність користувачів бюджетних пристроїв. У 2015 році його частка на світовому ринку мобільних браузерів перевищила 17%, а в Індії досягала 46%. Але ця перемога виявилася недовговічною. З посиленням урядом Індії перевірок безпеки китайських додатків, цей браузер був змушений вийти з ключового ринку і поступово втратив колишню славу.
На початку 2020-х років домінування Chrome вже було встановлено, а глобальна частка ринку стабільно тримається на рівні близько 65%. Варто зазначити, що хоча пошукова система Google та браузер Chrome обидва належать Alphabet, з точки зору ринку це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових входів, тоді як друга володіє більшістю "перших вікон" для користувачів в Інтернет.
Щоб утримати цю подвійну монопольну структуру, Google не шкодує коштів. У 2022 році Alphabet сплатила Apple близько 20 мільярдів доларів лише для того, щоб Google залишався за замовчуванням пошуковою системою в Safari. Деякі аналітики зазначають, що ці витрати складають 36% від доходів Google від пошукової реклами з трафіку Safari. Іншими словами, Google платить "захисний внесок" за свою "фортецю".
Але вітер знову змінився. Зі зростанням великих мовних моделей (LLM) традиційний пошук почав відчувати удар. У 2024 році частка ринку пошуку Google знизилася з 93% до 89%, хоча вона все ще домінує, але тріщини вже з'явилися. Ще більш руйнівним є чутка про те, що Apple може запустити власний AI пошуковий движок - якщо Safari стане за замовчуванням використовувати власний пошук, це не лише перепише екосистему, але може також похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, що відображає не лише паніку інвесторів, але й глибокий неспокій щодо майбутнього ери пошуку.
Від Navigator до Chrome, від ідеалів з відкритим вихідним кодом до комерціалізації реклами, від легковагого браузера до AI-помічника для пошуку, змагання браузерів завжди було війною про технології, платформи, контент і контроль. Поле битви постійно змінюється, але суть ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
На думку венчурних капіталістів, спираючись на нові потреби людей у пошукових системах епохи LLM та ШІ, третя війна браузерів поступово розгортається.
Застаріла архітектура сучасних браузерів
Говорячи про архітектуру браузера, класична традиційна архітектура зображена на наступному малюнку:
Клієнт - фронтальний вхід
Запит через HTTPS до найближчого Google Front End, завершення TLS-розшифрування, вибірка QoS та географічна маршрутизація. Якщо виявлено аномальний трафік (DDoS, автоматичне сканування), можна обмежити пропускну здатність або кинути виклик на цьому рівні.
Запит на розуміння
Фронт-end повинен зрозуміти значення слів, які вводить користувач, і це включає три етапи: нейронна перевірка правопису, виправлення "recpie" на "recipe"; розширення синонімів, розширення "how to fix bike" на "repair bicycle". Аналіз намірів, визначення, чи є запит інформаційним, навігаційним чи торговим наміром, і призначення запитів Vertical.
Кандидат на повернення
Технологія запитів, що використовується відомою пошуковою системою, називається: зворотний індекс. У прямому індексі ми можемо отримати доступ до файлу, маючи лише ID. Однак користувачі не можуть знати, під яким номером знаходиться потрібний вміст серед тисяч мільярдів файлів, тому використовують дуже традиційний зворотний індекс, який дозволяє знайти файли, що містять відповідні ключові слова. Далі використовується векторний індекс для обробки семантичного пошуку, тобто для пошуку вмісту, що має подібне значення до запиту. Він перетворює текст, зображення та інший вміст у високорозмірні вектори (embedding) та здійснює пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником по приготуванню тіста для піци", оскільки вони семантично схожі. Після проходження зворотного індексу та векторного індексу буде попередньо відібрано близько ста тисяч веб-сторінок.
Багаторівневе сортування
Системи зазвичай фільтрують кандидати з кількості понад 100 000 до приблизно 1000 статей за допомогою тисяч легких ознак, таких як BM25, TF-IDF, оцінка якості сторінки тощо, формуючи початковий набір кандидатів. Такі системи загалом називаються рекомендательними системами. Вони покладаються на безліч масивних ознак, що генеруються різними сутностями, включаючи поведінку користувача, атрибути сторінки, наміри запиту та контекстуальні сигнали. Наприклад, вони враховують історію користувача, відгуки інших користувачів, семантику сторінки, значення запиту тощо, а також контекстуальні елементи, такі як час (період доби, конкретні дні тижня) та зовнішні події, такі як новини в реальному часі.
Глибоке навчання для основного ранжування
На етапі початкового пошуку застосовуються технології, такі як RankBrain та Neural Matching, для розуміння семантики запиту та відбору попередньо релевантних результатів з величезної кількості документів. RankBrain – це система машинного навчання, введена в 2015 році, яка має на меті краще зрозуміти значення запитів користувачів, особливо тих, які з'являються вперше. Вона перетворює запити та документи на векторні представлення, обчислює їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як приготувати тісто для піци", навіть якщо в документі немає...
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Революція браузерів на основі штучного інтелекту: настає третя війна браузерів
Штучний інтелект перетворює браузер: напередодні третьої війни браузерів
Третя війна браузерів тихо розгортається. Від Netscape і Microsoft IE з 90-х років до Firefox з відкритим вихідним кодом та Chrome від Google, суперечка браузерів завжди була концентрованим відображенням контролю над платформами та зміни технічних парадигм. Chrome завоював домінуючу позицію завдяки швидкості оновлень та екосистемній взаємодії, тоді як Google сформував закритий цикл інформаційного входу через "подвійну олігархію" пошуку та браузера.
Але сьогодні ця структура починає коливатися. Поява великих мовних моделей (LLM) дозволяє дедалі більшій кількості користувачів виконувати завдання на сторінках результатів пошуку без кліків, що призводить до зменшення традиційної поведінки кліків на веб-сторінках. Тим часом, є чутки, що Apple має намір замінити пошукову систему за замовчуванням у Safari, що ще більше загрожує прибутковій основі Alphabet, ринок вже починає виявляти занепокоєння щодо "ортодоксії пошуку".
Браузер сам також стикається з перетворенням ролі. Він більше не просто інструмент для відображення веб-сторінок, а є контейнером для багатьох можливостей, таких як введення даних, поведінка користувачів, приватність та ідентифікація. Хоча AI Agent досить потужний, для виконання складних взаємодій на сторінці, виклику локальних даних про особу та контролю елементів веб-сторінки все ще потрібна допомога довірчих меж і функціональних пісочниць браузера. Браузер перетворюється з інтерфейсу для людей на платформу системних викликів для агентів.
Справжнім фактором, здатним зламати сучасну ринкову структуру браузерів, є не ще один "кращий Chrome", а нова структура взаємодії: не просто відображення інформації, а виклик завдань. Майбутні браузери повинні бути спроектовані для AI Agent - вони повинні не лише читати, але й писати та виконувати. Проекти на зразок Browser Use намагаються семантизувати структуру сторінки, перетворюючи візуальний інтерфейс на структурований текст, який можна викликати в LLM, що значно знижує витрати на взаємодію.
Основні проекти на ринку вже почали експериментувати: Perplexity створює рідний браузер Comet, використовуючи ШІ замість традиційних результатів пошуку; Brave поєднує захист приватності з локальним висновком, посилюючи функції пошуку та блокування за допомогою LLM; а проекти Crypto, такі як Donut, намагаються знайти нові входи для взаємодії між ШІ та активами на блокчейні. Спільною рисою цих проектів є спроби реконструювати вхідну частину браузера, а не покращувати його вихідний рівень.
Для підприємців можливості приховані в трикутних відносинах між введенням, структурою та агентом. Браузер як інтерфейс для виклику світу в майбутньому означає, що той, хто зможе надати структуровані, викликані, довірені "блоки можливостей", зможе стати частиною нового покоління платформ. Від SEO до AEO (оптимізації агентських движків), від трафіку на сторінці до викликів ланцюгів завдань, форма продукту та дизайнерське мислення перебудовуються. Третя війна браузерів відбувається в "введенні", а не в "відображенні"; вирішальним фактором більше не є те, хто привертає увагу користувачів, а хто здобуває довіру агента і отримує доступ для викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, як корабель, що відкриває нові землі, відкриваючи мільйонам користувачів двері у цифровий світ. Цей браузер не був першим, але став першим продуктом, який насправді вийшов на масовий ринок та сформував інтернет-досвід. У той час люди вперше могли так легко переглядати веб-сторінки через графічний інтерфейс, наче весь світ раптово став доступним.
Проте, блискучі часи часто є короткочасними. Microsoft швидко усвідомила важливість браузера і вирішила примусово інтегрувати Internet Explorer у операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала справжнім "вбивцею платформ", що прямо підкосило домінуючу позицію Netscape на ринку. Багато користувачів не обирали IE свідомо, а просто приймали його через налаштування за замовчуванням у системі. Завдяки розподільчим можливостям Windows, IE швидко став лідером галузі, тоді як Netscape потрапив у спіраль занепаду.
У складних умовах інженери Netscape обрали радикальний і ідеалістичний шлях – вони відкрили вихідний код браузера, закликавши відкриту спільноту. Це рішення було схоже на «македонську поступку» у технологічному світі, що передбачало кінець старої ери та підйом нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix (що означає «фенікс»), але через проблеми з торговою маркою неодноразово змінював назву, поки врешті-решт не отримав ім'я Firefox.
Firefox не просто копіює Netscape, він досягнув значних проривів у користувацькому досвіді, екосистемі плагінів, безпеці тощо. Його народження символізує перемогу відкритого програмного забезпечення та надає нову енергію всій галузі. Дехто описує Firefox як "духовного спадкоємця" Netscape, так само як Османська імперія успадкувала залишки Візантії. Це порівняння хоча й перебільшене, проте має глибокий зміст.
Але за кілька років до офіційного випуску Firefox Microsoft вже випустила шість версій IE, завдяки перевазі в часі та стратегії пакетної установки системи, що змусило Firefox з самого початку опинитися в позиції наздоганяючого, що обіцяє, що ця гонка не є справедливою конкуренцією з рівної стартової лінії.
Водночас ще один ранній гравець тихо з'являється на сцені. У 1994 році з'явився браузер Opera, який походить з Норвегії і спочатку був лише експериментальним проектом. Але з 7.0 версії 2003 року він впровадив власний движок Presto, першим підтримавши CSS, адаптивну верстку, голосове керування та кодування Unicode та інші передові технології. Хоча кількість користувачів була обмеженою, технологічно браузер завжди був попереду в індустрії, ставши "улюбленцем ґіків".
Того ж року Apple випустила браузер Safari. Це стало знаковим поворотом. Тоді Microsoft інвестувала 150 мільйонів доларів в Apple, яка була на межі банкрутства, щоб підтримати видимість конкуренції та уникнути антимонопольного розслідування. Хоча за замовчуванням пошуковою системою Safari з моменту його створення є Google, ця історія стосунків з Microsoft символізує складні й делікатні відносини між інтернет-гігантами: співпраця та конкуренція завжди йдуть рука об руку.
У 2007 році IE7 вийшов разом з Windows Vista, але ринкові відгуки були середніми. Натомість Firefox, завдяки швидшому темпу оновлень, більш дружній механіці розширень та природному залученню розробників, поступово збільшив свою частку на ринку до приблизно 20%. Панування IE поступово послаблюється, напрямок змінюється.
Google - це ще один підхід. Хоча з 2001 року компанія почала розробляти свій власний браузер, їй знадобилося шість років, щоб переконати генерального директора Еріка Шмідта схвалити цей проект. Chrome з'явився у 2008 році, створений на основі відкритого проекту Chromium та движка WebKit, який використовує Safari. Його жартома називають "обтяженим" браузером, але завдяки глибоким навичкам Google у рекламі та формуванні бренду, він швидко піднявся.
Ключовою зброєю Chrome є не функції, а частота оновлень версій (кожні шість тижнів) та єдиний досвід на всіх платформах. У листопаді 2011 року Chrome вперше перевищив Firefox, зайнявши 27% ринку; через шість місяців він знову перевершив IE, завершивши перехід від виклику до домінування.
Водночас мобільний Інтернет Китаю також формує свою екосистему. Браузер, що належить відомій компанії, швидко став популярним на початку 2010-х років, особливо на ринках, що розвиваються, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисненню даних для економії трафіку та іншим характеристикам, що здобули прихильність користувачів бюджетних пристроїв. У 2015 році його частка на світовому ринку мобільних браузерів перевищила 17%, а в Індії досягала 46%. Але ця перемога виявилася недовговічною. З посиленням урядом Індії перевірок безпеки китайських додатків, цей браузер був змушений вийти з ключового ринку і поступово втратив колишню славу.
На початку 2020-х років домінування Chrome вже було встановлено, а глобальна частка ринку стабільно тримається на рівні близько 65%. Варто зазначити, що хоча пошукова система Google та браузер Chrome обидва належать Alphabet, з точки зору ринку це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових входів, тоді як друга володіє більшістю "перших вікон" для користувачів в Інтернет.
Щоб утримати цю подвійну монопольну структуру, Google не шкодує коштів. У 2022 році Alphabet сплатила Apple близько 20 мільярдів доларів лише для того, щоб Google залишався за замовчуванням пошуковою системою в Safari. Деякі аналітики зазначають, що ці витрати складають 36% від доходів Google від пошукової реклами з трафіку Safari. Іншими словами, Google платить "захисний внесок" за свою "фортецю".
Але вітер знову змінився. Зі зростанням великих мовних моделей (LLM) традиційний пошук почав відчувати удар. У 2024 році частка ринку пошуку Google знизилася з 93% до 89%, хоча вона все ще домінує, але тріщини вже з'явилися. Ще більш руйнівним є чутка про те, що Apple може запустити власний AI пошуковий движок - якщо Safari стане за замовчуванням використовувати власний пошук, це не лише перепише екосистему, але може також похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, що відображає не лише паніку інвесторів, але й глибокий неспокій щодо майбутнього ери пошуку.
Від Navigator до Chrome, від ідеалів з відкритим вихідним кодом до комерціалізації реклами, від легковагого браузера до AI-помічника для пошуку, змагання браузерів завжди було війною про технології, платформи, контент і контроль. Поле битви постійно змінюється, але суть ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
На думку венчурних капіталістів, спираючись на нові потреби людей у пошукових системах епохи LLM та ШІ, третя війна браузерів поступово розгортається.
Застаріла архітектура сучасних браузерів
Говорячи про архітектуру браузера, класична традиційна архітектура зображена на наступному малюнку:
Клієнт - фронтальний вхід
Запит через HTTPS до найближчого Google Front End, завершення TLS-розшифрування, вибірка QoS та географічна маршрутизація. Якщо виявлено аномальний трафік (DDoS, автоматичне сканування), можна обмежити пропускну здатність або кинути виклик на цьому рівні.
Запит на розуміння
Фронт-end повинен зрозуміти значення слів, які вводить користувач, і це включає три етапи: нейронна перевірка правопису, виправлення "recpie" на "recipe"; розширення синонімів, розширення "how to fix bike" на "repair bicycle". Аналіз намірів, визначення, чи є запит інформаційним, навігаційним чи торговим наміром, і призначення запитів Vertical.
Кандидат на повернення
Технологія запитів, що використовується відомою пошуковою системою, називається: зворотний індекс. У прямому індексі ми можемо отримати доступ до файлу, маючи лише ID. Однак користувачі не можуть знати, під яким номером знаходиться потрібний вміст серед тисяч мільярдів файлів, тому використовують дуже традиційний зворотний індекс, який дозволяє знайти файли, що містять відповідні ключові слова. Далі використовується векторний індекс для обробки семантичного пошуку, тобто для пошуку вмісту, що має подібне значення до запиту. Він перетворює текст, зображення та інший вміст у високорозмірні вектори (embedding) та здійснює пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником по приготуванню тіста для піци", оскільки вони семантично схожі. Після проходження зворотного індексу та векторного індексу буде попередньо відібрано близько ста тисяч веб-сторінок.
Багаторівневе сортування
Системи зазвичай фільтрують кандидати з кількості понад 100 000 до приблизно 1000 статей за допомогою тисяч легких ознак, таких як BM25, TF-IDF, оцінка якості сторінки тощо, формуючи початковий набір кандидатів. Такі системи загалом називаються рекомендательними системами. Вони покладаються на безліч масивних ознак, що генеруються різними сутностями, включаючи поведінку користувача, атрибути сторінки, наміри запиту та контекстуальні сигнали. Наприклад, вони враховують історію користувача, відгуки інших користувачів, семантику сторінки, значення запиту тощо, а також контекстуальні елементи, такі як час (період доби, конкретні дні тижня) та зовнішні події, такі як новини в реальному часі.
Глибоке навчання для основного ранжування
На етапі початкового пошуку застосовуються технології, такі як RankBrain та Neural Matching, для розуміння семантики запиту та відбору попередньо релевантних результатів з величезної кількості документів. RankBrain – це система машинного навчання, введена в 2015 році, яка має на меті краще зрозуміти значення запитів користувачів, особливо тих, які з'являються вперше. Вона перетворює запити та документи на векторні представлення, обчислює їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як приготувати тісто для піци", навіть якщо в документі немає...