Вспоминая интернет до появления Google, когда поиск был экспериментом.

«Большинство людей совершенно забыли, насколько хаотичным всё было на самом деле».

Дживс жил в совершенно другой сети. Фото: Аурих Лоусон. Дживс жил в совершенно другой сети. Фото: Аурих Лоусон.

В середине 90-х интернет переживал бурный рост, но найти в нём что-либо действительно ценное казалось сложной задачей, требующей переговоров с любым прототипом поисковой системы, оказавшимся поближе. В отличие от сегодняшнего дня, когда Google повсеместно воспринимается как портал и привратник, такие сайты, как AltaVista, Lycos, Excite, HotBot и Ask Jeeves, обещали укротить этот хаос, каждый со своими особенностями, прелестями и недостатками.

Реальная история поисковых систем до появления Google заключается не в том, что ранние поисковые системы были хуже. Дело в том, что они отражали совершенно другой Интернет, где каталоги имели значение, сканирование по-прежнему оставалось искусством, ранжирование было нестабильным, а идея «поиска» еще не превратилась в единый доминирующий интерфейс.

Другой тип сети

Первое, что следует помнить о догугловском интернете, это то, что не существовало изначального предположения о возможности поиска всего. Многие пользователи находили страницы через каталоги в стиле Yahoo, закладки, новостные группы, подписи в электронных письмах и ссылки с сайта на сайт, потому что интернет был еще достаточно мал, чтобы человеческая организация могла конкурировать с машинным индексированием. Это была эпоха поиска информации в стиле Дикого Запада. Поисковые системы существовали, но они были лишь частью более крупной экосистемы, сочетающей в себе отбор контента и случайность.

До того, как эти поисковые системы стали основным общедоступным интерфейсом для интернета, такие ресурсы, как Usenet, показывали людям, как организовывать и находить информацию в сети. Созданный в 1979 году, он предоставлял пользователям тематические новостные группы и культуру распределенного обсуждения, благодаря чему информация в интернете воспринималась как социальная и коллективная еще до появления первых крупных поисковых систем. Usenet помог сформировать привычку ориентироваться в огромных, запутанных цифровых пространствах с помощью категорий и сообществ, а не с помощью одной поисковой строки.

Николь М. Радзивилл в 90-е годы работала системным администратором, программистом и менеджером проектов, помимо прочего. Она вспоминает Usenet как портал для поиска интересного контента в интернете. «Это был способ узнать о сайтах, которые могли бы вас заинтересовать», — сказала она. «Я зарегистрировалась в Usenet в 1990 году, будучи студенткой в Дареме, Северная Каролина… это было восхитительно, особенно группы alt.* и misc.*. Люди добавляли ссылки внизу своих сообщений, и узнаваемость росла органично. А если вам нужны были более безопасные или надежные рекомендации, вы могли ограничиться модерируемыми группами».

Это была эпоха, когда термин «открытие» имел реальный вес, когда вы могли по праву оказаться одним из первых, кто увидел тот или иной контент, независимо от его качества или давности — эпоха, в которой одновременно присутствовали удивление и разочарование.

«Затем, пару лет спустя, появились веб-кольца», — сказал Радзивилл. «Вы брали блок кода и размещали его внизу HTML-страницы своего сайта, и он встраивал ссылку на следующий веб-сайт, связанный с этим. Кто-то другой управлял списком того, что могло бы появиться дальше, так что это был отличный способ увеличить свою известность. Люди, составлявшие списки для веб-колец, в целом были довольно порядочными, поэтому мы даже не думали о саботаже».

Веб-кольца — ещё один артефакт догугловской эпохи, напоминающий о временах, когда возникали микросообщества, подобные тем, что существовали в эпоху BBS, — группы людей, разделяющих узкие интересы, иногда даже проживающих в одном месте в реальном мире. До появления таких монолитных агрегаторов, как Reddit, веб-кольца были одним из немногих способов найти сайты, посвящённые интересующим вас темам.

Это имело значение, потому что интернет ещё не превратился в чисто поисковую систему. В нём всё ещё существовала культура исследования, и многие сервисы были разработаны для того, чтобы помочь пользователям просматривать тематические категории, а не отправлять запрос в универсальный индекс. В этом мире веб-кольцо или каталог не были компромиссом. Зачастую они были главным событием.

Каталоги предшествуют алгоритмам

Yahoo — наиболее известный пример этой ранней логики. Изначально это был отредактированный людьми путеводитель по интернету, организованный по вложенным тематическим категориям и поддерживаемый людьми, а не полностью автоматизированными системами ранжирования. Для молодого интернета такой подход оказался на удивление эффективным: редакторы-люди могли выявлять качественные сайты, отфильтровывать очевидный мусор и наводить порядок в среде, которая всё ещё быстро развивалась.

«В 1995 и 1996 годах я работал системным администратором в интернет-магазине, — рассказал мне Радзивилл, — и когда мы находили сайты для новых клиентов, самым важным этапом нашей работы была отправка сайта в Yahoo. Yahoo был похож на «Желтые страницы», но только для веб-сайтов. Нужно было заполнить форму и убедить сотрудников Yahoo в том, что отправляемый вами бизнес является законным и достаточно важным, чтобы быть включенным в основной каталог Yahoo».

Подобный подход к отбору контента, осуществляемый человеком, сейчас практически немыслим.

«Я помню, как однажды отправила заявку на создание веб-сайта для регионального отделения Американского онкологического общества, и мне отказали, потому что он «был недостаточно значимым», — сказала Радзивилл. — Они порекомендовали нам связаться с главным отделением Американского онкологического общества и попросить их разместить ссылку на сайт на своей странице… которой у них еще не было».

В те времена попасть в каталог, подобный Yahoo, благодаря работе модераторов-людей, было огромным знаком отличия. Но у этой модели были очевидные ограничения. Человеческая модерация не могла масштабироваться бесконечно, и она становилась всё дороже и менее оперативной по мере того, как веб разрастался, а контент опережал модерацию. В тот момент, когда количество страниц превысило количество людей, способных их адекватно классифицировать, будущее принадлежало поисковым роботам и системам ранжирования.

Расцвет ползучих организмов

Поисковые системы той эпохи столкнулись с проблемой масштабируемости с помощью программного обеспечения. Многие из первых крупных коммерческих систем, такие как AltaVista, Lycos, Excite и HotBot, использовали краулеры и индексы для автоматического составления карты растущего веб-пространства, вместо того чтобы полагаться на редакторов, вручную классифицирующих каждый сайт. Хотя эти системы работали не одинаково, их объединяла основная цель: собрать как можно больше информации из интернета и позволить алгоритму разобраться в этом хаосе.

Сейчас это может показаться очевидным, но в то время это был настоящий прорыв. В частности, AltaVista представляла собой значительный шаг вперед, сочетая в себе быстрый веб-краулер с масштабируемым программным обеспечением для индексирования, и уже вскоре после запуска обрабатывала миллионы HTTP-запросов в день. Благодаря этому поиск стал больше похож на работу с гигантской машиной, чем на просмотр каталога.

Момент триумфа AltaVista

AltaVista стала одной из определяющих поисковых систем 1990-х годов благодаря своей скорости, широким возможностям и необычайной для того времени функциональности. Более поздние версии поддерживали поиск на естественном языке и давали пользователям ощущение, что к интернету наконец-то можно подходить как к индексируемому целому, даже если результаты всё ещё были несколько несовершенными. В десятилетие, когда многие люди ещё только изучали, что такое интернет, и пытались осмыслить его огромные масштабы, это казалось почти чудом. Но всё же это был очень ограниченный инструмент по сравнению с гиперсложными и развитыми поисковыми системами, такими как современный Google.

Марк Френд, директор компании Classroom365 Limited, занимающейся ИТ-поддержкой, работал системным оператором в конце 90-х. Он вспоминает, что в эпоху до появления Google поиск в интернете был одновременно техническим навыком и искусством.

Altavista в 1999 году. Источник: Музей веб-дизайна.

«Большинство людей совершенно забыли, насколько хаотичным всё было на самом деле», — сказал Френд. «В те времена, если вы вводили вопрос в AltaVista, шансы найти что-то конкретное были крайне малы. Вы получали 40 000 результатов, которые приводили вас в такое же замешательство, как если бы вы кричали в переполненную комнату».

По сравнению с некогда удобным пользовательским интерфейсом Google и более релевантными результатами, просмотр страницы результатов AltaVista требовал терпения и настоящего мастерства, отточенного со временем. Но AltaVista добилась одной важной вещи: она установила ожидание того, что поиск должен быть мгновенным. Это ожидание оказалось решающим. Как только пользователи столкнулись с поисковой системой, способной быстро обрабатывать огромный индекс, они перестали считать медленные, неполные системы достаточными. AltaVista не выиграла войну за поиск, но она прояснила правила игры.

Lycos, Excite и эпоха порталов

Lycos и Excite занимали важную промежуточную позицию. Это были поисковые системы, но также и порталы, то есть они стремились быть не только инструментами, но и местами назначения. Поиск существовал параллельно с разделами новостей, электронной почты, спорта, погоды, финансов и другого контента, призванными удерживать пользователей на сайте, а не перенаправлять их на страницы результатов поиска.

Excite в 1997 году. Источник: Музей веб-дизайна.

Эти компании продемонстрировали, насколько нестабильной была эта категория. Некоторые поисковые системы делали упор на широту охвата, другие — на скорость, а третьи сочетали редакционные каналы с автоматизированными результатами таким образом, что сегодня это кажется непривычным. Термин «поисковая система» охватывал широкий спектр продуктов, от каталогов и поисковых роботов до порталов, где поиск был добавлен в качестве дополнительной функции.

HotBot, Inktomi и техническая компетентность

HotBot заслужил репутацию одной из самых технически сложных поисковых систем той эпохи. Она появилась в период, когда пользователи начали замечать, что качество поиска зависит как от размера индекса, так и от сложности системы ранжирования, лежащей в его основе — масштабируемая бэкэнд-система была предоставлена компанией Inktomi. Быстрой индексации было недостаточно; люди хотели получать результаты, которые были бы релевантными, актуальными и не выглядели бы явно сфальсифицированными.

Hotbot в 1999 году. Источник: Музей веб-дизайна.

Это противоречие выявило слабость первых поколений машинного поиска. Если система слишком сильно полагалась на текстовые сигналы на странице, люди могли просто перенасытить свой контент избыточным количеством слов, чтобы искусственно повысить рейтинг. Если же поисковая система полагалась в основном на легко манипулируемые сигналы на странице, маркетинг мог преобладать над качеством. Ранний интернет быстро превратился в лабораторию для манипуляций, еще до того, как кто-либо использовал термин «поисковая оптимизация» (SEO) в современном смысле.

Ask Jeeves и интерфейс для вопросов

Ask Jeeves выделялся тем, что пытался сделать поиск похожим на диалог, — идея, которая кажется особенно актуальной в эпоху чат-ботов с искусственным интеллектом, хотя Ask Jeeves, очевидно, не предлагал ничего даже близкого к диалоговому интерфейсу, основанному на современных больших языковых моделях. Марк Френд сказал, что Ask Jeeves казался по-настоящему футуристическим, потому что вместо того, чтобы просить пользователей думать ключевыми словами, он предлагал им задавать вопросы на естественном языке, создавая впечатление веб-сайта, управляемого знающим помощником.

Спросите Дживса в 1999 году. Источник: Музей веб-дизайна.

Проблема заключалась в том, что естественный язык сложен. Пользователи не всегда задавали понятные вопросы, а базовые системы ещё не были достаточно хороши, чтобы надёжно определять намерения в больших масштабах. Ask Jeeves запомнился тем, что, не опираясь на глубокое обучение и LLM-технологии, он утверждал, что понимает пользовательский опыт лучше, чем это позволяли технологии того времени.

Поиск перед SEO

Веб до появления Google также представлял собой доиндустриальную среду SEO. Владельцы сайтов пытались улучшить видимость, но современная система поисковой оптимизации еще не стала той масштабной, профессиональной дисциплиной, какой она стала позже, с целыми отделами «экспертов», гоняющихся за мимолетными сигналами от Google и пытающихся предсказать его следующий загадочный поворот. На ранние поисковые системы было относительно легко повлиять с помощью очевидных сигналов, таких как повторение ключевых слов, метаданные и тактика отправки запросов.

«В те времена люди не говорили о ранжировании», — вспоминает Френд. «Они отправляли свой URL и терпеливо ждали, появится ли он в результатах поиска. Все серьезно относились к метатегу ключевых слов, и практика использования «белого текста на белом фоне» для сокрытия скрытых ключевых слов была законной тактикой, которую веб-мастера использовали для включения ключевых слов в свои сайты для поисковых роботов. Не было страха перед санкциями, вы создавали сайт, скрещивали пальцы и надеялись на лучшее».

К концу 90-х поисковые системы стали распознавать подход «белый на белом» как спамдексинг и предпринимать соответствующие действия. В любом случае, это означало, что ранжирование было одновременно проще и более уязвимым, чем сегодня. Ранний поисковый веб был экспериментальной стадией, где правила еще не были строгими, а обратная связь между издателями и поисковыми системами оставалась управляемой и более простой для тестирования и интерпретации. Как только поиск стал основным каналом доступа в интернет, эта открытая среда превратилась в более конфликтную.

«Суровая правда, с которой большинство людей не хотят сталкиваться, заключается в том, что парсинг и ранжирование превратили Интернет в производственный цех контента», — сказал Френд. «Веб-сайты перестали создаваться для людей и стали создаваться в первую очередь для поисковых роботов».

PageRank меняет всё.

Ключевой вклад Google заключался не в открытии поиска, а в изменении логики ранжирования. Среди прочего, PageRank стал рассматривать ссылки как сигналы авторитетности, что частично сделало релевантность вопросом того, как сам веб указывает на страницу. Это ознаменовало собой серьезный сдвиг, поскольку результаты стали казаться более заслуживающими доверия, а простые манипуляции с ними стали сложнее, хотя, конечно, не невозможны.

Что не менее важно, Google сочетал этот подход к ранжированию с упрощенным интерфейсом и страницей результатов, которая не отвлекала внимание. Чистый дизайн имел значение, потому что он усиливал ощущение того, что поиск должен быть инструментом, а не порталом-парком развлечений. На практике Google сделал так, чтобы поисковая строка воспринималась как входная дверь во весь интернет, обладающая той же внутренней, жизненно важной ролью, что и входная дверь в доме.

Почему старый интернет имел значение

Оглядываясь назад, можно сказать, что эпоха до Google была медленнее, хаотичнее и во многих отношениях менее эффективной. Но в то же время в ней существовало больше конкурирующих идей о том, как следует находить, классифицировать и оценивать информацию, а также царила атмосфера беззакония, предполагавшая неограниченный потенциал. Некоторые системы доверяли людям. Некоторые доверяли поисковым роботам. Некоторые доверяли каталогам, а некоторые — вопросам, сформулированным простым английским языком.

«В интернете всегда присутствовал определенный уровень беспорядка и хаоса, — вспоминал Френд. — Но в то же время, раньше это было гораздо более человечное место. Именно поэтому многие из нас испытывают ностальгию по тому времени. В интернете чувствовалась какая-то самобытность. Он создавался реальными людьми с помощью текстовых редакторов, таких как Notepad и Dreamweaver. Вы могли начать с одного сайта и оказаться на фан-сайте малоизвестной группы, затем попасть на форум, обсуждающий винтажные синтезаторы, и в конечном итоге — на страницу NASA».

Это разнообразие стоит помнить, потому что оно показывает, что поисковая система никогда не была обречена выглядеть так, как сейчас. Поисковые системы, предшествовавшие Google, были не просто неудачными предшественниками. Это были серьезные попытки решить проблему, которую интернет сделал неотложной, но еще неразрешимой одним очевидным способом. Google победил, объединив технический рейтинг, удобство использования и масштаб именно в тот момент, когда остальная часть интернета была готова отказаться от старого порядка.

179 комментариев

Источник: arstechnica.com