Бен Гомес: ведущий инженер Google
В своем я описал принципы и основные составляющие удобного, быстрого и эффективного веб-поиска. За такими простыми функциями, как проверка правописания и двухстрочные описания сайта в результатах поиска, стоят сложные алгоритмы. Насколько разрабатываемые нами функции полезны и удобны, мы обычно оцениваем при помощи экспериментов. Это небольшие тесты, выполняемые по нашей просьбе небольшими группами пользователей.
Эксперименты – очень эффективный инструмент, и мы широко используем его для тестирования потенциальных изменений алгоритмов поиска.
В каждый момент времени на сайтах Google по всему миру, проводится от 50 до 200 экспериментов. Я начну с описания совсем небольших экспериментальных изменений, которые с первого взгляда можно и не заметить. А потом расскажу о некоторых более наглядных примерах. Существует много людей, которые пристально следят за всеми изменениями поиска Google (иногда даже приписывая нам совершенно фантастические вещи!). Такие люди, как правило, в курсе серьезных экспериментов. При этом эксперименты, касающиеся небольших изменений, остаются практически незамеченными.
Например, сможете ли вы найти отличия между этими двумя страницами?
Вариант 1:
Вариант 2:
Я абсолютно уверен, что сам бы я не смог отличить их, если бы увидел их по отдельности. Но, вы-то, конечно, сможете! Надо посмотреть на каждую картинку, как на единое целое, и тогда вы увидите, что между ними существует измеримое отличие. Тем, кто еще не догадался, подскажу, что пустое пространство вокруг первого результата поиска стало немного больше, и поэтому первый результат в Варианте 2 стал чуть более заметен. Это изменение отражает тот факт, что наши алгоритмы ранжирования считают, что первый результат существенно более релевантен. Преимущество такого расположения в том, что оно поможет вам сконцентрироваться на самом первом результате поиска. Но, с другой стороны, это может помешать просмотру других результатов. Эксперименты помогают понять, какое изменение более существенно, и как при этом меняется скорость поиска информации.
Еще одно изменение, которое с виду кажется минимальным:
Здесь различие настолько очевидно, что, похоже, совсем не сложно сказать, какой вариант будет работать лучше. В данном случае отличие — в толщине плюсика рядом со ссылкой на курс акций. А вот когда речь заходит о том, что же лучше с точки зрения поиска, здесь уже все не так очевидно. Следует ли из того, что на большой плюсик люди будут нажимать чаще, то, что он обязательно лучше? Не получится ли так, что другие полезные результаты будут казаться незаметными на фоне результатов с крупным плюсом? Следите за развитием Google, и вы увидите, какая из версий победит! И если все идет, как надо, то, хоть вы этого практически не замечаете, поиск для вас будет работать все лучше и лучше. Мир окрасится розовым цветом. И весело запоют птицы.
Может быть, и нет – но тогда, по крайней мере, у вас будет самый лучший значок плюсика, который мы сможем придумать. 
Конечно, не все наши эксперименты – это безумные тесты на зрение. А об этих двух экспериментах я рассказал, чтобы подчеркнуть, что мы тестируем практически любые изменения, даже самые небольшие, о которых, казалось бы, можно и не беспокоиться. На самом деле, небольшие изменения имеют значение, и мы относимся к ним серьезно.
Еще один тип экспериментов касается изменений, которые не являются чисто визуальными, а относятся к внутренним алгоритмам представления информации. Например, алгоритм, отвечающий за формирование заголовков и описаний в результатах поиска, теперь выделяет не только сами слова запроса, но, кроме того, их вариации и синонимы. Например, по запросу [стихи Пушкина] выведутся результаты с выделенным словом «стихотворения».
Выделение морфологических вариаций слов – это, в общем, хорошая идея. Это помогает вам лучше понять, какие результаты отвечают вашему запросу. Правда, конечно, не всегда. Такого рода эксперименты помогают нам подтвердить (а иногда опровергнуть) наши представления об изменениях в этих алгоритмах.
Есть еще один важный тип экспериментов – это тестирование функций, существенно влияющих на поиск в сети. Даже для значительных функций цель экспериментов остается той же: добавляем ли мы нечто действительно полезное для людей или только отвлекаем их внимание? Google – продукт интуитивно понятный, и функции должны говорить сами за себя, не нуждаясь в подробном описании или руководстве пользователя. Есть, конечно, неплохо написанная справка, но большинство пользователей в ней не нуждаются. Одна из целей эксперимента – понять, как будет на практике использоваться конкретная функция. И это может существенно отличаться от наших исходных представлений.
Итак, вы познакомились с примерами экспериментов, которые мы проводим при тестировании любых функций – от едва заметных до самых ярких и существенных. Поэтому если в следующий раз вы зайдете в Google и увидите, что он стал чуть другим, может быть, мы это сделали… только ради вас.