Образовательная деятельность Яндекса.
В 2004—2005 и 2006—2007 годах фирма финансировала гранты на исследования молодых учёных по тематике информационного поиска в форме конкурса «Интернет-математика». На конкурс 2006—2007 года поступило 156 заявок, из которых 31 отобранным заявкам было выделено финансирование на общую сумму 5 млн. рублей.
Конкурс «Интернет-математика» проводился в третий раз в 2009 году, но в значительно изменённом формате и с урезанным финансированием. Все участники решали одну общую задачу, поставленную Яндексом. По выданным наборам данных, состоящих из оценок релевантности некоторых документов поисковым запросам, требовалось подготовить ранжирующую формулу методами машинного обучения ранжированию.
В четвёртый раз конкурс «Интернет-математика» проводился в 2010 году. К 16 мая предлагалось предсказать замеры скорости на дорогах Москвы в период с 18 до 22 часов, исходя из данных замеров с 16 до 18 часов и из статистики 30 предшествующих дней.
С октября 2009 года Яндекс вместе с Microsoft Research проводит в своём московском офисе цикл научных семинаров по информационному поиску и анализу данных для всех желающих.
1 апреля 2010 года состоялся первый, так называемый, СтуДень — студенческий день Яндекса, организованная для студентов однодневная конференция, на которой можно было выяснить о поисковых технологиях и компании.
24 сентября 2010 года состоялся второй СтуДень, он прошел в Новосибирске и собрал студентов из Барнаула, Омска, Новосибирска и Томска.
Школа анализа данных.
В сентябре 2007 году была открыта Школа анализа данных Яндекса — двухгодичные очные вечерние курсы для подготовки специалистов в прикладных областях, связанных с обработкой крупных массивов данных (в частности, полученных из интернета).
С 2008 года работу школы поделили на два отделения — отделение анализа данных и отделение computer science (информатики). Основной контингент школы — студенты старших курсов, аспиранты московских вузов и недавние выпускники.
Школа сотрудничает с магистратурой Высшей школы экономики и МФТИ, в которой при содействии Яндекса открыли новую базовую кафедру «Анализ данных» и кафедру Дискретной математики. Занятия проводятся в Московском корпусе МФТИ. Среди лекторов школы — известные учёные, такие как Алексей Червоненкис и Альберт Ширяев.[8]
Google — самая крупная в мире поисковая система интернета, принадлежащая корпорации Google Inc.
Основана в 1998 году Сергеем Брином и Ларри Пейджем.
Первая по популярности система (77,05%), обрабатывает 41 млрд. 345 млн. запросов в месяц (доля рынка 62,4%), индексирует свыше 25 миллиардов веб-страниц (на закрытой конференции в начале мая 2014 представитель Google упомянул, что на текущий момент проиндексировано 60 триллионов документов, и как можно заметить в результате тестов, счётчик в поиске Google ограничен числом 25 270 000 000, также на это число при выдаче влияют фильтры, добавленные в алгоритм ранжирования выдачи).
Название Google произошло от слова Гугол (Googol) намеренно искажённого Сергеем Брином, которое означает десять в сотой степени — 10100.
Синтаксис запросов.
Интерфейс Google содержит довольно сложный язык запросов, помогающий ограничить область поиска отдельными доменами, языками, типами файлов и т.п. К примеру, поиск «intitle:Google site:wikipedia.org» выведет все статьи Википедии на всех языках, в заголовке которых есть слово Google. Мощный язык запросов в руках хакеров может использоваться для изучения веб-сайтов на уязвимости.
Поиск в найденном.
Для результатов поиска Google ранее предоставлял возможность повторного поиска, что позволяло производить поиск более детально. Для более детального поиска пользователям необходимо было указать дополнительные параметры, по которым осуществлялся отбор результатов, что позволяло сразу отобразить не только запрос, но и контекст, где он используется. Эта возможность упрощала процедуру поиска, исключив необходимость в открытии каждого результата.
Википоиск.
Поисковая технология, помогающая пользователю настроить результаты выдачи по поисковым запросам. Пользователь может удалить результаты из списка и поднять вверх списка. Технология была запущена фирмой Google весной 2009 года и проработала до осени. В настройках поиска сохранилась настройка для включения «википоиска», но в выдаче соответствующие компоненты управления отсутствуют. Другие поисковые системы такой функционал пока не предоставляли.
Голосовой поиск.
22 сентября 2010 года фирма запустила голосовой поиск в России. Чтобы выполнить поиск, следует нажать в телефоне кнопку рядом со строкой поиска и произнести свой запрос, телефон направит ваш голос на сервер, и браузер выдаст строку с распознанным вашим запросом и итогами поиска по нему.
Google Doodle.
По случаю праздника или круглой даты какой-либо широко известной личности, привычный логотип Google у некоторых или, реже, — у всех региональных доменов может поменяться на праздничный, имеющий конкретную тематику, смысл, но в стиле Google (англ. Holiday and Events — Google style!):
Вышеописанная теоретическая часть о двух самых популярных поисковых систем в России разрешает нам перейти к их сравнительному анализу на основе введения любого поискового запроса и сравнения количества найденных результатов.
Например, в поисковой строке набираем «Владимир Путин» и нажимаем на кнопку поиска.
Рисунок 1 - «Владимир Путин» в Яндексе
Рисунок 2 - «Владимир Путин» в Google
Как можно увидеть на рисунках 1 и 2, Яндекс нашел около 5 млн. результатов, а Google – примерно 78 млн., т.е. практически в 16 раз больше.
Теперь попробуем скорректировать запрос и ввести в поисковую строку «Владимир Владимирович Путин».
Рисунок 3 - «Владимир Владимирович Путин» в Яндексе
Рисунок 4 - «Владимир Владимирович Путин» в Google
Добавив дополнительное слово в поисковый запрос, Яндекс выдал на 1 млн. результатов больше (6 млн.), а Google, наоборот, в 15 раз уменьшил количество страниц, так как чаще всего он ищет не каждое отдельное слово, как это делает Яндекс, а сразу полное словосочетание, что уменьшает количество запрашиваемых страниц вне зависимости от их уровней необходимости, качества выданной информации и интересности.
Как говорилось ранее, поисковая система – это компьютерная система, используемая для поиска необходимой информации. Её главная задача – минимизировать время, затрачиваемое пользователем на поиск релевантной запросу информации. Релевантность - одно из наиболее запутанных и субъективных определений в науке информационного поиска. Чаще всего говорят о релевантности с позиции пользователя, и в этом случае «релевантная запросу информация» и «нужная пользователю информация» – одно и то же. Как раз о такой релевантности мы говорим в этом разделе. Вопрос заключается в том, какие данные пользователь посчитает нужными? В некоторых обстоятельствах релевантную информацию можно определить как всю информацию из базы, относящуюся к запросу. Так, например, если пользователю следует узнать всё об определённой компании, то он заинтересован в нахождении всех документов, в которых упоминается об этой компании. В других обстоятельствах релевантная информация - это только та информация, которая достаточна для выполнения конкретной пользовательской задачи, к примеру, поиска ответа на определённый вопрос. Если в последней ситуации в результатах поиска окажется большое количество избыточных данных, т.е. данных, имеющих отношение к запросу, но не нужных для выполнения этой задачи, то выборка нужной/релевантной информации займет у пользователя дополнительное время.
Итак, обычно к поисковой системе применяют две главные характеристики: точность и полнота, а точнее, их зависимость. Каждый раз, когда пользователь задает системе свой запрос, тем самым инициализируя поиск, все документы в коллекции поисковой системы подразделяются на четыре части. Точность определяет один аспект поиска, а именно, насколько хорошо поисковая система может минимизировать время, затрачиваемое пользователем на поиск релевантной этому запросу информации. В то время как полнота определяет ещё один аспект – насколько хорошо система может найти релевантную этому запросу информацию. Можно выбрать оптимальный запрос, когда каждый найденный документ окажется релевантным, и каждый релевантный документ будет найден.
Проведя сравнительный анализ двух крупных и популярных поисковых систем, мы пришли к выводу, что нету идеальной системы по нахождению релевантной информации. И, скорее всего, это зависит не только от начинки самой поисковой системы, но и от правильности формулирования запрашиваемой информации.