Безусловным лидером по запросам в мире является поисковая система Google. Ежедневно поисковик обрабатывает более миллиарда запросов пользователей. Компания имеет самую большую долю (около 62%) всего рынка поисковых систем и предлагает пользователям множество онлайн-сервисов и инструментов, позволяющих наладить выдачу наиболее подходящих результатов. Робот Google сканирует в месяц около 25 млрд веб-страниц, что также является самым большим показателем для веб-поиска. По некоторым данным поисковик способен работать с информацией, размещенной в интернете на 195 языках и одинаково эффективно осуществлять ее поиск.

«Яндекс»

«Яндекс» занимает 4 место в мире по количеству обработанных запросов в день.

Первый по популярности поисковик в России. Изначально построенный на движке Google, на сегодняшний день «Яндекс» предлагает собственный алгоритм поиска, ориентированный на русскоязычных пользователей в России и странах СНГ. Поисковая система успешно справляется со своей задачей и предлагает как посетителям, так и веб-мастерам множество сервисов, способных не только улучшить качество выдаваемых результатов, но и сделать серфинг в интернете наиболее удобным.

Остальные поисковые системы

Существует великое множество популярных поисковиков: Yahoo, AOL, Ask, Mail.ru, «Рамблер». Некоторые поисковики используют заимствованные из других систем механизмы (например, QIP.ru использует движок Yandex).

Среди других поисковиков можно отметить не менее популярный Baidu, основная аудитория которого располагается на территории Китая. Поисковая система занимает 3 место в мире по количеству обработанных запросов. Сайт имеет собственные сервисы, например, энциклопедию, антивирусную программу, переводчик и т.п. Все большую популярность также набирает проект Bing от Microsoft, который также имеет свою долю на рынке и занимает 2 место в мире после Google по количеству траффика. Поисковик официально еще не был запущен в России, однако способен обрабатывать русскоязычные результаты. Поиск Bing по умолчанию используется в Internet Explorer и на телефонах и планшетах, работающих на платформе Windows Phone и Windows 8.

Бывают также узкоспециализированные поисковые системы. Например, можно выделить поисковики картинок (например, TinEye), грабберы (например, «Генон», который показывает содержимое других сайтов на своих страницах). Также существуют поисковые ресурсы с системой регистрации (DuckDuckGo).

Здравствуйте, уважаемые читатели блога сайт. , то его немногочисленным пользователям было достаточно собственных закладок. Однако, как вы помните, происходил в геометрической прогрессии, и совсем скоро ориентироваться во всем ее многообразии стало сложнее.

Тогда появились каталоги (Яху, Дмоз и другие), в которых их авторы добавляли и сортировали по категориям различные сайты. Это сразу же облегчило жизнь тогдашним, еще не очень многочисленным пользователям глобальной сети. Многие из этих каталогов живы и до сих пор.

Но через некоторое время размеры их баз стали настолько большими, что разработчики сначала задумались о создании поиска внутри них, а потом уже и о создании автоматизированной системы индексации всего содержимого интернета, чтобы сделать его доступным всем желающим.

Основные поисковики русскоязычного сегмента интернета

Как вы понимаете, идея эта реализовалась с ошеломительным успехом, но, правда, все сложилось хорошо только для горстки избранных компаний, которым удалось не сгинуть на просторах интернета. Почти все поисковые системы, которые появились на первой волне, сейчас либо исчезли, либо прозябают, либо были куплены более удачными конкурентами.

Поисковая система представляет из себя очень сложный и, что немаловажно, очень ресурсоемкий механизм (имеются в виду не только материальные ресурсы, но и людские). За внешне простой , или ее аскетичным аналогом от Гугла, стоят тысячи сотрудников, сотни тысяч серверов и многие миллиарды вложений, которые необходимы для того, чтобы эта махина продолжала работать и оставалась конкурентоспособной.

Выйти на этот рынок сейчас и начать все с нуля — это скорее утопия, чем реальный бизнес проект. Например, одна из богатейших в мире корпораций Микрософт десятилетиями пыталась закрепиться на рынке поиска, и только сейчас их поисковик Бинг начинает потихоньку оправдывать их ожидания. А до этого была целая череда провалов и неудач.

Что уж говорить о том, чтобы выйти на этот рынок без особых финансовых влияний. К примеру, наша отечественная поисковая система Нигма имеет много чего полезного и инновационного в своем арсенале, но их посещаемость в тысячи раз уступает лидерам рынка России. Для примера взгляните на суточную аудиторию Яндекса:

В связи с этим можно считать, что список основных (лучших и самых удачливых) поисковиков рунета и всего интернета уже сформировался и вся интрига заключается только в том, кто кого в итоге сожрет, ну или каким образом распределится их процентная доля, если все они уцелеют и останутся на плаву.

Рынок поисковых систем России очень хорошо просматривается и тут, наверное, можно выделить двух или трех основных игроков и парочку второстепенных. Вообще, в рунете сложилась достаточно уникальная ситуация, которая повторилась, как я понимаю, только еще в двух странах в мире.

Я говорю о том, что поисковик Google, придя в Россию в 2004 году, не смог до сих пор захватить лидерства. На самом деле, они пытались примерно в этот период купить Яндекс, но что-то там не сложилось и сейчас «наша Раша» вместе с Чехией и Китаем являются теми местами, где всемогущий Гугл, если не потерпел поражение, то, во всяком случае, встретил серьезное сопротивление.

На самом деле, увидеть текущее положение дел среди лучших поисковиков рунета может любой желающий. Достаточно будет вставить этот Урл в адресную строку вашего браузера:

Http://www.liveinternet.ru/stat/ru/searches.html?period=month;total=yes

Дело в том, что большая часть использует на своих сайтах , а данный Урл позволяет увидеть статистику захода посетителей с различных поисковых систем на все сайты, которые принадлежат доменной зоне RU.

После ввода приведенного Урла вы увидите не очень приглядную и презентабельную, но зато хорошо отражающую суть дела картинку. Обратите внимание на первую пятерку поисковых систем, с которых сайты на русском языке получают трафик:

Да, конечно же, не все ресурсы с русскоязычным контентом размещаются в этой зоне. Есть еще и SU, и РФ, да и общих зонах типа COM или NET полно интернет проектов ориентированных на рунет, но все же, выборка получается довольно-таки репрезентативная.

Эту зависимость можно оформить и более красочно, как, например, сделал кто-то в сети для своей презентации:

Сути это не меняет. Есть пара лидеров и несколько сильно и очень сильно отстающих поисковых систем. Кстати, о многих из них я уже писал. Иногда бывает довольно занимательно окунуться в историю успеха или, наоборот, покопаться в причинах неудач когда-то перспективных поисковиков.

Итак, в порядке значимости для России и рунета в целом, перечислю их и дам им краткие характеристики:

Поиск в Гугле стал для многих жителей планеты уже нарицательным — о том, вы можете прочитать по ссылке. Мне в этом поисковике нравился вариант «перевод результатов», когда ответы вы получали со всего мира, но на своем родном языке, однако сейчас он, к сожалению, не доступен (во всяком случае на google.ru).



Так же в последнее время меня озадачивает и качество их выдачи (Search Engine Result Page). Лично я всегда сначала использую поисковую систему зеркала рунете (там есть , ну и привык я к ней) и только не найдя там вразумительного ответа обращаюсь к Гуглу.

Обычно их выдача меня радовала, но последнее время только озадачивает — порой такой бред вылазит. Возможно, что их борьба за повышение дохода с контекстной рекламы и постоянная перетасовка выдачи с целью дискредитировать Seo продвижение могут привести к обратному результату. Во всяком случае в рунете конкурент у этого поисковика имеется, да еще какой.

Думаю, что вряд ли кто-то специально будет заходить на Go.mail.ru для поиска в рунете. Поэтому трафик на развлекательных проектах с этой поисковой системы может быть существенно больше, чем десять процентов. Владельцам таких проектов стоит обратить внимание на эту систему.

Однако, кроме ярко выраженных лидеров на рынке поисковых систем русскоязычного сегмента интернета, существует еще несколько игроков, доля которых довольно низка, но тем не менее сам факт их существования заставляет сказать о них пару слов.

Поисковые системы рунета из второго эшелона

Поисковые системы масштаба всего интернета

По большому счету в масштабах всего интернета серьезный игрок только один — Гугл . Это безусловный лидер, однако некоторая конкуренция у него все же имеется.

Во-первых, это все тот же Бинг , который, например, на американском рынке имеет очень хорошие позиции, особенно, если учитывать, что его движок используется так же и на всех сервисах Яху (почти треть от всего рынка поиска США).

Ну, а во-вторых, в силу огромной доли, которую составляют пользователи из Китая в общем числе пользователей интернета, их главный поисковик под названием Baidu вклинивается в распределение мест на мировом олимпе. Он появился на свет в 2000 году и сейчас его доля составляет около 80% процентов от всей национальной аудитории Китая.

Трудно о Байду сказать еще что-то вразумительное, но на просторах интернета встречаются суждения, что места в его Топе занимают не только наиболее релевантные запросу сайты, но и те, кто за это заплатил (напрямую поисковику, а не Сео конторе). Конечно же, это относится в первую очередь к коммерческой выдаче.

В общем-то, глядя на статистику становится понятно, почему Google там легко идет на то, чтобы ухудшать свою выдачу в обмен на увеличение прибыли с контекстной рекламы. Фактически они не боятся оттока пользователей, ибо в большинстве случаев им уходить особо и некуда. Такая ситуация несколько печалит, но посмотрим, что будет дальше.

К слову сказать, чтобы еще больше усложнить жизнь оптимизаторам, а может быть, чтобы поддержать спокойствие пользователей этого поисковика, Google с недавних пор применяет шифрование при передаче запросов из браузера пользователей в поисковую строку. Скоро уже нельзя будет увидеть в статистике счетчиков посетителей, по каким запросам приходили к вам пользователи с Гугла.

Конечно же, кроме озвученных в этой публикации поисковых систем, существует еще не одна тысяча других — региональных, специализированных, экзотических и т.д. Пытаться их все перечислить и описать в рамках одной статьи будет не возможно, да и, наверное, не нужно. Давайте лучше скажу пару слов о том, как не легко создать поисковик и как не просто и не дешево его поддерживать в актуальном состоянии.

Подавляющее большинство систем работают по схожим принципам (читайте о том, и про ) и преследуют одну и ту же цель — дать пользователям ответ на их вопрос. Причем ответ этот должен быть релевантным (соответствующим вопросу), исчерпывающим и, что не маловажно, актуальным (первой свежести).

Решить эту задачу не так-то уж и просто, особенно учитывая, что поисковой системе нужно будет налету проанализировать содержимое миллиардов интернет страниц, отсеять лишние, а из оставшихся сформировать список (выдачу), где вначале будут идти наиболее подходящие под вопрос пользователя ответы.

Эта сверхсложная задача решается предварительным сбором информации с этих страниц с помощью различных индексирующих роботов . Они собирают ссылки с уже посещенных страниц и загружают с них информацию в базу поисковой системы. Бывают боты индексирующие текст (обычный и быстробот, который живет на новостных и часто обновляемых ресурсах, чтобы в выдаче всегда были представлены самые свежие данные).

Кроме этого бывают роботы индексаторы изображений (для последующего их вывода в ), фавиконок, зеркал сайтов (для их последующего сравнения и возможной склейки), боты проверяющие работоспособность интернет страниц, которые пользователи или же через инструменты для вебмастеров (тут можете почитать про , и ).

Сам процесс индексации и следующий за ним процесс обновления индексных баз довольно времязатратный. Хотя Гугл делает это значительно быстрее конкурентов, во всяком случае Яндекса, которому на это дело требует неделя-другая (читайте про ).

Обычно текстовое содержимое интернет страницы поисковик разбивает на отдельные слова, которые приводит к базовым основам, чтобы потом можно было давать правильные ответы на вопросы, заданные в разных морфологических формах. Весь лишний обвес в виде Html тегов, пробелов и т.п. вещей удаляется, а оставшиеся слова сортируются по алфавиту и рядом с ними указывается их позиция в данном документе.

Такая шняга называется обратным индексом и позволяет искать уже не по вебстраницам, а по структурированным данным, находящимся на серверах поисковой системы.

Число таких серверов у Яндекса (который ищет в основном только по русскоязычным сайтам и чуток по украинским и турецким) исчисляется десятками или даже сотнями тысяч, а у Google (который ищет на сотнях языков) — миллионами.

Многие сервера имеют копии, которые служат как для повышения сохранности документов, так и помогают увеличить скорость обработки запроса (за счет распределения нагрузки). Оцените расходы на поддержание всего этого хозяйства.

Запрос пользователя будет направляться балансировщиком нагрузки на тот серверный сегмент, который менее всего сейчас нагружен. Потом проводится анализ региона, откуда пользователь поисковой системы отправил свой запрос, и делается его морфологически разбор. Если аналогичный запрос недавно вводили в поисковой строке, то пользователю подсовываются данные из кеша, чтобы лишний раз не грузить сервера.

Если запрос еще не был закеширован, то его передают в область, где расположена индексная база поисковика. В ответ будет получен список всех интернет страниц, которые имеют хоть какое-то отношение к запросу. Учитываются не только прямые вхождения, но и другие морфологические формы, а так же , и т.п. вещи.

Их нужно отранжировать, и на этом этапе в дело вступает алгоритм (искусственный интеллект). Фактически запрос пользователя размножается за счет всех возможных вариантов его интерпретации и ищутся одновременно ответы на множество запросов (за счет использования операторов языка запросов, некоторые из которых доступны и обычным пользователям).

Как правило, в выдаче присутствует по одной странице от каждого сайта (иногда больше). сейчас очень сложны и учитывают множество факторов. К тому же, для их корректировки используются и , которые вручную оценивают реперные сайты, что позволяет скорректировать работу алгоритма в целом.

В общем, дело ясное, что дело темное. Говорить об этом можно долго, но и так понято, что удовлетворенность пользователей поисковой системой достигается, ох как не просто. И всегда найдутся те, кому что-то не нравится, как, например, нам с вами, уважаемые читатели.

Удачи вам! До скорых встреч на страницах блога сайт

Вам может быть интересно

Яндекс Пипл - как искать людей по социальным сетям Апометр - бесплатный сервис по отслеживанию изменений выдачи и апдейтов поисковых систем DuckDuckGo - поисковая система, которая не следит за тобой
Как проверить скорость Интернета (Спидтест, Интернетометр от Яндекса)
Виджеты Яндекса - как настроить и сделать главную страницу более информативной и удобной именно вам
Яндекс и Гугл картинки, а так же поиск по файлу изображения в Tineye (тинай) и Google Сравнение сайтов в SEObuilding.RU для бесплатного анализа потенциальных доноров при покупке ссылок Google Alerts - что это такое и как его использовать, примеры создания полезных оповещений
Мое дело - обзор онлайн бухгалтерии или электронный документооборот через интернет
Бесплатные файлообменники - как залить фото и получить ссылку на картинку

С расцветом цензуры и слежения альтернативы Google и Яндекс интересуют пользователей все больше и больше. Мы расскажем вам о трех поисковых системах без запретов, которые не собирают о вас личную информацию, а, напротив, защищают вашу приватность.

Startpage: самая дискретная поисковая система в мире

Startpage.com называет себя «самой дискретной поисковой системой в мире». С 2016 года сервис был объединен с сайтом Ixquick. В качестве доказательства безопасности своего поиска Startpage.com позиционирует себя как единственная поисковая система, имеющая сертификат ЕС о конфиденциальности.

Startpage.com обещает не сохранять IP-адреса пользователей и, по утверждению сервиса, не использует файлы cookie для трекинга. Кроме того, Startpage.com доступен из сети Tor. Серверы поисковой системы находятся в Нидерландах.

У сайта есть удобная особенность: результаты поиска можно просматривать при помощи опции «Прокси», которая шифрует соединение с соответствующей веб-страницей с помощью прокси-сервера. Таким образом, это настоящий поисковик без запретов: можно спокойно просматривать то, что блокирует ваш провайдер.

Поисковые прокси: Startpage спокойно обходит блокировку Яндекс.DNS

Поисковые прокси - главная фишка Startpage, которые делают его поисковиком без цензуры. Если вам необходимо искать без блокировок, этот сервис для вас.

DuckDuckGo: анонимная поисковая система из США

DuckDuckGo - наиболее широко используемая безопасная альтернатива Google с более чем десятью миллионами запросов в день. Несмотря на то, что серверы поисковой системы находятся в США, DuckDuckGo.com, тем не менее, предлагает некоторые интересные функции.

При поиске через DuckDuckGo.com ваш IP-адрес не будет сохранен. Система также н е использует файлы cookie для отслеживания. DuckDuckGo применяет шифрование с использованием HTTPS. В поисковую систему также можно ввести запрос через сеть Tor. Кроме того, можно использовать различные темы, чтобы настроить отображение поисковой страницы.

Открывать сайты через прокси тут нельзя. Но с учетом того, что система находится вне юрисдикции РФ, на него не распространяется, к примеру, «право на забвение» в том смысле, в котором оно понимается у нас. Результаты поиска могут быть не идеальными, но все же довольно полезными.

Право на забвение: DuckDuckGo находит сайты с компроматом, заблокированные в РФ. Google — только новости

Этот сервис больше подойдет тем, кому в первую очередь важна анонимность и поиск без слежения. Либо тем, кто хочет найти информацию, исключенную из результатов поисковой выдачи в РФ. Однако, следует предупредить: в России DuckDuckGo стал партнером Яндекса, так что можно ожидать всего.

notEvil: поиск по интернету, которого нет

Поисковик notEvil позволяет осуществлять поиск из интернета по анонимной сети Tor. Для этого не надо устанавливать никакого дополнительного программного обеспечения (хотя оно, понадобится для того, чтобы открывать результаты поиска).

Эта поисковая система позволяет искать по так называемому даркнету - той части Интернета, которая обычно недоступна среднему пользователю. В связи с блокировками в нее постепенно переезжают полезные сервисы, например, для скачивания контента.

Большинство веб-поисковиков по Tor бессовестно зарабатывают на рекламе: вы получаете результаты из Tor, и вдобавок - горсть рекламных объявлений и трекинг в подарок. notEvil принципиально этим не занимается. Понятное дело, что об отслеживании IP и использовании cookie речь тут вообще не идет.

notEvil: помогает найти в Tor то, чего в интернете может не быть

Сайт пригодится тем, кто хочет познакомиться с содержимым невидимого интернета; хардкорная анонимность гарантируется. Кстати, рекомендуем сразу сохранить себе ссылку в закладки - URL-адреса категории « Tor-to-web» очень недружелюбны в плане запоминания.

Анонимные поисковые системы как безопасная альтернатива Google

Все три поисковых системы не регистрируют ваш IP-адрес и не используют файлы cookie для слежки. Шифрование с использованием HTTPS предоставляется всеми названными поставщиками.

Лучшие результаты поиска в тесте показал поисковик DuckDuckGo, а гарантированную безопасность при выборе альтернативного поисковика вы получите с системой Startpage.com. Сертификация защиты данных ЕС подтверждает, что поисковая система придерживается своих обещаний об анонимности поиска. Для поиска по даркнету, в свою очередь, пригодится notEvil.

Не секрет, что крупнейшие поисковые системы мира — Google, Yandex, Yahoo, Bing и т.п. — собирают массу различной информации по поисковым запросам. И нет никаких гарантий, что по запросу органов власти они не передадут эти данные в третьи руки. И тут не обязательно быть криминальной личностью или параноиком, достаточно просто того, что эта перспектива в принципе неприятна и никто не хочет, чтобы данные о них отслеживали посторонние люди. Второй момент, о котором так же надо упомянуть — это цензура и ограничения на поисковых сайтах: системы применяются различные фильтры и запреты. Например — фильтры на эротику и жестокость, ограничения Роскомнадзора, фильтры самой поисковой системы. Чтобы от всего этого уйти и найти нужную информацию без ограничений, без фильтров и, тем более, без регистрации — можно воспользоваться сторонними сайтами поисковиками без цензуры. К счастью, их в Интернете немало. Я приведу свою пятёрку лучших.

1. DuckDuckGo

Самый популярный поиск из непопулярных 😉 — это DuckDuckGo.com . Он по-праву считается самым продвинутой поисковой системой «второго сорта». Многие именитый компьютеные издания считают его лучшей альтернативой Google. «Утиный» поиск (Duck — «утка» в переводе с английского) даже ставят по-умолчанию в качестве основного на некоторых веб-браузерах. Например, SRWare Iron. Здесь администрация сайта заявляет о полной сохранности пользовательских данных, так как серверы не хранят информацию о поисковых запросах своих пользователей. Конечно, понятно, что в чём-то разработчики могут лукавить и какая-то часть данных о запросах в DuckDuckGo продаётся рекламодателям — организация то коммерческая, прибыль получать надо. К тому же крутится вся система на платформе Amazon, которая сотрудничает с Американскими властями. Но абсолютных гарантий Вы сейчас нигде не получите и потому остаётся всё же только поверить администрации что этот сайт-поисковик без цензуры. Тем более, что пока недоверять им повода не было. Зато DuckDuckGo 100% без ограничений и фильтров — ищите всё, что душе угодно!

2. Qwant

Отличный самостоятельный поисковый сервис французского происхождения со своей системой индексации сайтов. Главная его «фишка» — анонимность введённых веб-запросов: ни сами запросы, ни IP-адреса пользователей, ни какие-либо иные данные не записываются. Этот факт более-менее гарантирует работу поиска без цензуры. Работает французский поисковик QWant.com относительно быстро. К тому же, его работа постоянно совершенствуется. Отдельно стоит сказать, что консультации по анонимности и безопасности для его разработчиков дают некоторые именитые хакеры.

3. Unbubble

Сайт unbubble.eu — это реально эффективный поисковый сервис, нейтральный к ограничениям в разных странах. Этот поисковик не имеет цензуры и не использует фильтры, что позволяет легко искать фото, аниме, хентай и т.п. Отдельно стоит рассказать, что unbubble — это не обычный, а метапоисковый сайт. Что это значит? У него нет своего индекса, вместо этого в комплексе используются результаты других поисковых систем. То есть, фактически, предоставляет возможность пользоваться всеми сильными сторонами лидеров Интернет-поиска. При этом сайтом не используются файлы cookie, он не сохраняет данные пользователя. А для предотвращения их перехвата используется шифрование.

4. Ixquick

Ещё один метапоисковый инструмент с простым и удобным интерфейсом. Он самый первый удалил данные о своих пользователях и с 2006 года их не собирает. Ixquick.com предоставляет доступ ко всем «плюшкам» системы того же Гугл и при этом полностью обеспечивает анонимность с помощью криптографического алгоритма. IP пользователя удаляется из базы через 48 часов. Правда, из-за той же крипто-системы Ixquick Search Engine обработка запросов занимает значительно больше времени, чем хотелось. Но за всё в этом мире нужно платить. Ожидание — не самая большая плата за отсутствие ограничений и анонимность.

5. YaCy

Сайт search.yacy.net — это немецкая поисковая система, позволяющая относительно быстро, а главное — успешно искать фильмы, клипы, видео и фото без цензуры. Его разработкой занимается компания YaCy. Он крутится в облаке не привязан ни к каким ограничениям или фильтрам типа Роскомнадзора и т.п. Его данные хранятся в распределённом виде, а значит Ваш запрос никто не сможет отследить. К тому же этот анонимный поисковик без регистрации и без рекламы. Минус тут такой же, как и у Ixquick — он ооочень долго обрабатывает запросы. Но тут уж ничего не поделаешь. Анонимная сеть Tor тоже небыстрая. Так что это общая проблема всех подобных систем.

6. StartPage

Псевдо-поисковая система StartPage.com — это по-сути всего лишь прокси-сервис для передачи запросов в старый добрый Google. Но именно это делает его анонимным поисковиком без цензуры, ведь он не записывает Ваш IP и данные о браузере, а значит и не передаёт их дальше, маскируя запрос.

7. Tryndex

Трындекс — это Российский поисковик без фильтров и ограничений. Несмотря на то, что основной его направленностью является поиск объявлений, он отлично ищет музыку, видео и игры без ограничений. Этот поисковый сайт имеет белорусское, украинское и казахстанское зеркала. К сожалению, об анонимности пользователей информации нет никакой. К тому же на нём присутствует реклама. К сожалению, это единственный подобный крупный сервис в России.

всего

Вступление

Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху (DMOZ, Yahoo).

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки, хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет это

Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг

• и Google делят первые два места лидеров: около 49% и 45%.
• Третье место: Поиск Mail.ru около 3%;
• Остальные поисковики плавают ниже 1%.

Смотрю статистику по Google Analytics:

• yandex / organic 40,26 %
• google / organic 38,93 %
• mail.ru / organic 0,60 %
• rambler / organic 0,52 %
• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.

В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики

Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;
• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;
• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;
• Много рекламы, которую тоже обходят поисковики;
• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);
• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам

Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Мне нравится такая схема поиска по ключевым словам.

Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как я сказал, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по , робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в