Все наверное считают что интернет это некая огромная и необъятная субстанция, впрочем я тоже так считал раньше. Что сайтов в нем ну очень много и исчисляется миллиардами. Ведь вполне логично предположить, что так и есть!? Работа поисковых роботов, таких как Яндекс и гугль вообще не поддается осмысливанию, ведь такой огромный мир интернета им необходимо проиндексировать и найти новую информацию, закэшировать её, сделать релевантной и выделить главную тему. Отранжировать информацию по темам и важности в поисковой выдаче. Но как выяснилось, все гораздо проще. Автор одного блога сделал мини-поисковый краулер, но цель этого робота была несколько отличной от простого подсчета рунета, автор собирал информацию по сайтам и их владельцам, дабы понять кто чем занимается, какие темы сайтов доходны, какие биржи ссылок или сервисы конвертации трафика более выгодны в нынешнее кризисное время 
.
Система отбора была следующая: обход происходил по зонам RU, SU, BY, UA, NAME что в общем и характеризовало русскоязычную аудиторию. С сайтов сдергивалась главная страница, в сео-комьюнити называемая как «морда» и одна из внутренних страниц. То есть по паре страниц с сайта. Ну и соответственно, извлекались с этих страниц все ссылки, и робот все эти ссылки посещал. Исключались разумеется ссылки с опечатками и ошибками, а также с Nofollow. Окончательным итогом получалось, что робот обходил все перелинкованные сайты. Ожидалось увидеть в результатах обхода порядка от 800 тысяч до миллиона сайтов, но итог оказался всего 300 тысяч перелинкованных сайтов.
Вообщем получились следующие любопытные итоги:
300 тысяч — Всего сайтов перелинкованных меж собой.
5500 — уникальных адсенс идентификаторов, что показывает сколько в рунете уникальных пользователей adsense от гугля.
20 тысяч сайтов с этими вышеозначенными адсенсами, то есть примерно по 3,8-4 сайта приходится на одного вебмастера рунета.
54000 отдельно взятых айпи адресов на которых хостятся сайты.
Вот такая статистика...
В итоге автор сего исследования предоставляет свою базу для просмотра простым смертным и бессмертным на своем сайте, но за небольшую мзду. Если есть желание можете проверить свои сайты по базе и оценить сей труд
Популярность: 1% [?]
Последние Комментарии