Появилась необходимость проверить лог-файлы на предмет посещения страниц роботами Яндекса и тут я понял что совсем не знаю как отличить один робот от другого. В общем нашел довольно полезную информацию.
Итак у яндекса есть основные роботы
- Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
- Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
- Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
- Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
- Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
- Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
- YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
- YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
- YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
- Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.
И так называемые «агенты-простукивальщики» которые проверяют сайт на доступность
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
- Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
- Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
- Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Вот в общем и все. За информацию спасибо проекту http://robotstxt.org.ru/
Яндекс
robots, роботы, яндекс
Постоянно задаюсь вопросом – как же мне оторвать от 0 показатель тИЦа на десятках моих досок, сплогов и прочего Г. Мои последние прогоны по каталогам ссылок и каталогам статей тИЦ с места сдвинуть не смогли. Покупка ссылок через сапу всегда дает непредсказуемый результат и чаще всего он нулевой! Решил поискать причины!
Первое, что решил проверить – тот самый таинственный НЕПОТ-фильтр! До недавно я о нем очень мало знал, помнил только что есть НЕПОТ-сервис который меня вот прямо сейчас спасет. Полез искать и тут облом. Такие сервисы уже не работают и автоматизировать определение НЕПОТ не удастся.
Полез искать хоть какую-то информацию о фильтре и нарвался на доклад Каширина о НЕПОТЕ. На серче доклад сильно раскритиковали, но я решил закрыть на это глаза и попробовать проверить основные наблюдения Каширина.
В докладе сказано, что
- под фильтр попадает не весь сайт и даже не страница, а только конкретная ссылка
- под фильтр попадают в основном/только не тематические ссылки!
То есть если анкор ссылки будет соответствовать тематике донора (даже если этот анкор совсем не соответствует тематике продвигаемого сайта), то ссылка не должна попасть под фильтр! Напоминаю, что меня интересует только тИЦ, ссылочное опускаем.
Осталось придумать как это проверить. Наверное я найду 4-5 морд с тИЦ>300 и куплю с каждой по ссылке на 2 доски. В первом случае анкор будет соответствовать тематике донора, во втором – акцептора.
Через месяц глянем на результаты.
PS^ Знаешь как наращивать тИЦ? пиши в комменты, думаю мы сможем договориться!
Идеи, Эксперименты, Яндекс, тИЦ
НЕПОТ, платные ссылки, тИЦ, яндекс
Вот и случился апдейт тИЦа! В этот раз я к нему особенно готовился.
Дело в том, что после смерти темы с «DLE профилями» большая часть моих новых проектов скатились до 0! И конечно же о хорошем доходе с сапы уже можно было не думать. Нужно было срочно что-то делать, искать новые методы и я начал пробовать все что придумывал и вычитывал.
Цель:
В экспериментах участвовало 6 сайтов. Из них
- 2 раскручивались через sape
- для 2х заказал спам по форумам
- еще для 2х покупал статьи
Дальше небольшой отчет.
Читать далее…
SAPE, Бегун, Эксперименты, Яндекс, тИЦ
Liex, SAPE, бегун, палю тему, яндекс
Я уже как-то писал о том, как «разгадывать капчи«, а сейчас решил развить этот пример в что-то более практичное.
Цель: автоматизировать добавление страниц в addurl Яндекса (webmaster.yandex.ru)
Скрипт конечно же на PHP и для определения значений капчи я все также использую сервис anti-captcha.com.
Читать далее…
php, Скрипты, Яндекс
addurl, anti-captcha, php, капча, яндекс
В далеком 2008 году я начал проведение экспериментов по возвращению досок обьявлений в индекс. Я питался уникализировать контент и выйти из-под фильтра Яндекса.
И вот долгожданный итог – ничего не получилось! Теперь думаю попробовать перенести одну из подопытных досок на другой ip и посмотреть что будет.
В то же время заметил, что сама тема досок еще не вымерла! Уже без каких-либо надежд купил очередной домен, разместил на новом хостинге, повесил скрипт доски и забыл про него почти на месяц. Через месяц вспомнил и чуть заполнил базу. Еще через 2 недели чуть прогнал по DLE и вот эта доска все еще в индексе!
Жаль только тИЦ > 0 теперь сделать не так просто.
Идеи, Эксперименты, Яндекс
доска обьявлений, индекс, яндекс
