Сайт не проиндексирован из-за настроек сервера — глюк Яндекса

Теперь точно и не вспомню что заставил меня чисто случайно глянуть количество страниц, проиндексированных в блоге WordPress inside. Возможно, тогда трафик подрос или наоборот просел, дай думаю посмотрю, что показывает плагин SeoQuake от Fifefox. Каково же было мое удивление, когда в графе страниц из Яндекса красовался всего лишь ноль . Ну, думаю, какая-то ошибка в плагине закралась, решил заглянуть в панель Яндекс.Вебмастер. Увиденная там картина, конечно же, повергла меня в легкий шок. Напротив 2-х сайтов отображалось сообщение:

Из-за настроек сервера, на котором находится сайт, робот Яндекса не мог получить к нему доступ и сайт не был проиндексирован. Уточните у Вашего хостинга не был ли блокирован IP робота 95.108.156.251 при обращении к сайту.

Первым делом, конечно, пошел разбираться с хостером мол что такое, как там может быть и т.п. У меня на том хостинге есть небольшая особенность  — пару раз из-за слишком большой своей активности с фтп, сайтов мой ip попадал в список подозрительных, и доступ мне закрывали. Видимо, это такая защита от DDOS или каких-то нехороших действий. В общем, сразу вспомнил эту особенность хостера и написал сообщение в тех. поддержку.

Через пару минут мне приходит ответ.

Указанный Вами ІР адрес не блокируется на сервере, где размещаются Ваши сайты. Тем более, что по мере обнаружения ІР роботов-поисковиков Яндекса мы их вносим в белый список, т.е. блокироваться они не могут.
Относительно данной проблемы мы уже общались с тех. поддержкой Яндекса и вопрос был решен. Приносим извинения за предоставленные неудобства.

Так-с, думаю, круг подозреваемых заметно сузился. Хостер получается не виноват, либо они напару с Яндексом там что-то начудили. Захожу опять в панель Яндекс.Вебмастера и пишу вопрос уже в поддержку Яши — мол как так случилось, хостер говорит все ок, как дальше жить и что делать?.

Ждать ответа пришлось заметно дольше, но я его получил.

Некоторое время назад у нашего робота действительно возникали проблемы при соединении с Вашим сайтом, связанные с настройками сервера, на котором он находится (скорее всего блокировался доступ индексирующему роботу). В настоящий момент данной проблемы не возникает, доступ к сайту появился, он скоро начнет индексироваться и затем должен появиться в результатах поиска в течение 2 недель. Ускорить этот процесс вручную у нас, к сожалению, нет возможности. Пожалуйста, подождите немного.

Забавно — как всегда никто ни в чем не виноват:) К счастью из индекса выпали 2 сайта, которым не критична индексация Яндексом. Ну точнее, если все образуется быстро, то сайты ничего не почувствуют. На WordPress inside трафик просел на 100-150 уников где-то, оставалось еще 300. Чайному блогу пришлось немного сложнее, переходов с Яндекса там была почти половина. Но самое печальное то, что никак не индексировались страницы GoGetLinks. Хорошо, что там есть срок 45 дней для индексации. А если бы под прицел попали сайты, зарабатывающие в сапе или других биржах ссылок — я бы наверное очень сильно расстроился (хотя и сложившаяся ситуация не добавляла оптимизма).

После недели неопределенности ситуация, увы, никак не поменялась, шли 10-тые сутки и намечался апдейт поисковой выдачи — скрестив пальцы в очередной раз пошел смотреть вернулись ли сайты в индекс. Как говорят в таких случаях, чуть не поседел весь — к двух прошлым добавился еще один блог с 400 страницами в индексе. И самое печальное, что он потихоньку зарабатывал себе в Сапе. Теперь же некоторые вебмастера поспешили снимать ссылки и ежедневный доход по чуть-чуть падал.

В тот злополучный день многое было высказано в твиттере в адрес Яндекса, ясное дело не совсем приятное) Дальше решил еще разок отправить письмо в поддержку Яши мол «что же это такое обещали исправить и сказали, что проблема решена, а тут сайты продолжают вылетать». И что бы вы думали? — мне пришел точно такой же шаблонный ответ, как после первого письма. Стало ясно, что конструктива в нашем диалоге не получится.

Потеря трафика и дохода не самое страшное, в принципе. Я начал сомневаться в своем хостинге, который мне уже долгое время служил верой и правдой. А нет ничего хлопотнее чем поиск нового нормального хостера, который бы тебя во всем устраивал и перенос всех сайтов туда. Совершенно очевидно что-то нужно было делать, так как кроме 3-х вылетевших сайтов были весьма важные другие проекты. Совершенно случайно сообразил поискать выход из ситуации на seo форумах — ведь не мог я один попасться в столь неприятную ситуацию. Больше всего информации нашел на Сёрче.

Как оказалось, проблема «Сайт не проиндексирован из-за настроек сервера» возникла уже относительно давно, в частности, тема была от 22.06, где народ столкнулся с такими же проблемами. Я там почитал и ужаснулся — у кого-то вылетело 15(!) сайтов из 20-ти созданных, у кого-то вылетали проекты с тысячами страниц в индексе. Это, конечно, жесть, которой и врагу не пожелаешь. Заканчивалась тема тем, что сайты все же возвращались в индекс через некоторое время, но при этом не досчитались определенного числа страниц и трафика. Тогда под прицел попал в большей степени хостинг sweb и некоторые другие.

Итого. Все факты свидетельствуют о том, что проблема в Яндексе. Более того, не смотря на то, что столько время прошло с появлению такого глюк, никто похоже не придумал как от него защититься. Я понимаю, что поиск в больших объемах данных — вещь сложная, но какой недалекоглядный человек придумал столь «гениальный» алгоритм работы, когда из-за одного глюка или проблем с сервером так легко и быстро можно тупо уничтожить труды 2-3 лет разработки и развития проекта. Неужели нельзя предусмотреть подобный ход развития событий, проверять несколькими путями доступность сайта, не знаю… Просто возникает чуть ли не риторический вопрос — «почему с Гулом никогда такого не происходит?»

Все сомнение относительно хостинга Hostpro были с легкостью отброшены и слава богу, уж очень не хотелось съезжать от такого классного хостера:) На данный момент сайты вернулись в индекс, что, конечно, повысило настроение и усмирило гнев в сторону сотрудников Яндекса, хотя неприятный осадок остался.

P.S. Постовой. Звоните +3(097)8535669 и записывайтесь на курсы продвижения сайтов и обучение SEO в Киеве.
Hosted — еще один хороший украинский хостинг с приемлемыми ценами и высоким качеством обслуживания.
Если у вас есть свой загородных домик или дача, можете купить бассейн чтобы приятного отдыхать там летом с друзьями и семьей.