Онлайн заработок, создание и монетизация сайтов, веб-разработка, SEO и SMO продвижение, фриланс, партнерки, полезные сервисы вебмастерам, блоггинг.

Лучшая система размещения статей
Главная » Заработок в интернете » Сайт не проиндексирован из-за настроек сервера - глюк Яндекса

Сайт не проиндексирован из-за настроек сервера — глюк Яндекса

Теперь точно и не вспомню что заставил меня чисто случайно глянуть количество страниц, проиндексированных в блоге WordPress inside. Возможно, тогда трафик подрос или наоборот просел, дай думаю посмотрю, что показывает плагин SeoQuake от Fifefox. Каково же было мое удивление, когда в графе страниц из Яндекса красовался всего лишь ноль . Ну, думаю, какая-то ошибка в плагине закралась, решил заглянуть в панель Яндекс.Вебмастер. Увиденная там картина, конечно же, повергла меня в легкий шок. Напротив 2-х сайтов отображалось сообщение:

Из-за настроек сервера, на котором находится сайт, робот Яндекса не мог получить к нему доступ и сайт не был проиндексирован. Уточните у Вашего хостинга не был ли блокирован IP робота 95.108.156.251 при обращении к сайту.

Первым делом, конечно, пошел разбираться с хостером мол что такое, как там может быть и т.п. У меня на том хостинге есть небольшая особенность  — пару раз из-за слишком большой своей активности с фтп, сайтов мой ip попадал в список подозрительных, и доступ мне закрывали. Видимо, это такая защита от DDOS или каких-то нехороших действий. В общем, сразу вспомнил эту особенность хостера и написал сообщение в тех. поддержку.

Через пару минут мне приходит ответ.

Указанный Вами ІР адрес не блокируется на сервере, где размещаются Ваши сайты. Тем более, что по мере обнаружения ІР роботов-поисковиков Яндекса мы их вносим в белый список, т.е. блокироваться они не могут.
Относительно данной проблемы мы уже общались с тех. поддержкой Яндекса и вопрос был решен.
Приносим извинения за предоставленные неудобства.

Так-с, думаю, круг подозреваемых заметно сузился. Хостер получается не виноват, либо они напару с Яндексом там что-то начудили. Захожу опять в панель Яндекс.Вебмастера и пишу вопрос уже в поддержку Яши — мол как так случилось, хостер говорит все ок, как дальше жить и что делать?.

Ждать ответа пришлось заметно дольше, но я его получил.

Некоторое время назад у нашего робота действительно возникали проблемы при соединении с Вашим сайтом, связанные с настройками сервера, на котором он находится (скорее всего блокировался доступ индексирующему роботу). В настоящий момент данной проблемы не возникает, доступ к сайту появился, он скоро начнет индексироваться и затем должен появиться в результатах поиска в течение 2 недель. Ускорить этот процесс вручную у нас, к сожалению, нет возможности. Пожалуйста, подождите немного.

Забавно — как всегда никто ни в чем не виноват:) К счастью из индекса выпали 2 сайта, которым не критична индексация Яндексом. Ну точнее, если все образуется быстро, то сайты ничего не почувствуют. На WordPress inside трафик просел на 100-150 уников где-то, оставалось еще 300. Чайному блогу пришлось немного сложнее, переходов с Яндекса там была почти половина. Но самое печальное то, что никак не индексировались страницы GoGetLinks. Хорошо, что там есть срок 45 дней для индексации. А если бы под прицел попали сайты, зарабатывающие в сапе или других биржах ссылок — я бы наверное очень сильно расстроился (хотя и сложившаяся ситуация не добавляла оптимизма).

После недели неопределенности ситуация, увы, никак не поменялась, шли 10-тые сутки и намечался апдейт поисковой выдачи — скрестив пальцы в очередной раз пошел смотреть вернулись ли сайты в индекс. Как говорят в таких случаях, чуть не поседел весь — к двух прошлым добавился еще один блог с 400 страницами в индексе. И самое печальное, что он потихоньку зарабатывал себе в Сапе. Теперь же некоторые вебмастера поспешили снимать ссылки и ежедневный доход по чуть-чуть падал.

В тот злополучный день многое было высказано в твиттере в адрес Яндекса, ясное дело не совсем приятное) Дальше решил еще разок отправить письмо в поддержку Яши мол «что же это такое обещали исправить и сказали, что проблема решена, а тут сайты продолжают вылетать». И что бы вы думали? — мне пришел точно такой же шаблонный ответ, как после первого письма. Стало ясно, что конструктива в нашем диалоге не получится.

Потеря трафика и дохода не самое страшное, в принципе. Я начал сомневаться в своем хостинге, который мне уже долгое время служил верой и правдой. А нет ничего хлопотнее чем поиск нового нормального хостера, который бы тебя во всем устраивал и перенос всех сайтов туда. Совершенно очевидно что-то нужно было делать, так как кроме 3-х вылетевших сайтов были весьма важные другие проекты. Совершенно случайно сообразил поискать выход из ситуации на seo форумах — ведь не мог я один попасться в столь неприятную ситуацию. Больше всего информации нашел на Сёрче.

Как оказалось, проблема «Сайт не проиндексирован из-за настроек сервера» возникла уже относительно давно, в частности, тема была от 22.06, где народ столкнулся с такими же проблемами. Я там почитал и ужаснулся — у кого-то вылетело 15(!) сайтов из 20-ти созданных, у кого-то вылетали проекты с тысячами страниц в индексе. Это, конечно, жесть, которой и врагу не пожелаешь. Заканчивалась тема тем, что сайты все же возвращались в индекс через некоторое время, но при этом не досчитались определенного числа страниц и трафика. Тогда под прицел попал в большей степени хостинг sweb и некоторые другие.

Итого. Все факты свидетельствуют о том, что проблема в Яндексе. Более того, не смотря на то, что столько время прошло с появлению такого глюк, никто похоже не придумал как от него защититься. Я понимаю, что поиск в больших объемах данных — вещь сложная, но какой недалекоглядный человек придумал столь «гениальный» алгоритм работы, когда из-за одного глюка или проблем с сервером так легко и быстро можно тупо уничтожить труды 2-3 лет разработки и развития проекта. Неужели нельзя предусмотреть подобный ход развития событий, проверять несколькими путями доступность сайта, не знаю… Просто возникает чуть ли не риторический вопрос — «почему с Гулом никогда такого не происходит?»

Все сомнение относительно хостинга Hostpro были с легкостью отброшены и слава богу, уж очень не хотелось съезжать от такого классного хостера:) На данный момент сайты вернулись в индекс, что, конечно, повысило настроение и усмирило гнев в сторону сотрудников Яндекса, хотя неприятный осадок остался.

P.S. Постовой. Звоните +3(097)8535669 и записывайтесь на курсы продвижения сайтов и обучение SEO в Киеве.
Hosted — еще один хороший украинский хостинг с приемлемыми ценами и высоким качеством обслуживания.
Если у вас есть свой загородных домик или дача, можете купить бассейн чтобы приятного отдыхать там летом с друзьями и семьей.

23.10.10

Категории: Заработок в интернете, Поисковые системы.

Теги: , , , ,

16 Comments
  1. paradoks

    В блоге у Вовки читал такую же ситуацию.

  2. BloggerMen

    После возвращения сайты просели в выдаче или вернулось 100% страниц с прежними позициями?

  3. Владимир

    Точно такая же ситуация была и у нас…
    Я писал тут:http://hello-world.com.ua/view/vernutsya-v-yandex
    И кстати хостинг тоже хостпро ;)

  4. Флай

    Тоже была такая же ситуация. Половина сайта вернулась в индекс только через две недели, все остальные страницы возвращались 1,5 месяца :(

    Трафик просел и восстанавливалс месяца три :(

    А самое главное, что на одном и том же аккаунте хостера выпал только один сайт. С остальными все было норм :)

  5. Tod

    BloggerMen, выдачу я не смотрел, но по трафику все вернулось на круги своя + страниц стало приблизительно столько, сколько и было +/- 10. Так что как говорится с таких случаях «камень с плеч»:)

  6. ADv

    та же ситуация была не так давно, все само собой прошло после очередного апа выдачи а страниц в индексе только прибавилось :)

  7. Вовка

    Да, история такая у меня была. 15 октября пост даже написал http://vovka.su/indeksaciya-stranic-poiskovymi-robotami-yandeks-on-uletel-no-obeshhal-vernutsya/
    ситуевина та еще… выдача пока полностью не вернулась и отношение к сайту…
    кроме запроса Вовка. ;-)
    Алекс, ты че т тему 1 в 1 поднял?!

  8. Tod

    Вовка, странный вопрос в конце) я как бы пишу о том, что связано с моей работой и опыте, так и появилась тема для статьи. В будние дни была информация куда более важная для публикации, поэтому дошел до нее только в выходные.

  9. abssolut

    у меня на днях такая же ситуация случилась, весь сайт выпал с индекса, учитывая, что это интернет-магазин, который раскручивается по запросам, это вообще шок..Та же ошибка, и тоже хостинг Хостпро, на днях у них были проблемы с сервером, долго решали, так до конца и не наладили..боюсь это все связано..но что делать?? как вернуть то??

  10. Tod

    abssolut, во-первых, добавиться в Яндекс.Вебмастер, во-вторых, написать им в поддержку мол где сайт, верните, все в полном порядке и он работает. в-третьих, напишите хостпро, если есть какие-то проблемы с работоспособностью, можно попросить перевести на другой сервак.

  11. abssolut

    в панеле ЯндексВебмастер давно уже..надо писать в Яндекс, правда боюсь, если они увидят, что сайт участвует в сапе, то могут и не вернуть. Даже не знаю, что лучше: подождать, может сам вернется или писать в Яндекс, но тогда могут вообще не принять обратно.
    В хостпро обращалась, они упорно отрицают свою вину, мол их сервер не блокирует ничего..но если на сервер были ддос атаки в течении нескольких дней, то это вполне могло стать причиной недоступности сайта для бота..
    а как можно проверить не блокируется ли бот Яндекса сервером? Спасибо

  12. Funny Smile

    и до меня добрался яндекс. или не добрался, не знаю как сказать.
    хостинг логол.ру тоже от косяков открещивается, говорит работали в штатном режиме, проблем не возникало.
    похоже яндекс пиарится.

  13. shurek

    Все ищем только через Google у меня такая же фигня. Убить яндекс до конца и все, и все будут пользоваться только нормальным Google
    У меня ваше свой сервак и не каких банов нет!!!! Яндекс гонит!!!!

  14. NIck

    Я тоже много гнал на своего хостера, мне и логи доступа яши мой хостер показывал и говорил, что проблема точно не на сервере, но я не верил. Хостера точно пока менять не буду.

  15. Виталийт

    С моим сайтом случилась тоже самое. Сайт под wordpress -top-sites.org.ua, хостинг HOSTPRO. Честно сказать сомнения были в настройках допуска на индексацию со стороны роботов, т.к. при «развертывании сайта» запретил временно индексировать сайт. После этого запрет на индексацию был снят, Google уже скушал, а вот Яндекс пишет «неприятное сообщение» о котором говорит автор. Думаю еще подождать несколько дней, а там уже буду тогда в суппорты отписывать.
    P.S. Благо сайт новый и пока все это некртично

  16. Tod

    Виталийт, с Яндексом часто приходится ждать, его пути неисповедимы)

Добавить комментарий

Ваш e-mail не публикуется. Обязательные поля помечены *
Если вы комментируете впервые, то текст будет отправлен на модерацию.