У вас «выпали» страницы или целые разделы из индекса поисковой машины без видимых на то причин? Давайте разбираться. Потому как без причины такое случается очень редко. В понимании «Яндекса» каждый сайт должен представлять интерес – в первую очередь для пользователей. Если какая-то страница или весь сайт не имеют с этой точки зрения никакой ценности, они могут исключаться из индекса. И если эта беда приключилась именно с вашим ресурсом, нужно искать причину в самом сайте, иначе продвижение сайтов самостоятельно значительно затрудняется.
1. Проверьте, корректно ли загружается обозначенная страница: если роботам «Яндекса» закрыт доступ к серверам провайдера, из индекса может «вывалиться» весь сайт. Хотя проблемы отображения могут исходить и из самой CMS. Проверить, относится ли ваша проблема к техническим, довольно легко: добавьте свой сайт в сервис «Яндекс.Вебмастер» и просмотрите раздел «Ошибки».
2. Описанные выше трудности могут появиться и из-за некачественного, неуникального или отсутствующего контента. Так, если поисковая машина обнаружила на странице вашего сайта плагиат, она просто исключает его из поиска, чтобы не тратить свои мощности на обработку бесполезной информации (ведь то же самое можно найти на сотне других сайтов). По такому же сценарию «поисковик» поступает с контентом дорвейного вида, машинным рерайтом и так далее. Кстати, если на вашей странице контент уникален, но его очень мало (например, это может быть страница галереи, на которой размещена одна лишь фотография с подписью), к вам тоже легко могут применить санкции – такие страницы тоже считаются малоинформативными.
3. Причиной исключения страниц из индекса может стать большое число исходящих ссылок. Причем в каждом конкретном случае число ссылок, которое не понравится «Яндексу», может быть разным: иногда это 10 ссылок на одной странице, а иногда 5.
4. Придирчивому роботу может не понравиться и весь ваш сайт в целом. Нередко случается, что представления владельца сайта и «Яндекса» об уровне ресурса в корне не совпадают. В этом случае выход может быть один: анализируйте сайты удачливых конкурентов, изучайте требования самого «Яндекса» («Помощь вебмастеру») и глубже погружайтесь в поисковое продвижение сайтов , просите опытных специалистов оценить ваш сайт.
5. Создавать проблему вам могут и внутренние дубли страниц – это страницы либо с одинаковым, либо с очень похожим содержанием, которым присвоены разные адреса. Такое чаще всего случается при неправильной настройке CMS сайта. Запретить создание дублей можно в текстовом файле robots.txt, который находится в корневой директории ресурса.
Последнее время довольно актуальной является тема массового выпадения сайтов или отдельных страниц из Яндекса . Возникает вопрос?…почему так происходит? Что такого произошло, что Яндекс стал выкидывать страницы из своей базы.
С чем связано выпадение из Яндекса, до конца еще пока не выяснено. У меня сайт выпадал из Яндекса 2 раза, причем продажных ссылок 0, контент уникальный, нарушений в принципе нет. Так почему же Яндекс его выкидывает и через недели 2-3 возвращает на место. При этом после возвращения сайта в базу, получена проиндексированность более качественная, чем была до этого.
Думаю, что это скорее всего баг самой поисковой системы, бана не происходит, сайт свободно добавляется в форму регистрации и возвращается на утерянные позиции. Но не всем так везет в моменты АПа, некоторые получают бан. Яндекс безжалостно выкидывает страницы с продажными ссылками от Сапы и ему подобных автоматических бирж торгующих ссылочным золотом.
Совершенствуя свои алгоритмы работы, поисковая система Яндекс, с каждым разом ужесточает фильтры, выполняющие роль пессимизаторов страниц и сайтов нарушающих условия пользования поисковой системой. Яндекс такой же коммерческий продукт, как и большинство в сети и раз уж он предоставляет свои услуги по размещению сайтов в своей базе, соответственно как при капиталистическом строе, имеет право их выкинуть обратно.
Необходимо знать моменты, которые помогут не впасть в немилость к фильтрам Яндекса, тем самым избежать пессимизации или упаси бог бана поисковой системы:
- Не злоупотребляйте ключевыми словами на странице (4-7% не более)
- Не ставте избыточное количество внешних ссылок на одной странице, касается также продажных (3-5 более чем достаточно)
- Не ставте нетематические ссылки, которые не имеют отношения к содержимому страниц
- Не используйте черные способы продвижения, включая спам и обман поисковых систем
Работа Яндекса , да и любой поисковой системы как таковой, направлена на предоставлению пользователю наиболее ценной информации, исходя из анализа, которые поисковик применяет в своих алгоритмах. Попытка повлиять на результаты запрещенными методами, к хорошему не приведут. Выпадение страниц из Яндекса и прекращение их индексирования, тесно связано с ресурсами нарушающими правила.
Если вдруг сайт выпал из Яндекса , не стоит панниковать. Прежде всего необходимо проверить забанен он или нет, если условия Яндекса не были нарушены, то он вернется на свои позиции через 2-3 недели без потери оных. Добавьте адрес главной страницы в форму регистрации и если появится надпись «Ресурс успешно добавлен и в скором времени будет проиндексирован», останется только ждать.
Если за последнее время, у вас просел трафик, страницы выпали из индекса, то тогда есть только 2 варианта. Первый: санкции от поисковых систем, второй:
Здравствуйте, уважаемые читатели блога сайт.
На связи Могиш Иван, и сегодня я расскажу вам об такой проблеме, когда из индекса поисковой системы выпадают (уже ранее) .
Буквально несколько дней назад, с нами случилась точно такая проблема. Из индекса гугла вылетело почти 50% страниц. Трафик упал с 800 на 169. Просто жесть. Сами посмотрите:
На сегодня вроде статистика выровнялась, но все равно есть ещё небольшой минус. Надеемся, через 2-3 дня выйдем на тот уровень что и были.
Так вот друзья, если у вас случилась такая проблема, считайте вам повезло. Расскажу все, что делали. Только сначала, давайте узнаем причины такой неприятной проблемы.
Основные причины вылета страниц из индекса поисковых систем
1. Санкции (АГС, Панда, Пингвин и т. д.). Первый признак наложенных фильтров является понижение трафика и вылет страниц из индекса. Поэтому, чтобы первым узнать о таких проблемах, каждый веб-мастер, блоггер просто обязан зарегистрировать свой ресурс в панелях веб-мастеров. Друзья, если вы ещё это не сделали, то не тяните:
Процедура добавления сайта довольно проста. Но все же если возникнут проблемы, то отпишитесь в комментариях. С радостью, помогу.
В общем, если ваш сайт попал под санкции, то вначале нужно узнать, какой именно фильтр наложен. Обычно, в панели для веб-мастеров приходит письмо со всей информацией (за что, когда наложен и т. д.).
P.S. Гугл отправляет сообщение веб-мастеру, только тогда, когда наложены ручные санкции. Если автоматические, письмо не придёт.
Вывод сайта из-под санкций, это совсем другая тема, о которой я расскажу в других своих статьях. , чтобы не пропустить.
А теперь, другая причина вылета страниц из индекса.
2. Закрывающий мета-тег. Да-да, друзья именно через один код, который появился в шаблоне случайно, принёс нам такую проблему. А вот и сам код:
Теперь, запускаете программу и поочередно открываете все Html и PHP файлы. Используя поиск программы, находите мета-тег и удаляете его. Чтобы ускорить поиск, можно открыть все файлы сразу, вверху (в разделах) нажать поиск а потом «Найти в файлах». Т.е. вы будете искать тег во всех файлах сразу.
После, как тег будет удалён, страницы вернуться в индекс самостоятельно.
В итоге
Как упоминал раньше, откуда всплыл этот мета-тег мы не знаем, если вы знаете, то напишите в комментариях. Будем признательны. Мы в свою очередь, на всякий случай сделали следующее:
- Обновили WordPress до последней версии;
- Обновили все плагины, в том числе и Yoast SEO;
- Поменяли все пароли к доступу блога;
- Установили плагин Anti-XSS attack для защиты WordPress.
Ну вроде все, можно заканчивать. Надеюсь, что статья вам поможет, вернуть все страницы в индекс и выйти на тот уровень, на котором были раньше. Для тех, в кого таких проблем не наблюдалось, добавьте статью в закладки. Возможно, в будущем пригодиться…
Выпадение сайта из индекса, это настоящая трагедия для нас вебмастеров. Большинство пользователей интернета искренне полагают, что когда они задают вопрос Google или Яндекс, поисковая система ищет ответ по всем существующим веб сайтам. Такое заблуждение простительно только потребителям контента. Но недопустимо для владельцев сайтов.
Поисковики так устроены, что им нет надобности каждый раз носиться по просторам всей сети в поисках нужной пользователю информации. Они сохраняют её в собственных базах данных на сервере. Этим и объясняется космическая скорость выдачи результатов поиска. А пополняют содержимое баз данных (называемых Индексами) поисковые роботы.
Особые компьютерные алгоритмы, которые сканируют сеть в поисках вновь опубликованных материалов. Иногда так случается, что сайт оказывается временно недоступен. Например, по причине перегрузки сервера в часы пик либо других форс-мажоров.
В таком случае, неразумный поисковый робот может решить, что сайт прекратил свое существование и подать сигнал головному серверу поисковой машины. В целях экономии программно-аппаратных ресурсов, сайт или отдельные его страницы удаляются из базы данных.
Например, такая ситуация является катастрофической. Клиенты не смогут попасть на сайт и покупки прекращаются. Владелец онлайн предприятия несет огромные убытки каждый час простоя.
Для любого интернет-ресурса выпадение из индексации является неприятной ситуацией. Это приводит не только к снижению количества посетителей со всеми вытекающими последствиями, но и к проседанию сайта в поисковой выдаче. С огромным трудом завоеванные позиции теряются в мгновение ока. А восстановить статус кво будет нелегко и не дешево.
Причины выпадания сайта из индекса
Причины прекращения индексации могут быть самые разные.
Технические причины выпадания из индекса:
- Чаше всего, это происходит из-за сбоев в работе дешевого или бесплатного хостинга. Поскольку тариф не оплачивается, провайдер не сильно заботится о качестве предоставляемых услуг.
- Иногда виновником является сам веб-мастер или оптимизатор. В процессе настройки файла robots.txt, который управляет поведением поисковых роботов и собственно индексацией, ошибочно прописывается запрет на индексацию некоторых страниц. В этом файле необходимо указать разрешение на индексацию для каждой поисковой системы. Если веб-мастер ошибется, одной или нескольким поисковым машинам доступ к сайту будет запрещен: disallow: Яндекс, Google, Bing, Yahoo!.
- Специфическое положение, когда недоступной становится главная страница сайта, в SEO называется “выпадение морды”.
Выпадение сайта из индекса из за переоптимизации или происков конкурентов
Кроме чисто технологических причин, выпадение из индекса может быть обусловлено ошибками в оптимизации. Если поисковая
система заподозрит покупку или продажу ссылок, использование чужого контента, чрезмерную плотность ключевых слов в текстах, тогда исчезновение из индекса — это только цветочки. Санкции могут доходить от попадания под до полного бана сайта. То есть, абсолютное удаление из базы поисковой системы.
К таким вещам нередко приводят происки конкурентов. Соперники проекта нанимают хакера, который взламывает сайт и устанавливает на его страницы однопиксельные сылки. Посетители их не видят, как не замечает и сам владелец. А поисковая система детектирует активную торговлю ссылками. Вот и исключение из регистрации.
К злоумышленным причинам выпадения сайта из индексации относятся хакерские атаки на сервер хостинг провайдера или DDos атаки на сайт. Тогда к сайту прекращается доступ посетителей. В том числе и поисковые роботы не могут попасть.
Выпадение из индекса по причине заброшенности или не интересности
К прекращению индексации приводит ситуация, когда сайт давно не пополнялся новым контентом или на нем слишком малое количество посетителей. Ресурс признается заброшенным и на него никто не желает тратить драгоценные компьютерные ресурсы. Это обычно происходит, если начинающий вебмастер не рассчитал свои силы при создании сайта или быстро потерял мотивацию.
Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:
10 основных причин выпадения страниц сайта из индекса Яндекса
Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.
Некачественный контент
Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.
Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.
Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.
Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.
Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.
Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.
Технические проблемы
Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.
Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.
За нарушение закона
Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.
Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать
Много исходящих ссылок с страницы
Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.
Дубли страниц внутри сайта
Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.
Плохое качество сайта
У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.
Санкции в поисковых системах
Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.
Глюк Яндекса
Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.
