###
  • Программы
  • Безопасность
  • Новости
  • Интересное
  • Советы 
  • Новости 
  • Обзоры 

    • Обзор фатальных ошибок яндекс вебмастера. Малополезный контент, спам Как исправить в яндекс вебмастер фатальные ошибки

    21.05.2020 Советы 

    Сегодня же мы детально разберём раздел фатальных ошибок, которые не просто мешают индексированию сайта в поисковых системах — из-за наличия этих ошибок сайт может просто не показываться в поисковой выдаче.

    Итак, список фатальных ошибок в Яндекс Вебмастере состоит из следующих пунктов:

    1. Сайт закрыт к индексации в файле robots.txt

    Robots.txt это ключевой файл, который объясняет роботам поисковых систем куда на сайте им можно заходить, а куда нет. Если robots.txt полностью блокирует возможность посещения сайта роботами Яндекса, то о дальнейшей работе можно в принципе забыть. Никакие изменения в сайте поисковые системы просто не увидят. Поэтому очень важно, чтобы директивы robots.txt не только разрешали роботам поисковиков посещать сайт, но и вели их по сайту необходимым для правильной оптимизации образом.

    2. Не удалось подключиться к серверу из-за ошибки DNS.

    Ошибки DNS как правило происходят либо на стороне сервера, либо из-за неверной настройки пользователем согласованной работы домена и хостинга. Из-за ошибок DNS поисковик не понимает — какой домен прилинкован к вашему сайту и просто не показывает домен в выдаче.

    3. Главная страница сайта возвращает ошибку

    Когда поисковая система посылает на сайт запрос о его существовании она должна получить один из кодов ответов, который соответствует знаниям поисковика. Наиболее частые коды:
    200 — страница существует и отображается
    301 — страница перенаправляет всех на другую страницу
    404 — страница не существует
    500 — проблема страницы на стороне сервера

    Важно чтобы сайт при запросе отдавал именно код 200. Только таким образом Яндекс поймет что с сайтом все в порядке и предложит его к поисковому ранжированию.

    4. Обнаружены нарушения или проблемы с безопасностью

    Яндекс тщательно следит за тем, чтобы посещение сайтов из поисковой выдачи было безопасно для компьютеров пользователей. Поэтому при наличии малейших угроз со стороны сайта поисковый робот сначала размещает рядом с сайтом в выдаче предупреждение о возможных проблемах, и если проблема не будет через какое-то время устранена, то просто уберёт ресурс из поисковой выдачи. Поэтому очень важно следить как за состоянием ресурса, так и за его безопасностью. Необходимо вовремя менять пароли и проводить сканирование сайта при помощи антивируса.

    С сентября 2017 года резко выросло количество оповещений в панели Вебмастера Яндекс о фатальной ошибке, причём часто под санкции попадают сайты, которым под фильтром по теории поискового заговора делать нечего. Что это за… откуда деньги у атамана и как избавиться от фильтра? Начнём с погружения в глубину проблемы:

    Обнаружены нарушения или проблемы с безопасностью

    Первопричина санкций

    За последние года Платон Щукин и К не раз устраивал веб-мастерам Варфоломеевскую ночь. Начиналось всё с борьбы со ссылками и со временем переросло в нечто больше, требующее погружения в основы бизнеса.

    Яндекс компания коммерческая и акционеры желают в лучшем случае получать прибыль, в худшем видеть нововведения со стороны руководства. Лучший случай тесно переплёлся с худшим, и под флагом борьбы за качество поисковой выдачи Yandex начал забирать 80% прибыли от создателей сайтов. Так как коммерческие проекты более богаты, то начали с них, убедительно объяснив без применения насилия, что благо для бизнеса – это Директ.

    Ссылки на 90% ушли в небытие, коммерция низко наклонив голову ушла в Директ и наступило время информационных сайтов. Увести их в контекстную рекламу массово не получится, но дырки в бюджете надо закрыть, если не прибылью, то активностью (читать выше). Массовое появление в панели фатальной ошибки говорит о чистке поисковой выдачи. Какая тут прибыль? Всё просто – режутся сайты с небольшой и средней посещаемостью, им на смену приходят ущербные порталы типа fb. ru, которые сами едят со стола Директа и его кормят .

    Формальная причина фатальной ошибки

    Алгоритмы ранжирования Яши учитывают тысячи различных факторов, поэтому всегда найдётся таракан за дверью, которого владелец сайта не успел пришибить шлёпанцем. Боты снуют по сайтам и, если у ресурса нет крыши в виде большой посещаемости и рекламы Директа, то ресурс получает фатальную ошибку.

    Помните «был бы человек, а статья найдётся»? Яндекс использует присказку на 100%, добавив в неё только выверт «чужой человек».

    Итак, появляется фатальная ошибка в 90% случае из-за:

    1. Рекламы Google в первом окне,
    2. Большого % страниц с малым объёмом информации,
    3. Жизненной кармы веб-мастера,
    4. Просто так.

    Если увидели в панели:

    Позиции сайта в результатах поиска понижены

    То грустный клоун пришёл и на вашу улицу.

    Признаки санкций – падение трафика на 40-80% и откат позиций на 20-30 мест в глубины выдачи.

    Лечимся

    Тяжело лечиться, если врач на лету придумал тебе диагноз, но жизнь требует биения сердца, поэтому надо пытаться избавиться от фатальности Яши. Вот перечень действий, которые могут прийти на помощь при санкциях:

    1. Съём рекламы с первого экрана,
    2. Удаление или disallow страниц небольшого объёма (малополезных),
    3. Форматирование больших, но портяночных страниц,
    4. Здоровый сон.

    В 2 случаях из 5 ошибка пропадает при переотправке сайта на проверку без каких-либо телодвижений. Ещё в одном случае помогает съём рекламы. На конец октября 2017 не могу сказать, что поможет в 2 оставшихся случаях, возможно, Яндекс сам поймёт, что если так рубить лес, то жить скоро придётся среди пней и откатит санкции, вернув веб-мастеру надежду.

    Также советую не печалиться при фатальной ошибке, ведь жизнь много шире, чем потеря трети трафика и клейма санкционщика на лбу.

    Панель Вебмастера Яндекс – что это такое?

    Каждый человек, который занимается продвижением сайтов, должен знать, для чего нужен Яндекс Вебмастер.

    Яндекс Вебмастер – бесплатный кабинет вебмастера для аналитики, сбора статистики, поиска ошибок и прочих полезных функций. В панели Вебмастера Яндекс можно следить за индексацией страниц в поисковике Яндекса.

    История появления Вебмастера

    Первая версия панели Вебмастера стала доступна 19 октября 2007 года. О запуске сервиса рассказал Александр Садовский (руководитель отдела веб-поиска, Яндекс) на заседании клуба seo-оптимизаторов. Доступ к сервису для закрытого бета-тестирования предоставлялся по приглашениям. Официальная дата открытия сервиса для широкой аудитории - 21 декабря 2007 года.

    Если я ничего не путаю, то выглядел он в то время примерно так:

    А в 2015 году вышла бета-версия нового Яндекс Вебмастер:

    Сервис Яндекс Webmaster

    Отсутствие данных в разделе «Мои сайты» не помешает нам осмотреть функционал сервиса.

    Обзор функций

    Фатальные ошибки

    Фатальные ошибки включают в себя самые серьезные проблемы, которые напрямую влияют на продвижение сайта. Такие как:

    1. Сайт закрыт к индексации в файле robots.txt;
      В вашем файле robots..txt) обнаружен запрет на индексацию всего сайта. Выглядеть эта строчка будет так: «Disallow: /» или «Disallow: *». Возможно, это сделано специально, пока сайт разрабатывается, главное не забыть потом убрать 🙂
    2. Не удалось подключиться к серверу из-за ошибки DNS;
      Упал сервер или сбились настройки DNS. Может вы там где-то ковырялись? 🙂
    3. Главная страница сайта возвращает ошибку;
      Возможна проблема с хостингом или с файлами на сервере.
    4. Обнаружены нарушения или проблемы с безопасностью.
      Яндекс отыскал какую-то опасность на сайте, к примеру, поймали какой-то вирус, что является угрозой для посетителя сайта. Не круто, короче.

    Критичные ошибки

    1. Большое количество неработающих внутренних ссылок;
      Проверьте работоспособность ссылок на сайте, какие-то из них не работают. Можно их найти с помощью Sreaming Frog SEO Spider .
    2. Долгий ответ сервера.
      Посмотрите, нет ли у вас плагинов, которые сильно нагружают ваш хостинг? Возможно, посещаемость вашего ресурса резко выросла и вам стоит задумать о смене тарифа на хостинге. Я, кстати, beget.ru использую 🙂

    Возможные проблемы

    1. Нет используемых роботом ;Создайте файл Sitemap.xml или закиньте в Файлы Sitemap в разделе «Индексирование».
    2. Обнаружены ошибки в файлах Sitemap;Проверьте свои файлы на ошибки. Возможно, есть 404-страницы или другие проблемы.
    3. Некорректно настроено отображение несуществующих файлов и страниц;Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found.
    4. Ошибки в файле robots.txt;Тут может быть гора ошибок, проверяйте файл с помощью анализа robots.txt в разделе «Инструменты».
    5. Главная страница перенаправляет на другой сайт;Без комментариев… 🙂
    6. Большое количество страниц-дублей;Яндекс нашел дубли . Нужно работать над качеством сайта. Найдите технические ошибки или закройте страницы в robots.txt.
    7. Не найден файл robots.txt;Срочно найдите его и покажете Яндекс Вебмастеру 🙂
    8. Отсутствуют теги ;Срочно заполните на эти теги. Лучше заполнять на основе запросов.</li> <li>Отсутствуют <description>;Тоже заполните. Это важно.</li> <li>Файлы Sitemap давно не обновлялись;Постов не выкладываете? Тогда пофиг 🙂 Иначе проверьте настройки Sitemap.xml.</li> <li>Форматы рекламы не соответствуют рекомендациям IAB Russia.Реклама может мешать пользователям работать с вашим ресурсом.</li> </ol> <ol><li>Не задана региональная принадлежность сайта;</li> <li>Сайт не зарегистрирован в Яндекс. Справочнике;</li> <li>Файл favicon не найден;</li> <li>Сайт не оптимизирован для <a href="/sony-xperia-xa-dual-tehnicheskie-harakteristiki-sony-xperia-xa1-dual/">мобильных устройств</a>;</li> <li>Ошибка счётчика Яндекс.Метрики.</li> </ol><h3>Безопасность и нарушения</h3> <p>Яндекс регулярно проверяет безопасность и нарушения на сайтах.</p> <p>Таблица фильтров по группам:</p> <p>Также можно настроить фильтры:</p> <ul><li>регион;</li> <li>устройство;</li> <li>дата;</li> <li>показатель. <ul><li>общие показатели;</li> <li>показы на позициях;</li> <li>клики с позиций;</li> <li>CTR на позициях;</li> <li>средняя позиция показа в ТОПах;</li> <li>средняя позиция клика в ТОПах.</li> </ul></li> </ul> <p>Фильтрация по запросам из топ-1:</p> <h3>Все запросы и группы</h3> <p>В разделе представлены <a href="/opredelenie-chastotnosti-zaprosov-servis-vidy-chastotnostei/">поисковые запросы</a>, по которым сайт располагается на первых 50 позициях результатов поиска Яндекса. Показатели являются усредненными за последние 7 дней.</p> <p>Для каждого запросы можно посмотреть:</p> <ul><li>показы;</li> <li>клики;</li> <li>позиция;</li> </ul><p>Помимо статистики запросов можно добавлять свои запросы, например, по которым планируете продвигать сайт.</p> <p>Добавить запросы можно двумя способами:</p> <ul><li>ручками;</li> <li>файлом.</li> </ul> <p>Яндекс Вебмастер может подбирать поисковые запросы, соответствующие тематике вашего сайта, для привлечения <a href="/kak-podklyuchit-dopolnitelnyi-trafik-na-bilain-internet-kak-na-bilaine-prodlit/">дополнительного трафика</a>.<br> Предложенные запросы можно использовать в качестве условия таргетирования при ведении рекламы.</p> <h2>Индексирование в Яндекс Вебмастер</h2> <p>Раздел содержит в себе:</p> <ul><li>Статистика обхода;</li> <li>Страницы в поиске;</li> <li>Структура сайта;</li> <li>Проверить статус URL;</li> <li>Важные страницы;</li> <li>Переобход страниц;</li> <li> <h3>Страницы в поиске</h3> <p>Раздел отображает страницы сайта, которые участвуют в поиске Яндекса.</p> <p>Страница может не попасть в результаты поиска, если она дублирует контент другой страницы, содержит спам или вирусы, перенаправляет на другой URL, при ее скачивании произошла ошибка.</p> <h3>Структура сайта</h3> <p>Сервис отображает разделы сайта, которые содержат не меньше 10 страниц и составляют больше 1% от общего числа страниц, загруженных в базу поиска.</p> <p>При удалении пользовательского раздела из структуры сайта информация о нем в базе поиска сохраняется.</p> <p>У меня добавлен раздел сайта /yandex-webmaster/ вручную. Самостоятельно можно добавить до 5 разделов.</p> <h3>Проверить статус URL</h3> <p>Вы можете проверить, знает ли робот об определенной странице сайта, права на который вы подтвердили .</p> <p>В поле <b>URL </b> можно ввести полный <a href="/muzhchiny-korotkie-ucp-php-redirect-kak-v-php-zadat-redirekt-na-drugoi-url-do-zagruzki/">URL страницы</a> или путь от корня сайта, начинающийся с «/» .</p> <p>Как правило, сбор и обработка информации занимают до 2 минут. Иногда это может занять несколько часов. Как только обработка данных завершится, статус проверки изменится на «проверено» .</p> <p>Моя страница роботом обходится и в поиске появляется.</p> <h3>Мониторинг важных страниц</h3> <p>Вы можете отслеживать индексирование наиболее важных страниц сайта и наиболее популярных - рекомендованных Яндекс.Вебмастером. Для этих страниц можно настроить уведомления .</p> <p>Статья не завершена. Продолжу дописывать позже 🙂</p></li></ul> <p>В июле поступил на продвижение новый сайт, созданный на вордпресс. Пока делался аудит сайта, проиндексированные страницы все были исключены из поиска Яндекс. Почему? Ответ нашла в панели яндекс вебмастер. Смотрите на восклицательный знак в красном треугольнике.</p> <p><img src='https://i1.wp.com/valerevna.ru/wp-content/uploads/2017/08/vozmognye-problemy.jpg' width="100%" loading=lazy></p><p>Как оказалось, была одна фатальная ошибка, которая и стала причиной исключения сайта целиком из поиска. Сайт показался Яндексу дорвеем.</p> <p><img src='https://i1.wp.com/valerevna.ru/wp-content/uploads/2017/08/problema.jpg' width="100%" loading=lazy></p><p>Проблема оказалась в том, что Яндекс посчитал сайт дорвеем. Почему? Ведь никаких внешних ссылок на сайте не было. Загружались страницы, которые и должны были загружаться.</p> <p>Оказывается, Яндекс считает сайт дорвеем не только тогда, когда он перенаправляет на другие сайта. Но и тогда, когда внутри самого сайта оказывается слишком много редиректов. Откуда могли взяться редиректы? Ответ так же нашелся в панели яндекс вебмастер.</p> <p><img src='https://i1.wp.com/valerevna.ru/wp-content/uploads/2017/08/redirekt.jpg' width="100%" loading=lazy></p><p>Как оказалось, вордпресс генерит дубли страниц, и перенаправляет с них на страницы с ЧПУ</p> <p>После исправления ошибок, это будет отдельный пост, была нажата кнопка Я ВСЕ ИСПРАВИЛ. Нажимать повторно эту кнопку можно только через 30 дней. Поэтому советую тщательно проверить ваш сайт, который посчитали дорвеем, исправить все ошибки и только после этого можно смело отправлять ресурс на проверку.</p> <p><img src='https://i2.wp.com/valerevna.ru/wp-content/uploads/2017/08/oshibok-net-10.08.17.jpg' width="100%" loading=lazy></p><p>10 августа в панели вебмастера появилась информация, что фатальных ошибок нет. Т.е. сайт перестал считаться дорвеем.</p> <p>Ну и приятный бонус — сайт появился в поиске по некоторым запросам.</p> <p><img src='https://i0.wp.com/valerevna.ru/wp-content/uploads/2017/08/populayrnye-zaprosy11.08.17.jpg' width="100%" loading=lazy></p> <script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+ escape(document.referrer)+((typeof(screen)=="undefined")?"": ";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth? screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+ ";"+Math.random()+ "border='0' width='1' height='1' loading=lazy>");</script> </div> <dblock></dblock> <dblock></dblock> <dblock></dblock> <dblock></dblock> <dblock></dblock> </div> </div> <div class="grid_4"> <ul id="sidebar"> <div class="widget cat-lists"> <div class="outer"> <div class="menu-sidebar-container"> <ul id="menu-sidebar" class="menu"> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/program/">Программы</a></li> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/security/">Безопасность</a></li> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/news/">Новости</a></li> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/interesting/">Интересное</a></li> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/tips/">Советы </a></li> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/news/">Новости </a></li> <li class="menu-item menu-item-type-taxonomy menu-item-object-category"><a href="/category/reviews/">Обзоры </a></li> </ul> </div> </div> <script> function fd() { var menu = document.querySelector('.menu-wrapper') // Using a class instead, see note below. menu.classList.toggle('active'); } function fds(e) { var menu = document.querySelector('.' + e) // Using a class instead, see note below. menu.classList.toggle('active'); } </script> </div> <li id="text-46" class="widget widget_text"> <div class="textwidget"> </div> </li> <li id="text-9" class="widget widget_text"> <div class="textwidget"> <div class="subscription" id="sidebar-sub"> <div class="gradient-sub"></div> <p class="head-sub">Присоединяйтесь!</p> <p class="description-sub"> Уже подписаны более 6 000 человек.<br> Получайте самые свежие статьи. </p> <form action="/" method="post" target="_blank" id="subscr-form-6292" onsubmit="return jc_chkscrfrm(this, false, false, false, false)"> <input type="text" name="lead_email" class="sr-required" placeholder="Введите ваш e-mail" maxlength="100"> <button type="submit" name="lead_subscribe" value="Подписаться">ПОДПИСАТЬСЯ</button> </form> <div class="ribbon"></div> </div> </div> </li> <li id="text-36" class="widget widget_text"> <div class="textwidget"> </div> </li> <div id="sticky-anchor"></div> <div id="sticky"> <div id="owl-demo2" class="owl-carousel owl-theme"> <div class="item"> </div> </div> </div> <script> var stk = true; </script> <style> #owl-demo2 .item { background: #3fbf79; margin: 10px; color: #FFF; -webkit-border-radius: 3px; -moz-border-radius: 3px; border-radius: 3px; text-align: center; } .customNavigation { text-align: center; } //use styles below to disable ugly selection .customNavigation a { -webkit-user-select: none; -khtml-user-select: none; -moz-user-select: none; -ms-user-select: none; user-select: none; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); } </style> <link href='/assets/owl.theme.css' rel='stylesheet' type='text/css'> <link href='/assets/owl.carousel.css' rel='stylesheet' type='text/css'> <link href='/assets/owl.transitions.css' rel='stylesheet' type='text/css'> </ul> </div> <div class="clear"></div> <a class="btn-floating btn-large red" href="#"></a> <footer> <script type="text/javascript"> function GoTo(link) { window.open(link.replace("_", "http://")); } </script> <div class="grid_12"> <p id="footer"><a href="/">Новости. Безопасность. Обзоры. Программы. Советы</a> - Копирование материалов строго запрещено. <br><a href="" target="_blank">О проекте</a> <br><a href="" target="_blank">Реклама на сайте</a> <script src="https://ajax.googleapis.com/ajax/libs/jquery/1/jquery.min.js"></script> <script type="text/javascript" src="/assets/modernizr.min.js"></script> <script type="text/javascript" src="/assets/jquery.slicknav.js"></script> <script type="text/javascript" src="/assets/main.js"></script> <script type="text/javascript" src="/assets/include.js"></script> <script type="text/javascript" src="/assets/jquery.fancybox.js"></script> <script type="text/javascript"> $(document).ready(function() { $('.fancybox').fancybox(); }); </script> <script type="text/javascript"> window.___gcfg = { lang: 'ru' }; (function() { var po = document.createElement('script'); po.type = 'text/javascript'; po.async = true; po.src = 'https://apis.google.com/js/plusone.js'; var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(po, s); })(); </script> <div id="fb-root"></div> <script> (function(d, s, id) { var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) return; js = d.createElement(s); js.id = id; js.src = "https://connect.facebook.net/ru_RU/all.js#xfbml=1"; fjs.parentNode.insertBefore(js, fjs); }(document, 'script', 'facebook-jssdk')); </script> </div> <div class="clear"></div> </footer> </div> <script type='text/javascript' src='/assets/jquery.form.min.js'></script> <script type='text/javascript' src='/assets/scripts.js'></script> <script type='text/javascript' src='/assets/postviews-cache.js'></script> <script type='text/javascript' src='/assets/wp-embed.min.js'></script> <script type='text/javascript' src='/assets/form.js'></script> <script type='text/javascript' src='/assets/jquery.fancybox-1.3.8.min.js'></script> <script type='text/javascript' src='/assets/jquery.easing.min.js'></script> <script type="text/javascript"> jQuery(document).on('ready post-load', function(){ jQuery('.nofancybox,a.pin-it-button,a[href*="pinterest.com/pin/create/button"]').addClass('nolightbox'); } ); jQuery(document).on('ready post-load',easy_fancybox_handler); jQuery(document).on('ready',easy_fancybox_auto);</script> </body> <script>// <![CDATA[ $(".closed").toggleClass("show"); $(".title").click(function(){ $(this).parent().toggleClass("show").children("div.contents").slideToggle("medium"); if ($(this).parent().hasClass("show")) $(this).children(".title_h3").css("background","#bbbbbb"); else $(this).children(".title_h3").css("background","#dddddd"); } ); // ]]></script> <script> $(".single-post .post a:has(img), .single-post .entry-content a:has(img)").fancybox(); $('.sub-menu').parent().addClass('after'); $('.mobile_menu .ya-site-form__input-text').attr('id', 'unstapble-transparent'); $('.sub-menu').parent().children('a').attr("onclick", "$(this).parent().toggleClass('active');return false;"); // $('.nav-list-mobile li a').click(function() { // $(this).parent().toggleClass('active'); // return false; // } ); function tg_menu () { $('.mobile_menu').toggleClass('active'); $('.google_search_mob').toggleClass('active'); } ; if (stk) { $(document).ready(function() { $(window).scroll(sticky_relocate); sticky_relocate(); function sticky_relocate() { var window_top = $(window).scrollTop(); var div_top = $('#sticky-anchor').offset().top; if (window_top > div_top) { $('#sticky').addClass('stick'); } else { $('#sticky').removeClass('stick'); } } } ); } if (carusel) { } </script> <script src="/assets/owl.carousel.min.js"></script> <script> var owl2 = $("#owl-demo2"); owl2.owlCarousel({ items : 1, //10 items above 1000px browser width lazyLoad : true, itemsDesktop : [1000,1], //5 items between 1000px and 901px itemsDesktopSmall : [900,1], // betweem 900px and 601px itemsTablet: [600,1], //2 items between 600 and 0 itemsMobile : [479,1] // itemsMobile disabled - inherit from itemsTablet option } ); // Custom Navigation Events // $(".next").click(function(){ // owl.trigger('owl.next'); // } ) // $(".prev").click(function(){ // owl.trigger('owl.prev'); // } ) owl2.trigger('owl.play',5000); //owl.play event accept autoPlay speed as second parameter // $(".stop").click(function(){ // owl.trigger('owl.stop'); // } ) </script> </html>