Screaming Frog SEO Spider — зверь в техническом аудите сайта

Среди «пауков», сканирующих сайты и использующихся для их экспресс-аудита, наиболее известны PageWeight, Netpeak Spider и Screaming Frog SEO Spider. В прошлом также был популярен XENU, которым многие до сих пор пользуются по привычке. Надо сказать, что связки Netpeak Spider и Screaming Frog достаточно для выполнения большинства задач. «Кричащая лягушка» — программка платная, есть и бесплатная урезанная версия, которая сканирует ограниченное количество страниц, но ни в коем случае не качайте с русских торрентов крякнутую версию с кейгеном. Её найти несложно, но вам нельзя этого делать, надо платить 100 фунтов разработчикам! Проще говоря, вам не стоит качать её с Рутрекера, и вводить через License — Enter License Key сгенерированный ключ (Username необязательно). Это всё нельзя, и я так не делал, вот те крест. Неудобно то, что трудно русифицировать эту программку — все же программы на языке Пушкина и Шуфутинского интуитивно более понятны. На первый взгляд, в Screaming Frog ничего особенного, однако его функционал позволяет добиться довольно многого.

Интерфейс

Итак, всё начинается с поля «Enter URL to spider», куда вводится название сайта и жмётся кнопка «Start».

Screenshot_2

Понятное дело, что она запускает сканирование сайта, а когда оно завершится, мы можем приступать к анализу. И тут мы сразу получаем первые минусы по сравнению с PageWeight — нельзя задать локальный (то есть свой) роботс. В принципе, исключить разделы из сканирования можно через Configuration — Exclude, но это уже не так удобно. Впрочем, познакомимся с интерфейсом и возможностями программы.
Сначала может ввести в ступор, что в списке страниц будет куча изображений, но их можно моментально отсечь — либо выбрав фильтр HTML (кстати кнопка Export отвечает за экспорт текущих результатов из главного окна в Excel, можно даже в xlsx):

Screenshot_3
Либо переключившись на HTML в сайдбаре, оба варианта оставят в основном окне программы только собственно HTML страницы:

Screenshot_4
В последней версии (3.0 на момент написания статьи) появилась возможность выстроить структуру сайта. Таким образом можно, к примеру, изучить структуру конкурентов перед созданием своего сайта.

Screenshot_5
Заметьте, что у каждой вкладки программы есть свои собственные фильтры. Вы можете выбрать, например, только страницы, отдающие 301 редирект и выгрузить их в Excel. На вкладке URI вы можете выбрать урлы, чья длина больше 115 символов, урлы с нижним подчеркиванием вместо дефиса (фильтр Underscores), дубли страниц (Duplicate), урлы с параметрами (Dynamic). На вкладке Title — выбрать те тайтлы, чья длина больше 65 символов или меньше 30, совпадающие с H1 на странице, отсутствующие. На вкладке Images — все изображения больше 100 килобайт, без тега alt. Ну и так далее.

Screenshot_6
Столбцы в основном окне перемещаются по принципу Drag and Drop, так что можно переместить наиболее важные из них ближе к левой части окна и сохранить настройки через File — Default Config — Save Current.
При нажатии на название столбца происходит сортировка. Среди столбцов есть не совсем обычные:

  • Title 1 Lenght — длина Title
  • Title 1 Pixel Width — ширина Title в пикселях
  • Level — это уровень вложенности.
  • Word Сount — количество слов между тегами body.
  • Size — вес страницы в байтах.
  • Inlinks — количество внутренних ссылок на страницу.
  • Outlinks — количество внутренних ссылок со страницы.
  • External Outlinks — количество внешних ссылок со страницы. Поспорьте с пацанами, кто угадает, какое наибольшее количество ссылок со страницы размещает тот или иной сапа-сайт. Если один угадает, а второй нет — то второй покупает ссылку на свой сайт с этой страницы.
  • Response Time — время загрузки страницы.

Также внизу есть окно с более подробной информацией о странице. Так, SERP Snippet показывает, как, по оценке программы, будет выглядеть сниппет в Google. Полезно, если вы заморачиваетесь, чтобы Title в выдаче выглядел кликабельнее.

Screenshot_7
Когда в окне кликаете правой кнопкой мыши на строку нужного урла, открывается контекстное меню, из которого наиболее важным пунктом является Open in Browser — открыть в браузере.

Screenshot_8
Также удобно будет выделить с помощью shift часть урлов и удалить их через Remove. Не с сайта, конечно, а из результатов сканирования. А то бы я давно с пары сайтов кое-каких чертей урлы бы поудалял…

Screenshot_9
Также с помощью контекстного меню можно проверить наличие страницы в индексе Гугла, Яху и Бинга, посмотреть бэклинки через сервисы типа Majestic SEO или Ahrefs, открыть кэш Гугла или найти страницу в Вебархиве. Ну еще роботс глянуть и проверить код страницы на наличие ошибок. Контекстное меню на всех вкладках одинаковое.

Другие возможности

Через вкладку Sitemaps можно создать свой sitemap.xml — удобно для работы с сайтом, где у вас нет возможности установить плагин для автоматической генерации сайтмапа.

Screenshot_10
Есть возможность выгрузить все тексты анкоров с сайта в Excel.

Screenshot_11
Наконец, есть возможность просканировать только урлы из своего списка. Это нужно, когда есть список продвигаемых страниц и хочется проверить только их.

Screenshot_12
Список можно загрузить из файла (можно даже из sitemap.xml) или вручную.

Screenshot_13
Наконец, одна из самых крутых функций программы — возможность задать свои директивы при сканировании. Жмёте Configuration — Custom, и там задаёте настройки при сканировании Contains (Содержит) или Does Not Contain (Не содержит), куда вписываете нужные значения.

Screenshot_15

Screaming Frog ищет по коду. Так вы можете, к примеру, найти все теги strong на сайте или стоп-слова. Лягушка понимает разделитель, и вы можете найти на сайте, допустим, нецензурную брань вот таким образом:

Screenshot_16
Я это не вручную вводил, а через Ctrl+V, не переживайте. Дальше вы можете фантазировать (и я не про стоп-слова, эти фантазии к делу не относятся) — например, искать ключевые слова по страницам сайта, высчитывая общее количество вхождений по сайту, или, может быть, что-то другое. Да, результаты отображаются во вкладке Custom, количество вхождений — в столбце Occurences.

Настройки

Я решил не начинать статью с настроек — лучше сначала привыкнуть к интерфейсу, а потом уже подстраивать программу под себя, так легче пойдет. Как пивасик под воблу. Короче, в Configuration — Spider надо выставить для начала Respect Noindex и Respect Canonical. Также лучше снять галочку с Pause On High Memory Usage.

Screenshot_17
Ну и далее они сохраняются в File — Default Config — Save current.
А если не нравится стандартный дизайн Screaming Frog, то можно его можно поменять на более нейтральный через Configuration — User Interface — Enable Windows Look and Feel.

Screenshot_2

Что конкретно всё это даёт?

Это все конечно хорошо, но как применять весь этот арсенал на практике? На бложиках пишут обзорчики типа «ой, а тут у нас вот тайтлы отображаются… ой, а тут дескрипшен вот считается…» Ну и? Что это даёт? Вот конкретные 9 профитов от Screaming Frog:

  1. 404 ошибки и редиректы. Находим через Лягушку и исправляем.
  2. Дубли страниц (по одинаковым Title). Находим и удаляем.
  3. Пустые, короткие и длинные Title. Находим, заполняем, дополняем, правим.
  4. Страницы с недостаточным уровнем вложенности. Выгружаем в Excel, в столбец с урлами вставляем список продвигаемых страниц, выделяем повторяющиеся значения. Смотрим, у каких продвигаемых страниц УВ не 1, не 2, и не 3 и работаем с этой проблемой.
  5. Длина урлов. Находим длинные урлы, сокращаем, проставляем редиректы со старых.
  6. «Пустые» страницы. По данным из столбца Word Count вычисляем страницы, где контента меньше, чем в среднем (или просто мало), и либо их закрываем через роботс, либо удаляем, либо наполняем.
  7. Самые медленные страницы. Смотрим по столбцу Response Time.
  8. Внешние ссылки. Удаляем либо вообще все, либо битые, которые 404 отдают.
  9. Совпадающие Title и H1. Находим, правим.
  10. Теги <strong>, <b>, <br> и так далее. Screaming Frog позволяет найти все страницы на сайте, где используются эти теги.

Это из важного. Про баловство вроде кликабельного вида Title в выдаче или пустых description я тут промолчу.

Есть еще один недостаток перед PageWeight — программа не считает вес страниц. Но тут уж выручит Netpeak Spider — он умеет.

Дешево и все работает, без падений и геммороя. Я с него начинал
И я в том числе. Они номер 1 по надежности и по примочкам
Которые мне пишут тексты сотнями. Рефам даю подсказки в скайпе
Добавить в закладки
Голосовать ПРОТИВГолосовать ЗА +2
Загрузка...
Комментарии посетителей
Авторам лучших комментариев и дополнений к статье пишу на почту и иногда палю кое-какие темы
  1. Аватар
    0
    +
    Блокнот вебмастера

    А как бы сделать, чтобы он отсеивал страницы, которые закрыты от индексации?

    • Аватар
      0
      +
      Светлана Вешнякова

      поставить в конфиге — чтобы учитывал robots.txt

    • Аватар
      0
      +
      Светлана Вешнякова

      тут, к стати, есть КОД для нее со скидкой: screaming-frog-seo-spider .get-keys. ru

  2. Аватар
    -2
    +
    Светлана Вешнякова

    суперская прога, тут есть со скидкой: screaming-frog-seo-spider. get-keys. ru

  3. Аватар
    1
    +
    Вика

    Как выгрузить отчёт по страницам через 301 редирект вместе со страницами-источниками и прямыми ссылками?

  4. Аватар
    0
    +
    seoonly.ru

    Спасибо!

Добавить комментарий

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: