LBSeoCrawler сделает вашу жизнь проще:
Поиск неработающих ссылок на вашем сайте, как внутренних, так и внешних.
Сообщайте о статусе файла robots.txt.
Проверьте и сообщите о канонических, hreflang и других метаданных.
Выполняйте простые технические SEO-проверки заголовков и описаний.
Сообщайте о самых быстрых/медленных страницах.
Экспорт отчетов в форматы Excel и CSV.
Создавайте и экспортируйте текстовые и XML-карты сайта из просканированных страниц.
Проверьте цепочки переадресации.
Используйте настраиваемые фильтры для проверки наличия/отсутствия тегов отслеживания.
Используйте селекторы CSS, запросы XPath и регулярные выражения для очистки данных веб-сайта.
И многое другое ...