Если вы проводите исследования, вам нужны данные. Многие веб-сайты, в том числе общедоступные, содержат кучу исторических данных, но нет простого способа их извлечения и анализа.
A1 Website Scraper упрощает этот процесс. С его помощью вы можете определить набор правил, для каких страниц он должен сканировать и что он должен очищать. Кроме того, вы можете автоматизировать и запланировать его, используя интерфейс командной строки.
Выходные данные парсинга веб-сайта могут быть в виде файлов .CSV или файлов .SQL — последние можно напрямую импортировать и обновлять существующие базы данных MySQL и MSSql.