Как скачать сайт целиком при помощи wget
Чтобы скачать сайт целиком или какуюто его часть можно воспльзоваться функцией wget позволяющей рекурсивное скачивание
- используются ключи "-r", "-l" и "-np". Ключ "-r" (recursive) включает рекурсивность. Ключ "-l" (level) позволяет указать насколько "глубоко" программа должна идти по ссылкам; 0 -- бесконечно глубоко, по умолчанию установлено 5. И, наконец, ключ "-np" (no parent) запрещает следовать ссылкам выше указанной директории.
При рекурсивном скачивании wget автоматически создает соответствующее дерево каталогов.
Например, следующая команда используется для скачивания целого сайта:
wget -r -l 0 -np http://wget.org.ua/
При этом файлы будут помещаться в директорию ./wget.org.ua/
Следует отметить что,
Wget при рекуррентном скачивании учитывает пПротокол Web-роботов, и пропускает часть файлов запрещенных в файле robots.txt . Чтобы отключить эту функцию используется ключ "-e robots=off".
Последние обновления: