Как скачать сайт целиком при помощи WebHTTrack?

А Linux предлагает нам для этого прекрасную бесплатную программу, которая называется WebHTTrack Website Copier. Установить программу мы можем через Synaptic, введя в окно поиска слово "webhttrack" или установить её через терминал командой:

sudo apt-get install webhttrack

Попутно установится ещё одна программа, которая является спутником WebHTTrack Website Copier и представляет из себя менеджер скачанных сайтов. Вам не нужно будет постоянно лезть в папку со скачанными сайтами и искать индексные страницы. Достаточно будет запустить Browse Websites Mirrored by WebHTTrack и в открывшемся браузере вы увидите список всех скачанных вами сайтов.

Что нужно сделать, чтобы скачать хороший веб проект полностью в Linux при помощи WebHTTrack Website Copier? Заходим в меню программ, в раздел ИНТЕРНЕТ, и запускам программу.

После того как вы запустите программу из меню, у вас откроется страница в браузере. Именно через веб интерфейс предоставляются все настройки программы. Можно ничего не настраивать, просто в строке "Имя нового проекта" написать название проекта, который вы будете закачивать и ниже указать путь к той папке, в которую будут закачиваться файлы.

После нажмите кнопку "Далее" и появившейся форме впишите адрес сайта, который вы планируете сохранить:

После этого нажмите кнопку "Вперёд" и дальше "Начать". Ну вот, процесс пошёл, закачка вебсайта целиком на компьютер началась!

Вот таким способом загрузить любой web ресурс в Linux можно просто и главное бесплатно!
Но можно сделать всё это одной командой при помощи консольной программы!

Скачиваем сайты целиком - утилита wget

wget — это утилита, которая предназначена для загрузки файлов по сети (из интернета). Я расскажу, как использовать wget, чтобы скачивать сайты из интернета целиком и затем просматривать их в автономном режиме.

С помощью wget можно скачивать сайты, включая картинки, всего лишь указав адрес сайта и определенные параметры. wget будет автоматически переходить по ссылкам на сайте и скачивать страницу за страницей. Рассмотрим несколько примеров от простых к более сложным использования wget для скачивания сайтов.

Чтобы скачать сайт целиком с помощью wget нужно выполнить команду:

wget -r -k -l 7 -p -E -nc http://site.com/

После выполнения данной команды в директорию site.com будет загружена локальная копия сайта http://site.com. Чтобы открыть главную страницу сайта нужно открыть файл index.html.

Рассмотрим используемые параметры:

-r	—	указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
-k	—	используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
-p	—	указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
-l	—	определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
-E	—	добавлять к загруженным файлам расширение .html.
-nc	—	при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.

Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget.