Освоение Wget и изучение некоторых хитрых хитростей загрузки

Иногда недостаточно просто сохранить сайт локально из вашего браузера. Иногда вам нужно немного больше энергии. Для этого есть небольшой инструмент командной строки, известный как Wget. Wget - простая программа, которая может загружать файлы из Интернета. Вы можете или не можете знать о Wget уже много, но после прочтения этой статьи вы будете готовы использовать его для всевозможных уловок.

Wget доступен для использования в UNIX и Windows из командной строки, но возможно установить wget на Mac OS X Как получить Wget для вашего MacМаки отличные, с аккуратным пользовательским интерфейсом и Unix-сервером. Иногда у вас возникает ощущение, что вы можете делать с ними что угодно. Пока однажды вы не попытаетесь сделать что-то простое и вы ... Подробнее с небольшим количеством уговоров. Итак, когда вы знаете, какие вещи вы можете использовать для Wget, он переносим на любую ОС, которую вы используете - и это удобно. Еще лучше то, что wget можно использовать в пакетных файлах и заданиях cron. Это где мы начинаем видеть реальную силу за Wget.

Основной Wget

Основное использование Wget URL.

 wget //www.makeuseof.com/

Наиболее простые варианты, которые нужно знать большинству людей, это справочная информация (wget -b), продолжить частичную загрузку (wget -c), количество попыток (wget –tries = NUMBER) и конечно помогу (Wget -h) напомнить себе обо всех вариантах.

wget -b -c --tries = NUMBER URL

Умеренно расширенные параметры Wget

Wget также может работать в фоновом режиме (wget -b) ограничить скорость загрузки (wget –limit-rate = SPEED), нет родителя, чтобы убедиться, что вы загружаете только подкаталог (wget -np), обновлять только измененные файлы (Wget -N), зеркало сайта (Wget -m), убедитесь, что новые каталоги не созданы (Wget -nd), принимать только определенные расширения (wget –accept = LIST) и установите время ожидания (wget –wait = SECONDS).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST --wait = SECONDS URL

Скачать с Wget рекурсивно

Можно рекурсивно скачать (wget -r), охват хостов для других доменов (Wget -H), конвертировать ссылки в локальные версии (wget –convert-links) и установить уровень рекурсии (wget –level = NUMBER, использующий inf или 0 для бесконечного).

Но некоторые сайты не хотят, чтобы вы загружали рекурсивно, и проверят, какой браузер вы используете, пытаясь заблокировать бота. Чтобы обойти это, объявите пользовательский агент, такой как Mozilla (wget –user-agent = АГЕНТ).

wget -r -H --convert-links --level = NUMBER --user-agent = АГЕНТ-URL

Защищенный паролем Wget

Можно использовать имя пользователя и пароль для определенного URL при использовании wget (wget –http-user = USER –http-password = PASS). На общих машинах это не рекомендуется, так как любой, кто просматривает процессы, сможет увидеть пароль в виде обычного текста.

wget --http-user = USER --http-password = PASS URL

Примером этого в действии является используя wget для резервного копирования ваших задач из Remember The Milk Лучшие советы для ваших заданий RememberTheMilkДля многих из нас, работающих в облаке, мы довольно сильно полагаемся на наши любимые сервисы. Мы также иногда любим и доверяем им, возможно, немного больше, чем мы должны иногда ... Подробнее .

Wget Массовая загрузка

Сначала создайте текстовый файл со всеми URL, которые вы хотите загрузить, используя wget, и назовите его wget_downloads.txt. Затем, чтобы загрузить URL-адреса оптом, введите следующую команду:

wget -i wget_downloads.txt

Классное использование для Wget

Это будет сканировать веб-сайт и генерировать файл журнала любых неработающих ссылок:

wget --spider -o wget.log -e robots = off --wait 1 -r -p http://www.mysite.com/

Это займет текстовый файл ваших любимых музыкальных блогов и скачать любые новые файлы MP3:

wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e роботы = off -i musicblogs.txt

Для чего еще вы используете wget?

Кредит изображения: Подключение к социальным сетям через ShutterStock, Молодой человек смотрит телевизор через Shutterstock, Глобус через Shutterstock