Хотите изучить веб-скрапинг с помощью Python, но не знаете, использовать Beautiful Soup, Selenium или Scrapy для своего следующего проекта? Хотя все эти библиотеки и фреймворки Python сами по себе мощные, они не предназначены для все, что нужно для парсинга веб-страниц, и, следовательно, важно знать, какой инструмент вы должны использовать для конкретного работа.
Давайте посмотрим на различия между Beautiful Soup, Scrapy и Selenium, чтобы вы могли принять мудрое решение, прежде чем начинать свой следующий проект веб-скрейпинга Python.
1. Простота использования
Если вы новичок, вашим первым требованием будет библиотека, которую легко освоить и использовать. Beautiful Soup предлагает вам все элементарные инструменты, необходимые для очистки веб-страниц, и особенно полезно для людей, которые имеют минимальный опыт работы с Python, но хотят приступить к работе с веб-сайтами. соскоб.
Единственное предостережение: из-за своей простоты Beautiful Soup не такой мощный по сравнению со Scrapy или Selenium. Программисты с опытом разработки могут легко освоить как Scrapy, так и Selenium, но для начинающих Первый проект может занять много времени, если они решат использовать эти фреймворки вместо Beautiful. Суп.
Чтобы очистить содержимое тега заголовка на сайте example.com с помощью Beautiful Soup, используйте следующий код:
URL = "https://example.com/"
res = запросы.получить(url).текст
суп = BeautifulSoup (рез, 'html.parser')
название = суп.найти("заголовок").текст
Распечатать(заголовок)Чтобы добиться аналогичных результатов с помощью Selenium, вы должны написать:
URL = "https://example.com"
драйвер = вебдрайвер. Хром("путь/к/chromedriver")
Водитель.получать(URL)
title = driver.find_element (By. TAG_NAME, "заголовок").get_attribute('текст')
Распечатать(заголовок)Файловая структура проекта Scrapy состоит из нескольких файлов, что усложняет его. Следующий код считывает заголовок с сайта example.com:
Импортировать шероховатыйсортНазваниеSpider(чесать. Паук):
имя = 'заголовок'
start_urls = ['https://example.com']
дефразобрать(я, ответ):
урожай {
'имя': ответ.css('заголовок'),
}
Если вы хотите извлечь данные из службы, которая предлагает официальный API, возможно, будет мудрым решением использовать API вместо разработки парсера.
2. Скорость парсинга и распараллеливание
Из трех Scrapy является явным победителем, когда дело доходит до скорости. Это потому, что он поддерживает распараллеливание по умолчанию. Используя Scrapy, вы можете отправлять несколько HTTP-запросов одновременно, и когда скрипт загрузит HTML-код для первого набора запросов, он будет готов отправить еще один пакет.
С Beautiful Soup вы можете использовать библиотеку потоков для отправки одновременных HTTP-запросов, но это неудобно, и для этого вам придется изучить многопоточность. В Selenium невозможно добиться распараллеливания без запуска нескольких экземпляров браузера.
Если бы вы оценили эти три инструмента веб-скрейпинга с точки зрения скорости, Scrapy был бы самым быстрым, за ним следуют Beautiful Soup и Selenium.
3. Использование памяти
Selenium — это API автоматизации браузера, который нашел свое применение в поле веб-скрейпинга. Когда вы используете Selenium для очистки веб-сайта, он создает безголовый экземпляр браузера, который работает в фоновом режиме. Это делает Selenium ресурсоемким инструментом по сравнению с Beautiful Soup и Scrapy.
Поскольку последние работают полностью в командной строке, они используют меньше системных ресурсов и обеспечивают лучшую производительность, чем Selenium.
4. Требования к зависимостям
Beautiful Soup — это набор инструментов для синтаксического анализа, которые помогают извлекать данные из файлов HTML и XML. Он поставляется ни с чем другим. Вы должны использовать такие библиотеки, как Запросы или urllib для выполнения HTTP-запросов, встроенных парсеров для анализа HTML/XML и дополнительных библиотек для реализации прокси-серверов или поддержки базы данных.
Scrapy, с другой стороны, поставляется со всей ерундой. Вы получаете инструменты для отправки запросов, анализа загруженного кода, выполнения операций с извлеченными данными и хранения очищенной информации. Вы можете добавить другие функции в Scrapy, используя расширения и промежуточное ПО, но это будет позже.
С Selenium вы загружаете веб-драйвер для браузера, который хотите автоматизировать. Для реализации других функций, таких как хранение данных и поддержка прокси, вам потребуются сторонние модули.
5. Качество документации
В целом, каждая документация проекта хорошо структурирована и описывает каждый метод на примерах. Но эффективность документации проекта сильно зависит и от читателя.
Документация Beautiful Soup намного лучше подходит для новичков, которые начинают заниматься парсингом веб-страниц. Selenium и Scrapy, без сомнения, имеют подробную документацию, но технический жаргон может застать многих новичков врасплох.
Если у вас есть опыт работы с концепциями и терминологией программирования, вам будет несложно прочитать любую из трех документов.
6. Поддержка расширений и промежуточного ПО
Scrapy — это самый расширяемый фреймворк Python для парсинга веб-страниц. Он поддерживает промежуточное ПО, расширения, прокси-серверы и многое другое и помогает разрабатывать сканер для крупномасштабных проектов.
Вы можете писать надежные и эффективные сканеры, реализуя промежуточное ПО в Scrapy, которое в основном представляет собой хуки, добавляющие пользовательские функции к механизму фреймворка по умолчанию. Например, HttpErrorMiddleware заботится об ошибках HTTP, поэтому поисковым роботам не приходится иметь дело с ними при обработке запросов.
Промежуточное ПО и расширения являются эксклюзивными для Scrapy, но вы можете добиться аналогичных результатов с Beautiful Soup и Selenium, используя дополнительные библиотеки Python.
7. Рендеринг JavaScript
У Selenium есть один вариант использования, в котором он превосходит другие библиотеки веб-скрейпинга, а именно парсинг веб-сайтов с поддержкой JavaScript. Хотя вы можете парсить элементы JavaScript с помощью ПО промежуточного слоя Scrapy, рабочий процесс Selenium является самым простым и удобным из всех.
Вы используете браузер для загрузки веб-сайта, взаимодействуете с ним с помощью кликов и нажатий кнопок, а когда у вас есть контент, который вам нужно очистить на экране, извлеките его с помощью Selenium CSS и XPath селекторы.
Beautiful Soup может выбирать элементы HTML с помощью селекторов XPath или CSS. Однако он не предлагает функций для очистки элементов, отображаемых JavaScript, на веб-странице.
Скрапинг веб-страниц стал проще с Python
Интернет переполнен необработанными данными. Веб-скрапинг помогает преобразовать эти данные в значимую информацию, которую можно использовать с пользой. Selenium, скорее всего, ваш самый безопасный выбор, если вы хотите очистить веб-сайт с помощью JavaScript или вам нужно активировать некоторые элементы на экране перед извлечением данных.
Scrapy — это полноценный фреймворк для парсинга веб-страниц, который удовлетворит все ваши потребности, независимо от того, хотите ли вы написать небольшой сканер или крупномасштабный парсер, который постоянно сканирует Интернет в поисках обновленных данных.
Вы можете использовать Beautiful Soup, если вы новичок или вам нужно быстро разработать парсер. Какой бы фреймворк или библиотека вы ни использовали, с Python легко начать изучение веб-скрейпинга.
