Работа с данными в облаке с помощью ScraperWiki

Реклама

Если у вас есть умственные способности, талант к программированию и рассказыванию историй, и взгляд на дизайн, вы можете добиться большего, чем заняться наукой о данных. Это новая большая вещь в технологии; очень модный и высокооплачиваемый, с исследователями данных, разыскиваемыми некоторыми из крупнейших компаний в мире.

ScraperWiki это компания, которая долгое время была связана с областью науки о данных. В течение последних нескольких лет этот стартап из Ливерпуля предлагал программистам платформу для написания инструментов, которые получают данные, очищают их и анализируют в облаке.

В связи с недавним обновлением и постоянно растущим спросом на специалистов по данным на предприятии стоит взглянуть на ScraperWiki.

Полное раскрытие: я был стажером в ScraperWiki прошлым летом.

Что делает ScraperWiki?

ScraperWiki позиционирует себя как место для сбора, очистки и анализа данных, и предоставляет результаты по каждому из этих показателей. В своей простейшей форме это позволяет вам - пользователю - место, где вы можете написать код, который извлекает данные из источника, инструменты для преобразования в формате, который легко анализировать, и в хранилище, чтобы сохранить его для последующей визуализации - который вы также можете обрабатывать с помощью ScraperWiki.

Он также поставляется с рядом готовых инструментов, которые автоматизируют повторяющиеся задачи, в том числе получение данных из PDF-файлов, которые, как известно, трудно декодировать. Это в дополнение к Поиск в Твиттере 5 крутых трюков поиска в Твиттере, чтобы контролировать, что люди говорят о васЕсли у вас есть веб-сайт или вы просто пытаетесь зарабатывать деньги в Интернете в качестве фрилансера, всегда полезно знать, что люди говорят о вас через Интернет. Люди могут цитировать ... Прочитайте больше и выскабливание коммунальных услуг. Вам не нужно никакого опыта разработки программного обеспечения, чтобы использовать их.

Стоимость

Как упоминалось ранее, ScraperWiki охватывает модель ценообразования freemium и предлагает услугу, которая имеет несколько уровней. Те, кто только начинает изучать данные или имеют ограниченные потребности, могут воспользоваться бесплатным сервисом. Это дает вам три набора данных - где вы храните свои данные и код.

Те, кто планирует написать несколько скреперов или хотят провести анализ данных, могут раскошелиться на премиум-аккаунт. Они начинаются с $ 9 в месяц и предлагают 10 наборов данных. Если этого все еще недостаточно, вы всегда можете перейти на самый высокий уровень, который поставляется с 100 наборами данных и стоит 29 долларов в месяц.

кодирование

Программисты часто очень разборчивы в том, как они пишут код. Некоторые предпочитают языки сценариев над скомпилированными языками. Некоторые предпочитают урезанный текстовый редактор по сравнению с интегрированной средой разработки (IDE). ScraperWiki это признает и предоставляет пользователю огромный выбор, когда вы пишете свой код.

Если вы так склонны, вы можете написать свой код в браузере. Как и следовало ожидать от любого профессионального уровня, веб- Топ-3 IDE на основе браузера для кодирования в облаке Прочитайте больше инструмент разработки, он поставляется с функциями, которые любой программист сочтет необходимыми, такими как подсветка синтаксиса.

В продаже есть несколько языков. Они включают питон 5 лучших сайтов для изучения программирования на PythonХотите научиться программировать на Python? Вот лучшие способы изучения Python в Интернете, многие из которых полностью бесплатны. Прочитайте больше - популярный язык сценариев, используемый подобными Google и NASA; Рубин 3 интерактивных, веселых и бесплатных способа начать изучать язык программирования RubyRuby - это выразительный язык сценариев очень высокого уровня. Он используется в Интернете в основном как часть среды веб-разработки Ruby on Rails, но также и автономно. Если вам интересно, что такое Ruby (не ... Прочитайте больше , который поддерживает ряд популярных сайтов, таких как Living Social; и популярный язык статистического анализа, Р.

Кроме того, вы также можете написать код из командной строки, используя SSH, Git и любой текстовый редактор, который вам нравится. Да, вы правильно прочитали. SSH Что такое SSH и чем он отличается от FTP [объяснение технологии] Прочитайте больше . Каждый ящик, который вы используете, представляет собой собственную учетную запись Linux, и вы можете подключиться к ней так же, как и к VPS или любой другой учетной записи оболочки. Доступно несколько текстовых редакторов, в том числе напор 7 главных причин дать текстовому редактору Vim шансВ течение многих лет я пробовал один текстовый редактор за другим. Вы называете это, я попробовал это. Я использовал каждый из этих редакторов более двух месяцев в качестве основного ежедневного редактора. Почему-то я ... Прочитайте больше который может быть расширен с помощью плагинов и путем редактирования конфигурации. Те, кого запугивает Vim, могут использовать Nano, легкий текстовый редактор командной строки.

Установленных библиотек должно быть достаточно для написания инструментов для извлечения данных и их обработки. Если вам нужно что-то более неясное, вы всегда можете создать virtualenv из командной строки. Как видите, разработчикам предоставлена ​​огромная гибкость.

Визуализация данных

Итак, вы получили свои данные. Вы нормализовали это. Вы убрали это. Вы проанализировали это. Теперь пришло время сделать некоторую визуализацию и показать миру то, что вы узнали.

ScraperWiki позволяет разработчикам отображать свои данные с помощью веб-страниц, созданных из хорошо знакомой трифекты HTML, CSS и JavaScript. Кроме того, компоненты Bootstrap поддерживаются "из коробки".

Существует несколько готовых визуализаций, в том числе те, которые отображают ваши данные на карте и находят тенденции в ваших выводах. Чтобы использовать их, вам нужно убедиться, что ваши данные хранятся в виде файла SQLite с именем файла «scraperwiki.sqlite». Затем вы просто добавляете интересующую вас визуализацию. Просто, правда?

Вывод

ScraperWiki Предлагает многое разработчикам, которые хотят провести некоторый анализ данных, не мешая их среде разработки, в то же время обладая гибкостью, способной удовлетворить даже самых требовательных пользователей. Но что вы думаете? Позвольте мне знать в комментариях ниже.
Кредит Фотографии: Ракетная наука (Дэн Браун)