🖥 Программы и скрипты 🖥 - Ide для создания скриптов для парсинга на основе phantomjs casperjs | StarSliv 🔥 Скачать слив курсов, складчин и видеокурсов бесплатно онлайн

Добро пожаловать!

Зарегистрировавшись у нас, вы сможете обсуждать, делиться личными сообщениями с другими членами нашего сообщества.

Регистрируйтесь прямо сейчас!

🖥 Программы и скрипты 🖥 Ide для создания скриптов для парсинга на основе phantomjs casperjs

  • Автор темы Автор темы job9087
  • Дата начала Дата начала

job9087

Учитель
ПОЛЬЗОВАТЕЛЬ
Регистрация
19 Окт 2018
Сообщения
26,098
Цена продажника: 19$
Ссылка на продажник:
Скрытое содержимое. Вам нужно войти или зарегистрироваться.


Посмотреть вложение 21443

Описание программы:

Очень часто вижу тут дорогие скрипты, программы для парсинга и скрапинга контента, но мало кто знает что самая крутая штука для скрапинга (сохранения инфы из интернета у себя на компьютере) являются такие бесплатные опен серс скрипты как phantomjs и slimerjs с дополнением в виде фреймворка casperjs. Phantom и slimer по сути являются полноценными браузерами, которые работают на основе js скрипта который вы должны написать - возможности неограниченные... хотите выкачивайте любой контент с любых сайтов, хотите регайтесь на сайтах, хотите запускайте тесты любой сложности итп... можно все что захотите - единственная сложность нужны базовые знания js и английский тоже не будет лишним для чтения апи... Разница между этими двумя скриптами в том какой двиок браузера они используют - один работает на webkit (phantom) и второй на gecko (slimer - многие справедливо считают что js движок мозилы лучше). Casperjs объединяет оба проекта единым удобным апи с кучей крутых функций.

чем то это штука похожа на знаменитый плагин для firefox imacros, но гораздо круче... например прямо сейчас я выкачиваю все курсы одного поп сайта (что-то около 600 видео в .mp4) - общий вес видимо больше 30 гигов будет, там все видео описания и доп материалы. все что я сделал это написал скрипт и запустил - он сам все качает раскладывает по папкам, которые сам создает и сам переименовывает папки и файлы... Перед скачкой каждого курса скрипт логинится на сайте где нужно что-то скачать... и самое крутое он вообще не напрягает мой компьютер тк я прописал грузить html но не обрабатывать его...

Описание раздачи

Написание подобных скриптов может быть не таким простым как кажется тк не все очевидно и до много приходится доходить методом проб и ошибок и запускать и тестировать скрипты в командной строке, редакторе итп не очень удобно. Для облегчения процесса написания подобных вещей был создан сайт https://www.casperbox.com/ и тк онлайн сервисы не вызывают доверия у людей которые понимают как они работают была создана версия этого сайта для компьютеров на основе node-webkit, что означает что эта прога работает и в windows и в linux и в os x - ей я и делюсь с вами.

С огромным удовольствием пощу это тут тк прога на основе node-webkit и по моему мнению программы на основе node-webkit обязаны быть 100% бесплатными, но купить все же пришлось)


Скачать:
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
 

Пользователи онлайн

Сейчас на форуме нет ни одного пользователя.

Статистика форума

Темы
63,098
Сообщения
97,072
Пользователи
60,674
Новый пользователь
mln1k

Поделиться страницей

Назад
Сверху Снизу