Ubuntu, Apache: Кривое удаление

Иногда при кривом удалении(с помощью apt-get autoremove) и последующей установки apache, вас может встретить ошибка:

/etc/init.d/apache2: 51: .: Can't open /etc/apache2/envvars

Способ решения:

sudo apt-get remove --purge apache2 apache2-utils
sudo apt-get install apache2

Python: Нахождение старшего элемента в списке и его индекса

Для нахождения старшего элемента в списке:

print max(list)

Для нахождения индекса старшего элемента в списке:

print list.index(max(list))

Python, Ubuntu: Копирование и извлечение данных с буфера обмена

Нам понадобится пакет xclip:

sudo apt-get install xclip

И модуль xerox:

sudo pip install xerox

Взаимодействие с буфером, на программном языке:

import xerox 

xerox.copy(u'copy to clipboard by xerox')
print xerox.paste() 

Как всегда все просто. 

Python, Selenium: Получаем труднодоступные капчи

При работе с современными порталами, получение капчи стало намного сложней. Теперь они генерируются динамически и даже при передаче правильных cookie и referer и попытке ее скачать, вы все равно получите другое значение, нежели было изначально.

В принципе это убивает возможности работать с ресурсом, посредством curl и httplib. Но selenium почти полностью эмилирует браузер и это нам на руку.

Как вариант мы можем скачать скрин сайта и через PIL сделать срез нужных координат. Ну и дальше полученную часть отправить на сервисы распознавания, либо вбить руками.

Как мы поступаем:

from selenium.webdriver import Firefox
from PIL import Image 

browser = Firefox()
browser.get(' интересующий сайт ')
browser.save_screenshot('current_page')
current_page_img = Image.open('current_page')
w, h = current_page_img.size
captcha_img = current_page_img.crop((575, 505, w-155, h-1820))
captcha_img.save('captcha', 'jpeg')

Простыми словами. Мы переходим на сайт, сохраняем полный скриншот страницы. Дальше открываем его через PIL.Image и получаем высоту/ширину этого скрина. Потом с помощью crop мы делаем отсечение по координатах.

По параметрам:
575 - срез по левому краю
505 - срез от верха
w-155 - срез по правому краю, мы отсекаем данные от начальной ширины
h-1820 - срез от низа, отнимаем от начальной высоты

Ну вот и все, дальше сохраняем эту капчу и делаем с ней что хотим. Способ достаточно дубовый, но рабочий :)

Python, Selenium, Firefox: Некоторые мелочи

Изменение юзер агента:

from selenium.webdriver import Firefox, FirefoxProfile 

ff_profile = FirefoxProfile()
ff_profile.set_preference('general.useragent.override', ' нужный user agent ')
browser = Firefox(firefox_profile=ff_profile)
browser.get('http://www.whatsmyuseragent.com/')

Изменение прокси:

from selenium.webdriver import Firefox
from selenium.webdriver.common import proxy, desired_capabilities 

ff_proxy = proxy.Proxy({ 'proxyType'  :   proxy.ProxyType().MANUAL,
                                   'httpProxy'   :   ' нужный прокси ' })
modif_capabilities = desired_capabilities.DesiredCapabilities().FIREFOX
ff_proxy.add_to_capabilities(modif_capabilities)
browser = Firefox(capabilities=modif_capabilities)
browser.get('http://hideme.ru/ip/')

Изменения accept-languages:

from selenium.webdriver import Firefox, FirefoxProfile  

ff_profile = FirefoxProfile()
ff_profile.set_preference('intl.accept_languages', 'ru') # ru/en
browser = Firefox(firefox_profile=ff_profile)
browser.get('http://www.vk.com') 

Изменение директории для cache:

from selenium.webdriver import Firefox, FirefoxProfile  

ff_profile = FirefoxProfile()
ff_profile.set_preference('browser.cache.disk.parent_directory', '  путь ')
browser = Firefox(firefox_profile=ff_profile)
browser.get('http://www.vk.com') 

JS: Примитивный редирект

Если вам нужно средиректить пользователя, через некоторое время, то вы можете воспользоваться этим кодом:

<script type="text/javascript">
window.setTimeout("document.location = 'http://google.com';", 3000);
</script>

P.S. 3000 - 3 секунды.

Python, Selenium, Chrome: Способ задания таймаутов

Selenium отличный инструмент для тестирования web-приложений. Но Firefox очень прожорливый браузер и это чересчур заметно после запуска скриптов на несколько часов.

Приятным удивлением был Chrome/Chromium который заметно быстрей, при той же логике работы. Хотя не без косяков. Насколько мне известно, еще до сих пор в ChromeDriver, для Selenium, нету нормальный таймаутов, при загрузке документа. По крайней мере, встроенный метод set_page_load_timeout постоянно отдавал:

selenium.common.exceptions.WebDriverException: Message: '{"status":405,"value":["GET","HEAD","DELETE"]}' 

Но кое-какое решение нашлось, через модуль socket:

socket.setdefaulttimeout(10)
try:
    driver.get('http://google.com')
except socket.timeout:
    driver.quit()

И это вроде единственный из возможных вариантов, если быть точным, единственный известный мне :) Потому что:

1) Исполнение js, а именно window.stop() не происходит, если страница не загруженная полностью.
2) Внутреннего метода по остановке загрузки документа нету. Так как WebDriver, со слов разработчиков, эмулирует только работу пользователя внутри страницы, а не целого браузера. 

Регулярка для поиска ссылок на странице

Для получения полного урла, вы можете использовать эту регулярку:

(https?://([-\w\.]+)+(:\d+)?(/([\w/_\.]*(\?\S+)?)?)?)

Заметьте, если вы работаете пайтоновским модулем re и методом findall, то на выходе у вас будет список, внутри которого - кортеж, который включит в себя:

1) Полный урл. К примеру http://test.ru/test_page.htm
2) Только домен. К примеру test.ru
3) Страницу со слешом. К примеру /test_page.htm
4) Только страницу. К примеру test.htm