19 нояб. 2016 г.

Ubuntu, Arduino: Начало работы

Взаимодействие Ubuntu с микропроцессорами/программаторами Arduino оказалось крайне простым и понятным.

После подключения к usb, проверить найденное устройство можно через утилиту lsusb(в моём примере QinHeng Electronics...), точка монтирования будет /dev/ttyUSB0(в зависимости от количества устройств 1,2,3 ...)



Сама IDE ставиться с офф. репозиториев:
apt-get update
apt-get install arduino
После этого желательность сделать рэбут, т.к. сразу после установки, софт не смог снять подключённое устройство с usb.

После этого мы заходим в IDE: service -> serial port -> нужно устройство

Ну и дальше проверяем взаимодействие с портом Сtrl-Shift-M/service -> serial monitor:



Ну и начинаем работать с устройством.

13 нояб. 2016 г.

Ubuntu: Установка avidemux в 16+

К сожалению, в Ubuntu 16+ из офф. репозиториев был убран Avidemux. Утилита крайне удобна для быстрого кодирования и легкого редактирования видео. К тому же, является кроссплатформенной.

Устанавливаем:
apt-add-repository ppa:mc3man/avidemux1
apt-get update
apt-get install avidemux

11 нояб. 2016 г.

RegExp, PHP: Регулярки поиска функций и переменных

Для поиска определённых функций, в php коде, можно использовать регулярку типа:
\bFunction\W*\(.+?\)
Для выдирания переменных с функции можно прогнать найденное через:
\$\w+
Удобно при быстром аудите кода через grep или аналогичные утилиты/скрипты.

8 нояб. 2016 г.

Gpg + Tar: упаковка и шифрование данных

Gpg - отличная и эталонная утилита для шифрования данных, проблема только в том, что она работает с единичными файлами, т.к. используется в основном для системных ключей. Стандартными средствами криптануть папку увы не можем.

Решить эту проблему можно через объединение её с упаковщиком tar или другими аналогичными архиваторами. Как пример:
mkdir test_folder
cd test_folder
touch 1 2 3
cd ../

tar cvf test_folder.tar test_folder && gpg -c test_folder.tar && rm -rf test_folder.tar
Дальше вводим пароль.

Для расшифровки мы используем обратную последовательность:
gpg test_folder.tar.gpg && tar xvf test_folder.tar && rm -rf test_folder.tar

16 авг. 2016 г.

Lubuntu, openbox: отключение смены рабочих столов через колесо прокрутки

Переходим в ~/.config/openbox/lubuntu-rc.xml

Далее удаляем в конфиге:
   <context name="Desktop">
      <mousebind button="Up" action="Click">
        <action name="GoToDesktop">
          <to>previous</to>
        </action>
      </mousebind>
      <mousebind button="Down" action="Click">
        <action name="GoToDesktop">
          <to>next</to>
        </action>
      </mousebind>

2 авг. 2016 г.

Encfs: target is busy

Постоянно использую encfs, при продолжительнной работе очень часто можно стоклнуться с тем, что в памяти зависает процесс(swp, log ...), который использует данные с монтированной папки, umount и fusermount после этого жалуються на "target is busy".

Как оказалось решение очень простое, umount нужно использовать с опцией lazy:
sudo umount -l mount_folder

1 авг. 2016 г.

Ubuntu: boot error, dd

В новых версиях ubuntu, примерно с 14.04+ началась глобальная проблема с установкой системы посредством usb. Относительно старые bios-ы не очень дружат с новыми бутлоадерами. Развертывание образа через unetbootin или sturtup disc creator приводит к boot error, при загрузки с флешки.

В этих ситуациях хорошо помогает утилита dd, которая позволяет проводить побайтовое копирование на носитель.

Для выявления точки монтирования:
lsblk -d
Для копирования:
sudo dd if=ubuntu-16.04-desktop-amd64.iso of=/dev/flash bs=1M

24 июл. 2016 г.

Ubuntu, Upwork: Проблемы с работой team app

В ubuntu 14+ у многих появились проблемы с работой трэкера от upwork, а именно в том, что приложение жалуется на невозможность установки соединения с сервером.

В большинстве случаев, как пишут люди, помогает установка пакетов libgcrypt11 + libgnutls26(28 в ubuntu15+).

К сожалению, у меня после этого upwork team app также продолжал жаловаться на соединение.

Решением для i386 стала установка старых libnss пакетов:
wget http://security.ubuntu.com/ubuntu/pool/main/n/nss/libnss3_3.19.2-1ubuntu1_i386.deb
wget http://security.ubuntu.com/ubuntu/pool/main/n/nss/libnss3-1d_3.19.2-1ubuntu1_i386.deb
dpkg -i libnss3*

13 июл. 2013 г.

Ubuntu, Apache: Кривое удаление

Иногда при кривом удалении(с помощью apt-get autoremove) и последующей установки apache, вас может встретить ошибка:
/etc/init.d/apache2: 51: .: Can't open /etc/apache2/envvars
Способ решения:
sudo apt-get remove --purge apache2 apache2-utils
sudo apt-get install apache2

22 июн. 2013 г.

3 июн. 2013 г.

Python, Ubuntu: Копирование и извлечение данных с буфера обмена

Нам понадобится пакет xclip:
sudo apt-get install xclip
И модуль xerox:
sudo pip install xerox
Взаимодействие с буфером, на программном языке:
import xerox 
xerox.copy(u'copy to clipboard by xerox')
print xerox.paste()
 
Как всегда все просто. 

8 мая 2013 г.

Python, Selenium: Получаем труднодоступные капчи

При работе с современными порталами, получение капчи стало намного сложней. Теперь они генерируются динамически и даже при передаче правильных cookie и referer и попытке ее скачать, вы все равно получите другое значение, нежели было изначально.

В принципе это убивает возможности работать с ресурсом, посредством curl и httplib. Но selenium почти полностью эмилирует браузер и это нам на руку.

Как вариант мы можем скачать скрин сайта и через PIL сделать срез нужных координат. Ну и дальше полученную часть отправить на сервисы распознавания, либо вбить руками.

Как мы поступаем:
from selenium.webdriver import Firefox
from PIL import Image
 
browser = Firefox()
browser.get(' интересующий сайт ')
browser.save_screenshot('current_page')
current_page_img = Image.open('current_page')
w, h = current_page_img.size
captcha_img = current_page_img.crop((575, 505, w-155, h-1820))
captcha_img.save('captcha', 'jpeg')
Простыми словами. Мы переходим на сайт, сохраняем полный скриншот страницы. Дальше открываем его через PIL.Image и получаем высоту/ширину этого скрина. Потом с помощью crop мы делаем отсечение по координатах.

По параметрам:
575 - срез по левому краю
505 - срез от верха
w-155 - срез по правому краю, мы отсекаем данные от начальной ширины
h-1820 - срез от низа, отнимаем от начальной высоты

Ну вот и все, дальше сохраняем эту капчу и делаем с ней что хотим. Способ достаточно дубовый, но рабочий :)

Python, Selenium, Firefox: Некоторые мелочи

Изменение юзер агента:
from selenium.webdriver import Firefox, FirefoxProfile 
ff_profile = FirefoxProfile()
ff_profile.set_preference('general.useragent.override', ' нужный user agent ')
browser = Firefox(firefox_profile=ff_profile)
browser.get('http://www.whatsmyuseragent.com/')
Изменение прокси:
from selenium.webdriver import Firefox
from selenium.webdriver.common import proxy, desired_capabilities
 
ff_proxy = proxy.Proxy({ 'proxyType'  :   proxy.ProxyType().MANUAL,
                                   'httpProxy'   :   ' нужный прокси ' 
})
modif_capabilities = desired_capabilities.DesiredCapabilities().FIREFOX
ff_proxy.add_to_capabilities(modif_capabilities)
browser = Firefox(capabilities=modif_capabilities)
browser.get('http://hideme.ru/ip/')
Изменения accept-languages:
from selenium.webdriver import Firefox, FirefoxProfile  
ff_profile = FirefoxProfile()
ff_profile.set_preference('intl.accept_languages', 'ru') # ru/en
browser = Firefox(firefox_profile=ff_profile)
browser.get('http://www.vk.com') 
Изменение директории для cache:
from selenium.webdriver import Firefox, FirefoxProfile  
ff_profile = FirefoxProfile()
ff_profile.set_preference('browser.cache.disk.parent_directory', '  путь ')
browser = Firefox(firefox_profile=ff_profile)
browser.get('http://www.vk.com') 

31 мар. 2013 г.

JS: Примитивный редирект

Если вам нужно средиректить пользователя, через некоторое время, то вы можете воспользоваться этим кодом:
<script type="text/javascript">
window.setTimeout("document.location = 'http://google.com';", 3000);
</script>
P.S. 3000 - 3 секунды.

6 мар. 2013 г.

Python, Selenium, Chrome: Способ задания таймаутов

Selenium отличный инструмент для тестирования web-приложений. Но Firefox очень прожорливый браузер и это чересчур заметно после запуска скриптов на несколько часов.

Приятным удивлением был Chrome/Chromium который заметно быстрей, при той же логике работы. Хотя не без косяков. Насколько мне известно, еще до сих пор в ChromeDriver, для Selenium, нету нормальный таймаутов, при загрузке документа. По крайней мере, встроенный метод set_page_load_timeout постоянно отдавал:
selenium.common.exceptions.WebDriverException: Message: '{"status":405,"value":["GET","HEAD","DELETE"]}' 
Но кое-какое решение нашлось, через модуль socket:
socket.setdefaulttimeout(10)
try:
    driver.get('http://google.com')
except socket.timeout:
    driver.quit()
И это вроде единственный из возможных вариантов, если быть точным, единственный известный мне :) Потому что:

1) Исполнение js, а именно window.stop() не происходит, если страница не загруженная полностью.
2) Внутреннего метода по остановке загрузки документа нету. Так как WebDriver, со слов разработчиков, эмулирует только работу пользователя внутри страницы, а не целого браузера. 

19 февр. 2013 г.

Регулярка для поиска ссылок на странице

Для получения полного урла, вы можете использовать эту регулярку:
(https?://([-\w\.]+)+(:\d+)?(/([\w/_\.]*(\?\S+)?)?)?)
Заметьте, если вы работаете пайтоновским модулем re и методом findall, то на выходе у вас будет список, внутри которого - кортеж, который включит в себя:
1) Полный урл. К примеру http://test.ru/test_page.htm
2) Только домен. К примеру test.ru
3) Страницу со слешом. К примеру /test_page.htm
4) Только страницу. К примеру test.htm

17 февр. 2013 г.

Ubuntu, VDS: "perl: warning: Setting locale failed."

После покупки VDS и начала работы, я столкнулся с подобной ошибкой/предупреждением:

perl: warning: Setting locale failed. 
perl: warning: Please check that your locale settings: 
    LANGUAGE = (unset), 
    LC_ALL = (unset), 
    LANG = "en_US.UTF-8"
    are supported and installed on your system. 
perl: warning: Falling back to the standard locale ("C"). 
locale: Cannot set LC_CTYPE to default 
locale: No such file or directory 
locale: Cannot set LC_MESSAGES to default 
locale: No such file or directory 
locale: Cannot set LC_ALL to default locale: No such file or directory

Решение оказалось достаточно простым:

sudo locale-gen en_US.UTF-8

7 февр. 2013 г.

Python, Tkinter: Вывод капчи и ввод значения + скрипт парсинга WordStat

Для получения данных, с WordStat, мне нужно было сначала программным методом вбить значение капчи и только потом работать с полученными данными.

Конечно можно тупо скачать/открыть картинку и указать значение в терминале, через метод raw_input. Но хочется, чтобы все было по-человечески :)

Есть одна особенность, в интернете хватает примеров, по этой фиче. Но модуль ImageTk, который нужен для интерпретации картинки в окне теперь вынесен отдельно с библиотеки PIL, потому его теперь нужно установить и использовать отдельно:

sudo apt-get install python-imaging-tk

В принципе, я не буду описывать все возможности Tkinter, да и сам их знаю мало, так как посмотрел вводную инфу только за час, до написания статьи :) Выложу просто свой код скрипта на dumpz.org

А более подробно почитать про Tkinter, вы можете перейдя по этой ссылке.


P.S. Вся работа скрипта построена на базе замечательной библиотеки Grab(ссылка на офф. сайт), эта либа в своих зависимостях требует Lxml + PyCurl.

У вышеуказанном скрипте - вся работа с капчей построена на базе методов tkinter_captcha и set_captcha.

Tkinter_captcha - подгружает скачанную с Яндекса капчу, интерпретирует ее как объект, с помощью ImageTK и передает у виджет Label.
С помощью виджета Entry - мы создаем в фрейме поле для ввода значения. 
С помощью виджета Button - кнопку, которая после нажатия, через callback, вызывает наш внутренний метод set_captcha.
Последний в свою очередь принимает данные с виджета Entry и добавляет их в переменную + закрывает окно.

Сам скрипт сырой, так как писался 4фан. Но свою задачу делает.

Скрины работы: