SikuliX описание, скриншоты и видео

SikuliX автоматизирует все, что вы видите на экране вашего настольного компьютера под управлением Windows, Mac или Linux/Unix. Он использует распознавание изображений на базе OpenCV для идентификации компонентов графического интерфейса. Это удобно в тех случаях, когда нет простого доступа к внутренним компонентам графического интерфейса или исходному коду приложения или веб-страницы, с которой вы хотите действовать.

SikuliX поддерживает языки сценариев

Уровень языка Python 2.7 (поддерживается Jython)
поддерживается запуск текстовых скриптов RobotFramework (см. документы)
Уровень языка Ruby 1.9 и 2.0 (поддерживается JRuby)
JavaScript (поддерживается Java Scripting Engine)

… и вы можете использовать его в Java-программировании и программировании/скриптах с любым языком программирования/скриптов с поддержкой Java (Jython, JRuby, Scala, Clojure, …).

Хотя SikuliX в настоящее время недоступен ни на одном мобильном устройстве, его можно использовать с соответствующими эмуляторами на настольном компьютере или на основе решений VNC. Решение для Android-устройств на основе ADB (Android Debugging Bridge) находится на ранней экспериментальной стадии.

Помимо поиска изображений на экране, SikuliX может управлять мышью и клавиатурой для взаимодействия с идентифицированными элементами графического интерфейса. Это доступно для сред с несколькими мониторами и даже для удаленных систем с некоторыми ограничениями.

SikuliX поставляется с базовым распознаванием текста (OCR) и может использоваться для поиска текста в изображениях. Эта функция поддерживается Tesseract.

SikuliX — это Java-приложение, которое работает в Windows, macOS и большинстве систем Linux/Unix.