Формулы и программирование

Tesseract оснащен возможностью автоматизированного управления параметрами при помощи формул и скриптов. Для этого был специально разработан язык ⚡ ThunderScript.

Все фильтры и узлы Tesseract можно связывать между собой логикой любой сложности, используя формулы и скрипты. Параметры фильтров можно задавать формулами (как в Excel), прямо на предпросмотрах можно размещать кнопки, ползунки, флажки и прочее, связываться с ними при помощи скриптов и формул. Кнопки и ползунки могут быть нажаты прямо из видеопотока. Также можно создавать свои эффекты при помощи GPU-шейдеров, и легко интегрировать их с видеотрактом, благодаря IDE с интерактивным просмотром.

Формулы и мастеры

Настройки фильтров можно задавать с помощью формул, почти как в Excel. В них можно производить расчёты и легко анимировать изменения свойств, ссылаться на другие узлы и фильтры, и их параметры, например, на элементы управления, фильтры анализа и машинного зрения, обращаться к локальным, сетевым и онлайн-данным, переменным и клавиатуре.

Язык формул делался максимально простым для освоения: при вводе формул появляются подсказки с автозавершением, автоматически исправляется ввод в неправильной раскладке, язык не чувствителен к регистру и прощает мелкие неточности, поддерживаются управляемые константы.

Для каждой настройки фильтров также предусмотрены мастеры - наборы готовых формул, позволяющих одним нажатием задать поведение параметра - колебания, зависимость от времени, движение по траектории, поворот на цель, произвольное блуждание, управление с клавиатуры или мыши, взятие образца цвета из видео и тому подобное. Всё, что нужно - нажать кнопку, и нужные формулы введутся автоматически.

Контролы и AR

В Tesseract можно рисовать пользовательский интерфейс: кнопки, ползунки, текстовые поля, флажки - это всё тоже фильтры "Контролы".

Можно выносить управление нужными параметрами прямо на окно предпросмотра. Контролы имеют массу настроек поведения, а также поля ввода скриптов - эти скрипты будут запускаться при наступлении событий, например, нажатии кнопки или перемещении ползунка.

"Холст" позволяет организовать отрисовку любой графики или просто рисовать прямо по видеопотоку.

Объекты и люди в видео могут нажимать кнопки, двигать ползунки и т.п. Гибкие настройки работы в режиме AR позволяют работать с разным контентом - с прозрачным и непрозрачным фоном, сжатых и несжатых видеопотоков. Есть возможность работы с файлами, COM-портом, траекториями.

Скрипты

Интегрированнй язык ThunderScript позволяет задавать сложные сценарии поведения видеообработки и автоматизировать задачи управления видеотрактом и стриммингом. Поля ввода скриптов имеют подсветку синтаксиса, подсказки и автозавершение с исправлением раскладки. Скрипты можно комбинировать с фильтрами анализа видеопотока, контролами и формулами.

Язык рассчитан на минимальный порог вхождения, то есть продуман так, чтобы его было как можно проще освоить - нечувствительность к регистру и раскладке клавиатуры, мелким оплошностям, динамическая типизация, простой и лёгкий доступ к локальным и онлайн-источникам данных, к видеотракту, простая анимация и работа с сочетаниями клавиш. Для работы с языком достаточно знаний формул Excel. В процессе интерпретации кода язык производит частичную асинхронную двухуровневую JIT-компиляцию, благодаря которой, с одной стороны, достигается высокая скорость исполнения кода, с другой - не происходит задержек и ожиданий прекомпиляции.

Скрипты размещаются в свойствах контролов и выполняются при наступлении событий - нажатия кнопки, перемещение ползунка и т.п.

Шейдеры GLSL

В Tesseract шейдер - это программа, которая выполняется на видеокарте. Шейдеры эффективны и быстры в обработке и генерации 2D и 3D графики.

Специальные фильтры позволяют генерировать фон и обрабатывать видеопотоки с помощью произвольного алгоритма на языке GLSL. Например, можно создать процедурную генерацию фона, свой алгоритм хромакея или цветокоррекции.

В фильтр интегрирован редактор кода с подсветкой синтаксиса, поддерживается до 5 буферов рендеринга, каждый из которых может принимать на вход до 5 текстур. Текстурами могут быть статичные и анимированные изображения, другие буферы, видеопотоки из любой части видеотракта. Компиляция происходит почти мгновенно, и результат работы шейдера виден сразу.

Язык GLSL расширен возможностями быстрой интеграции с видеотрактом - например, можно прямо из кода шейдера обратиться к контролу выбора цвета или датчику движения - вся работа по преобразованию и пробросу значений в GPU произойдёт автоматически. Для безопасности, шейдер может исполняться в отдельном процессе (эту настройку можно менять в горячем режиме).

На платформе shadertoy.com размещена масса шейдеров, генерирующих потрясающие пейзажи и эффекты. Поскольку среда исполнения шейдеров Tesseract совместима с этой платформой, можно копировать шейдеры оттуда в фильтр, и они будут работать (не забывайте про лицензию).

Интеграция

ПО располагает пакетом инструментов для интеграции с информационной инфраструктурой и управления аппаратным обеспечением.

Фильтр "Сервер" позволяет организовывать web-серверы с функциями удалённого управления стриммингом, один или несколько микросервисов для обработки визуальной информации и любых других задач - ПО позволяет полностью или частично организовать backend информационной системы.

Особый пакет фильтров позволяет управлять локальной рабочей станцией, в том числе, интегрироваться с другими программными продуктами. Можно, например, автоматизировать управление презентациями PowerPoint, визуализировать и управлять состоянием клавиатуры и мыши скриптами и макросами, имитировать ввод текста, запускать и контролировать сторонние приложения обработки информации, управлять файлами, именованными и анонимными каналами, напрямую печатать кадры из видеопотока на принтере с цветокоррекцией.

В скриптах и формулах ThunderScript можно легко работать с источниками информации в форматах JSON, CSV, XML, YAML, а также с запросами REST API - не нужно задумываться о формате, процедурах асинхронной загрузки и обновления информации - всё это автоматизировано и доступно из любой части ПО.

Анализ и машинное зрение

Фильтры анализа видеопотоков позволяют считывать определённые параметры видео и звука - от простого снятия образца цвета в реальном времени до анализа частотных характеристик звука. В связке с возможностью указывать параметры любых фильтров с помощью формул, фильтры анализа создают большие возможности создания интерактивного поведения и спецэффектов в видео реального времени.

Инструмент "Градиентомер" строит графики, анализирует и записывает интенсивность каналов на строке, столбце или произвольной линии изображения в реальном времени.

Фильтры анализа звука позволяют выделять спектр, частотные и другие составляющие звука в реальном времени, обнаруживать басы и тональные сигналы, а также работать с DTMF-метками.

Инструменты для измерения отрезков, углов, периметра и площади позволяют в реальном времени прямо на видеоизображении производить замеры в любых единицах измерения.

Специальный набор фильтров машинного зрения позволяет прототипировать видеотракты роботизированных систем на интуитивном уровне и автоматизировать управление обработкой видеопотоков: распознавание объектов и текста, многоканальная GPU-свёртка с удобным редактором ядра до 7х7, фильтры трекинга, обнаружение и усиление микродвижений, усреднение видео с поддержкой 32 бит на канал и др. Каждый фильтр обладает расширенными возможностями оптимизации, управления каналами и разрешением обработки, а также способами вывода результата.

Google Sites

Report abuse