ТЕХНОЛОГИЯ
Используя видеоинформацию с веб-камеры система считывает биометрические параметры лица человека, положение его головы и глаз. Текущая информация анализируется искусственным интеллектом. На основе анализа ситуации, в которой находится пользователь, система принимает решение для подачи команды управления.
Интеллектуальное ядро
Интеллектуальное ядро принятия решений создано на основе нечеткой нейронной сети. Нечеткая нейронная сеть имеет преимущества перед обычной нейронной сети в быстродействии. В режиме настройки сеть обучается по средствам генетических алгоритмов обучения. Такой подход в раздельности обучения и применения так же призван обеспечить необходимое быстройдействие в режиме реального времени. При использовании большим количеством пользователей для распознавания команд на мобильных платформах используется облако.
3D-модель лица
Уникальность распознавания лица основано на построении 3D-модели лица по заложенному шаблону на 2D-видеопотоке. При построении 3D-модели учитывются только существенные биометрические точки лица, имеющие принциальное значение для интерфейса. С помощью специальных методов фильтрации, не имеющих аналогов, отсеиваются хаотические движения глаз. В результате совместного анализа положения головы и положения глаз на видео, возможно выделение управленческого сигнала именно глаз, при этом голова может оставаться подвижной. Интеллектуальная система применяет заранее заложенную 3D-модель лица.
Проблема управления существующими программа с помощью жестов заключается в том, что интерфейс программ специально адаптирован по упрвление курсором. Решением этой проблемы является управление комбинированным методом. Комбинированный метод заключается в использовании жестов и четкого позиционирования курсором, при этом для распознования жестов используется ситуационный анализ. Курсор двигается по экрану, отслеживая направление взгляда или следит за положением головы, в зависимости от режима. Управление по меню происходит обычным наведением курсора на пунктменю, далее жестом, например движением головы вправо, выбирается подменю. Выбор из списка подменю также осуществляется жестом, например кивком головы. Кивок головы распознается команда.
Для управления стандартными программами жесты будут интерпретироваться по-разному, используя метод ситуационного анализа. Как правило, в программах с классическим меню для навигации используется фундаментальное понятие "Фокус", то есть на что наведен курсор. В зависимости от ранее совершенных действий и фокуса одна т таже команда интерпретируется по-разному.
В комбинированном режиме для подачи команд и отличия их от позиционирования курсором используется переход в режим подачи команды - например единовременным ткрытием рта, моргание глаза или специальным звуком. Конкретный метод перехода в режим "Жест" пользователь задает сам.
Распознование глаз
Выделение градиента изображений глаз
Деформированная модель глаза
