Выпускная квалификационная работа



страница1/6
Дата06.08.2017
Размер1,89 Mb.
  1   2   3   4   5   6
Федеральное государственное автономное образовательное учреждение
высшего образования


КАЗАНСКИЙ (ПРИВОЛЖСКИЙ) ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ

ВЫСШАЯ ШКОЛА ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И
ИНФОРМАЦИОННЫХ СИСТЕМ

Направление подготовки: 09.03.03 – Прикладная информатика



ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Видео анализ внимания человека посредством web-камеры

Работа завершена:

«___»_____________2017 г.

Студент группы 11-301 ____________________ Ю.М. Якимова

Работа допущена к защите:

Научный руководитель

ученая степень, должность: Заведующий лаборатории E-lab

«___»_____________2017 г. ____________________ Р.Р. Гайсин

Директор Высшей школы ИТИС

«___»_____________2017 г. __________________ А.Ф. Хасьянов

Казань – 2017 г.

Содержание

Введение 3

1. Обзор Eye-Tracking систем 4

1.1 Контактные типы 5

1.2 Бесконтактные типы 7

2 Многоуровневый подход для обнаружения зрачка 9

2.1 Сегментация изображения 10

2.2 Алгоритмы обнаружения зрачка 11

1.3.1 Преобразование Хаафа 12

1.3.2 Градиент локализация на основе алгоритма Fabian Timm 15

1.3.3 Интегральная функция CDF распределения 19

1.3.4 Функция GPF проецирования 21

1.3.5 Edges-Analysis 23

2.3 Оценка стабильности рассмотренных алгоритмов 24

3. Автоматизированное определение направления взгляда 25 по видеоизображению

3.1 Процедуры калибровок 25

3.2 Классификация направления взгляда 28

4. Сравнительный анализ 30

4.1 Обзор аналогов системы 31

4.2 Статистические данные 35

5. Области применения eye-tracking системы

Заключение 37

Список использованной литературы 39

Введение

Наше зрение переключает внимание от одного объекта на другой подобно объективу телекамеры, фокусируясь на наиболее привлекательных объектах. Именно эта избирательность человеческого зрения легла в основу современного метода анализа внимания, который получил название Eye-Tracking.

Сегодня система eye-tracking позволяет при помощи технических приспособлений анализировать восприятие пользователей, которые взаимодействуют с продуктом или системой. Технология движения глаз оказываются ценной для тестирования пользовательского интерфейса, анализе визуального внимания или обработке эмоциональных данных. Кроме того, Eye-Tracking анализ помогает провести множество исследований в области маркетинга и рекламы для определения наиболее уместного расположения контента.

Методы еye-tracking, как правило, нацелены на стабильную точность и работают благодаря использованию специализированного дорогостоящего оборудования, однако на сегодняшний день немодифицированные веб-камеры являются хорошим устройством для пристального отслеживания движения глаз.

В рамках моего проекта ведется работа над созданием eye-tracking систеы, позволяющей регистрировать внимание человека, взаимодействующего с компьютером посредством не модифицированной web-камеры.

1 Обзор Eye-tracking систем

На сегодняшний момент выделяют два основных типа eye-tracking систем, которые базируютсся на различных подходах в регистрации движения глаз:

1. Контактные. То есть система, связанная с установкой устройства на роговицу глаза или вокруг него.

2. Бесконтактные. Метод измерения основанный на том, что чувствительный элемент не приводится в контакт с человеком.



1.1 Контактные типы

1. Портативный eye-tracker

Специализированные очки, предназначены для захвата естественного поведения взгляда человека в режиме реального времени, обеспечивая при этом исключительную надежность и точность отслеживания глаз. Данный eye-tracker захватывает максимальное поле зрения и углы поворота, сводя к минимуму слепые области.

Включенные датчики акселерометра и гироскопа позволяют различать движения головы и глаз, а надежная и последовательная калибровка является частью автоматизированного процесса и устраняет вероятность человеческих ошибок.

Контактные ай-трекеры больше подходят для исследования реальных объектов - рекламные баннеры, витрины магазинов, а также при вождении автомобилей и занятий спортом. Однако, при тестировании интерфейсов программных продуктов данное устройство не подходит.



На (Рисунке 1) изображены eye-tracker очки. Рассмотрим подробнее их компоненты:

Рисунок 1. Очки eye-tracker



2. Склеральные контактные линзы

Наиболее точный метод исследования характеристик регистрации движения глаз заключается во взаимодействии специальной контактной линзы (Рисунок 2) с фоторегистрирующим устройством, отслеживающим характеристики движения глаз.



Рисунок 2. Пример склеральной линзы, eye-tracking системы



Рисунок 3. Надевание склеральной, контактной линзы



1.2 Бесконтактные типы

1. Дистанционный eye-tracker

Дистанционные ай-трекеры представляют собой отдельный блок, который располагается перед испытуемым или на столе под компьютерным монитором (Рисунок 4).

Конструктивно данные ай-трекеры состоят из двух видеокамер с источниками инфракрасной подсветки. Прибор собирает высокоточные данные с близких расстояний, захватывает быстрые движения, показывает возможное расстояние отклонения головы, а также использует надежный уровень калибровки.

Данные ай-трекеры хорошо подходят для тестирования веб-сайтов или программных продуктов, но ограниченно подходят для исследования реальных продуктов и мобильных устройств.



Рисунок 4. Пример работы дистанционного ай-трекера.

2. Стационарная web-камера

Данная технология отслеживания движения глаз, предназначена для использования общего компьютера с встроенной не модифицированной веб камерой (Рисунок 5). Технология не требует специализированного, дорогостоящего оборудования, а удобство и простота использования обеспечивается бесконтактным отслеживанием взгляда в режиме реального времени.



Рисунок 5. Стандартная web-камера, встроенная в ноутбук



2 Многоуровневый подход для обнаружения зрачка

Процедура распознавания состоит из последовательного выполнения следующих этапов:

- Выделение характеристических особенностей лица;

- Обнаружение зрачка и координат его центра.



Блок-схема 1, иллюстрирует этапы работы eye-tracking системы.

Блок-схема1. Этапы работы eye-tracking системы.



2.1 Сегментация изображения

Первым шагом многоуровневого подхода является поиск лица, используя каскад Хаара (Рисунок 6). Работа с усилением каскадного классификатора включает в себя три основных этапа: сбор данных для обучения, подготовка и выполнение модели обнаружения.

Для обучения усиленного каскада слабых классификаторов требуется множество положительных образов, содержащих фактические объекты которые необходимо обнаружить, и набор негативных образов.

Отрицательные образы берутся из произвольных изображения, не содержащих объекты, которые мы хотим обнаружить. Негативные изображения перечисляются в специальном текстовом файле, где каждая строка содержит имя файла негативного образа.



Позитивные изображения создаются утилитой opencv_createsamples. Они используются в процессе обучения, чтобы модель обратила на них внимание при попытке найти нужный объект вызывающий интерес.

Рисунок 6. Функция обнаружения лица



2.2 Алгоритмы обнаружение зрачка

После того как необходимые области лица будут найдены, для каждого глаза применяется алгоритм обнаружения зрачка. Положение глаз должно быть получено, как можно более стабильным способом, так как глаза являются самой быстрой мышцей в нашем организме. Алгоритм каскадного обнаружения весьма вероятно потеряет информацию в случае обнаружения зрачка, именно по этой причине каскадная стабилизация не применяется.

В следующих разделах моей работы описываются и сравниваются алгоритмы обнаружения зрачка, учитывая их точность, скорость и временную стабильность:

1. Преобразование Хаафа;

2. Градиент локализация на основе алгоритма Fabian Timm;

3. Интегральная функция CDF распределения;

4. Функция GPF проецирования;

5. Edges-Analysis.



2.2.1 Преобразование Хаафа

Предлагаемый метод основан на определении точной границы зрачка на монохромном изображении. Алгоритм основан на бинаризации изображения с последующим поиском компонент связанности, граница каждой из которых подвергается преобразованию Хаафа [8].

Так как зрачок является темной областью изображения, то при значении бинаризации, превышающей яркость порога и меньшей яркости радужки, он может быть выделен в виде компонент связанности. Граница этих компонент - последовательность связанных точек и будет искомой границей зрачка (Рисунок 7)..

Алгоритм исполняется, как набор шагов:

1. Определение порогов бинаризации.

Поскольку заранее неизвестны порог бинаризации и уровень яркости зрачка и радужки, то производится несколько проходов алгоритма при разных порогах.

2. Бинаризация изображения

Всем пикселям изображения (M), значения которых меньше порога присваивается значение 1(черный цвет), а оставшимся пикселям, где значение больше, присваивается 0(белый цвет):



Операция бинаризации проводится с целью обнулить яркости, превышающие заданный порог и выделить пиксели с наиболее малыми яркостями, чтобы далее рассматривать исключительно объекты, полученные из тёмных областей.

3. Определение границ и компонент связанности.

На полученном бинарном изображении формируется несколько компонент связанности. Изображение обычно содержит несколько компонент связанности, одна из которых зрачок. Для каждой компоненты определяется упорядоченный список граничных точек, где границы компонент связанности представляют собой линию, близкую к окружности.

4. Обработка и сортировка компонент.

Для удаления компонент связанности заведомо, имеющих неадекватную форму используются параметры эквивалентного эллипса. Части изображения и их границы поочередно рассматриваются, для всех границ применяется модификация преобразования Хаафа и анализируется наличие характерного максимума, возникающего при условии, что граница связанности близка к окружности.

5. Преобразование Хаафа для компонент связанности.

Бывают случаи, когда на изображении зрачок частично перекрыт веком, в этом случае форма границы компоненты, существенно отличается от круглой. Для выбора наиболее близкой к окружности компоненты используется преобразование Хаафа.



Проводится процедура голосования: в каждом пикселе строятся внутренние нормали, на луче выбирается отрезок, ограниченный некоторыми значениями R(min) и R(max), после чего значения в точках отрезка увеличиваются на единицу. После окончания процедуры голосования значения в пространстве сглаживаются фильтром низкой частоты.

Рисунок 7. Шаги алгоритма преобразование Хаафа

Преобразование Хаафа позволяет корректно выделять центр, истинный радиус и контур зрачка даже при наличии больших помех, при условии лишь частичной видимости контура зрачка на изображении. Недостатком метода является потенциально большое время работы, возникающее при переборе большого количества компонент связанности и нескольких порогов бинаризации.



Поделитесь с Вашими друзьями:
  1   2   3   4   5   6


База данных защищена авторским правом ©grazit.ru 2017
обратиться к администрации

    Главная страница