Анализ и фильтрация электроокулограмм в задаче распознавания движений глаз



Скачать 304,41 Kb.
Дата29.10.2016
Размер304,41 Kb.
САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Математико-механический факультет

Кафедра системного программирования

АНАЛИЗ И ФИЛЬТРАЦИЯ ЭЛЕКТРООКУЛОГРАММ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ДВИЖЕНИЙ ГЛАЗ

Дипломная работа студента 545 группы
Медведева Алексея Михайловича

Научный руководитель

………………
/ подпись /

разработчик ПО „Ланит-Терком“ Пименов А.А.

Рецензент

………………
/ подпись /

к.ф.-м.н., ст. преподаватель

Вахитов А.Т.



“Допустить к защите”
заведующий кафедрой,

………………

/ подпись /



д.ф.-м.н., проф. Терехов А.Н.

Санкт-Петербург



2016

SAINT PETERSBURG STATE UNIVERSITY

Mathematics & Mechanics Faculty

Software Engineering Chair

EOG ANALYSIS AND FILTRATION IN EYE MOVEMENTS RECOGNITION PROBLEM

by

Alexey Medvedev


Master’s thesis



Supervisor

………………

Software developer “Lanit-Tercom” A.A. Pimenov

Reviewer

………………

PhD, senior Lect.

A.T. Vakhitov



“Approved by”
Head of Department

………………

PhD, Professor

A.N. Terekhov


St. Petersburg

2010

Содержание





1. Обзор 5

1.1. Типы eye-tracking-систем 5

1.1.2. Склеральные контактные линзы 5

1.1.3. Видеофиксация роговичных отражений 7

1.1.4. Анализ электроокулограмм 8

1.1.4.1 Физиологические предпосылки 9

1.1.4.2 Общие особенности программно-аппаратной реализации 9

2. Постановка задачи 12

2. 1. Анализ и подавление помех 14

2. 2. Разработка дискретизирующего фильтра саккад 16

3. Реализация 19

3.1. Анализ и устранение помех 19

3.1.1. Спектральный анализ спокойных участков электроокулограмм 19

3.1.2. Помехи на саккадических участках электроокулограмм 21

3.1.3. Устранение высокочастотных помех 22

3.1.3.1. Экспоненциальное сглаживание 22

3.1.3.2. Биполярная фильтрация 23

3.1.3.2.1. Корреляция сигналов 25

3.1.3.2.2. Устранение высокочастотных помех 33

3.1.3.2.3. Усреднение саккадических бросков на биполярах 35



3.2. Дискретизирующий фильтр саккад 36

3.3. Результаты 40

4. Заключение 42

Список литературы 44



Введение
В последнее время возрастает потребность в системах, распознающих и фиксирующих движения глаз человека.

Такого рода механизмы уже сейчас существуют, и интерес к ним не ограничивается лишь рамками научных исследований зрительной и нервной систем человека [1][2][3][4].

Сегодня системы, позволяющие детектировать и анализировать движения глаз (eye-tracking-системы, eye-tracker'ы) оказываются ценными для тестирования пользовательских интерфейсов [5]. Кроме того, eye-tracking-анализ web-страниц зачастую используется дизайнерами и маркетологами для определения наиболее уместного расположения рекламного контента [6].

Еще одной областью применения eye-tracking-систем является сбор и анализ информации о действиях человека при оперировании различными техническими устройствами, такими как автомобили, самолеты и прочие, с целью последующего выявления и изучения аспектов, вызывающих наибольшие трудности при управлении или представляющих угрозу безопасности [7].

Кроме того, существуют различные исследования, целью которых становится создание программно-аппаратного комплекса, с помощью которого можно было бы задействовать движения глаз человека в управлении компьютерными устройствами или искусственными частями опорно-двигательного аппарата для людей с ограниченными возможностями.

В рамках проекта «Окулографический интерфейс» ведется работа над созданием продукта, позволяющего управлять компьютером с помощью eye-tracking-системы, построенной на базе анализа зависимостей изменения биопотенциалов, снимаемых с кожи вокруг глаз во время их движения, от времени. Сигналы, получаемые таким образом, носят название электроокулограмм (ЭОГ).

Целью данной дипломной работы является создание модуля комплексного анализа ЭОГ, а также модуля онлайн-фильтрации этих сигналов, позволяющего максимально точно в режиме реального времени по обработанным графикам восстанавливать амплитуду и угол поворота глаз человека.

1. Обзор




1.1. Типы eye-tracking-систем

На сегодняшний момент выделяют несколько основных типов eye-tracking-систем, базирующихся на различных подходах в детекции глазных движений, которые будут описаны в следующих разделах.



1.1.2. Склеральные контактные линзы

Наиболее точный метод детекции и измерения характеристик движений глаз человека заключается во взаимодействии специальной контактной линзы c оптическим или электромагнитным устройством, отслеживающим характеристики движений глаз. Чаще всего в линзу внедряется тонкий провод, который соединяет ее с источником электромагнитного поля. Линза крепится непосредственно на склеру1 глаза испытуемого. Внутри линзы провод работает в роли катушки индуктивности, при этом движение глаза провоцирует изменение характеристик магнитного потока через такую катушку, что отражается на токах внутри провода. В режиме реального времени происходит постоянный контроль вольт-амперных характеристик описанной цепи, на основании которых происходит детекция и определение параметров движений глаз. Хотя данный метод является наиболее точным, он имеет ряд существенных недостатков. Во-первых, описанная конструкция оказывается достаточно хрупкой, во-вторых, ношение специальной линзы требует аккуратности и привыкания и в любом случае вызывает дискомфорт. В-третьих, такого рода конструкции позволяют детектировать только чистые движения глазных яблок безотносительно сопутствующих движений головы человека. Такой подход оказывается неэффективным и требует дополнительных программно-аппаратных надстроек, когда требуется устанавливать в каждый момент времени не чистое положение зрачка испытуемого, а точку его взора, которая, например, может быть неизменной при комбинировании вращения глазного яблока с противоположным по направлению движением головы испытуемого.






Рис. 1. Пример eye-tracking-системы на базе склеральной контактной линзы <http://www.skalar.nl>






Рис. 2. Надевание склеральной контактной линзы.<http://www.skalar.nl>


1.1.3. Видеофиксация роговичных отражений

В основе данного метода лежит принцип детектирования отражения направленного на роговицу пучка света (как правило, это инфракрасное излучение) с одновременным отслеживанием положения зрачка глаза.

Eye-tracking-системы, построенные на базе такого подхода, состоят обычно из детектирующих видеокамер, и программно- аппаратного комплекса обработки получаемого изображения.

Существуют как стационарные, так и мобильные (рис. 3) (прикрепляемые прямо к лицу человека) реализации такого рода систем.




Рис. 3. Мобильный вариант eye-tracking- системы на базе видеофиксации роговичных отражений



В рамках данного метода происходит измерение положения зрачка относительно бликов, получаемых на роговице от направленного пучка света (такие отражения-блики носят название образов Пуркинье [8]). Программная реализация системы подразумевает имплементацию методов кластеризации графических изображений с целью выделения положения зрачка (и его формы) и блика на получаемой картинке.

Такой подход позволяет сепарировать движения глазного яблока, определяемые по положению зрачка и движения головы, отслеживаемые по бликам (рис. 4).





Рис. 4.Относительные положения зрачка и образов Пуркинье.


Описанный алгоритм позволяет получать приемлемые результаты по точности детекции глазных движений (при этом по точности проигрыш предыдущему подходу достаточно существенен), кроме того, дает возможность интерпретировать их в комплексе с сопутствующими движениями головы. Помимо этого, по сравнению с предыдущим подходом аппаратная реализация данной системы не содержит элементов, непосредственно контактирующих с глазным яблоком, что резко увеличивает ценность системы с точки зрения конечного пользователя. Однако конечные реализации подобного рода систем оказываются достаточно дорогостоящими и поэтому недоступными на данный момент широкому классу потенциальных потребителей.

1.1.4. Анализ электроокулограмм

Описываемый подход использовался при разработке компонентов eye-tracking-системы в рамках данной дипломной работы, поэтому остановимся на некоторых его аспектах более подробно.



1.1.4.1 Физиологические предпосылки

Глазное яблоко – это электрический диполь – его сетчатка заряжена отрицательно относительно роговицы [9], поэтому при поворотах глазного яблока на коже вокруг глаз возникают броски потенциалов. Такие скачки регистрируются при резких смещениях взора (саккадах), при медленных смещениях взора, при глазном треморе1 и при морганиях - неконтролируемых двумя веками, а также намеренных. Наличие броска потенциала при морганиях объясняется тем, что при опускании век глазное яблоко инстинктивно вращается в направлении, обратном движению века, чтобы наиболее эффективно увлажнять и очищать глазную склеру. Знак броска определяется направлением движения глаза и местом расположения снимающего показания электрода, а амплитуда – углом его поворота.



1.1.4.2 Общие особенности программно-аппаратной реализации

Вполне полезным оказывается тот факт, что каждое характерное движение глазного яблока (саккада, плавное перемещение взора, намеренное моргание, неконтролируемое моргание) имеет свое собственное отражение на графиках зависимости величин разности потенциалов от времени при глазных движениях. Это наблюдение теоретически дает возможность достаточно точно решать обратную задачу: по графику зависимости значений бросков потенциалов от времени (электроокулограмме) после предварительной процедуры калибровки (для выявления параметров, определяемых характерными анатомическими особенностями конкретного испытуемого) определить направление и угол поворота глаза. Для этого нужно правильным образом расположить на коже вокруг глаз испытуемого электроды, с помощью которых следует получать в режиме реального времени электроокулограммы, программно обрабатывать их и выдавать результат в нужном в рамках конкретной задачи формате.

При этом стоимость программно-аппаратного комплекса оказывается приемлемой благодаря относительной доступности элементной базы.

Теоретически создание eye-tracking-системы на базе описанного метода позволило бы получить достаточно интересные результаты, например, дало бы возможность человеку управлять компьютером без использования мыши, передвигая курсор по экрану с помощью своих собственных глаз и эмулируя нажатия клавиш мыши морганиями (одиночным или двойным) соответствующим глазом. При этом электроды можно было бы оформить в виде оправы специальных очков. Конечно, здесь возникают серьезные препятствия и трудности как психологического, так и технического характера. К первым можно отнести относительную новизну такого подхода и очевидную необходимость для пользователя тратить некоторое (скорее всего вполне ощутимое) время на тренировку и привыкание к такого рода системе. Самой системе также необходимо получать предварительно необходимые сведения об особенностях тех или иных саккадических движений данного конкретного пользователя (для этого и нужна калибровка), чтобы далее решать задачу детекции и анализа саккад. Ко вторым относятся необходимость обеспечения работы всех узлов системы (получение сигнала с электродов, его фильтрация, обработка, анализ, перемещение курсора) в режиме онлайн, без каких-либо задержек, а также организация точности работы всего проекта в целом в связи с очевидной спецификой такого рода системы.

Описанная система имеет ряд преимуществ перед другими подходами. Во-первых, конечная программно-аппаратная реализация оказывается достаточно недорогой благодаря простоте аппаратного комплекса (вся обработка сигналов является программной) и общей доступности всех компонентов системы. Во-вторых, система непосредственно не контактирует с глазами, проста в использовании, работает в любых атмосферных условиях (туман, дым и т.д.). Описанные ранее системы практически не допустимы для использования людьми, носящими диоптрические очки или контактные линзы. Кроме того, анализ ЭОГ требует относительно малых вычислительных мощностей.

На данный момент на рынке представлено крайне мало реализаций eye-tracking-систем на базе обработки ЭОГ. Среди существующих можно выделить разработку швейцарских специалистов под названием Wearable EOG Goggles, использующую для обработки электроокулограмм дискретные вейвлет-преобразования. Однако данная система больше ориентирована на эмуляцию жестов и оказывается слабо применимой, если речь идет о необходимости точного распознавания параметров глазных движений, так как на данный момент она позволяет использовать для угловых градаций бросков взгляда лишь 16 секторов окружности [10].


2. Постановка задачи

В рамках экспериментов сотрудников НИИ СПбГУ им. Ухтомского была предпринята попытка создания eye-tracking-системы на базе анализа электроокулограмм – «Окулографический интерфейс». При этом для фиксации бросков потенциалов использовалось расположение электродов, указанное на рис. 5 (электроды помечены цифрами 1-4, к ушам крепится заземление).электроды_4.jpg



Рис. 5. Первоначальный вариант расположения электродов




Рис. 6. Примеры отражения саккадических движений на ЭОГ

Сигналы, снимаемые с кожи вокруг глаз каждым из электродов, подвергались аппаратному усилению и аналогово-цифровому преобразованию с частотой дискретизации 2 кГц и далее фиксировались в виде графиков зависимости от времени величины бросков потенциалов на коже вокруг глаз по горизонтальным и вертикальным составляющим для каждого из глазных яблок. Участок одной из таких электроокулограмм показан на рис. 6. рисунок1

Далее полученные сигналы подвергались цифровой обработке и выделению характерных участков, соответствующих движениям глаз испытуемого. На основании этих данных система передвигала курсор на экране компьютера в сторону, соответствующую распознанному в данный момент движению глазного яблока.


Первоначальная схема работы комплекса отражена на рис. 7.

Рис. 7. Первоначальная схема работы программного комплекса


Данная схема оказалась недостаточно эффективной из-за больших неточностей в процедуре детекции саккад и определении их амплитудных параметров. Причина этих неточностей прежде всего в недостаточной развитости аппарата обработки сигналов ЭОГ.


2. 1. Анализ и подавление помех

В ходе работы над eye-tracking-системой управления компьютером с помощью глаз стало понятно, что существенные препятствия в создании в целом эффективного комплекса детекции и интерпретации саккад создают разного рода помехи, представленные в электроокулограммах, подвергающихся обработке в режиме реального времени.

Общей причиной появления таких помех является специфика задачи, которая подразумевает работу с сигналами с широким полезным спектром, что автоматически ведет к требованию обеспечения широкой полосы пропускания всех аппаратных фильтрующих элементов. Кроме того, особенностью системы является также необходимость достаточно большого усиления сигнала в полосе пропускания с целью эффективной детекции малоамплитудных по свой природе полезных составляющих электроокулограммы, таких как предсаккадные пики и даже сами саккады. Так как эксплуатация программно-аппаратного комплекса подразумевает использование конечного прототипа в бытовых условиях без эффективного аппаратного экранирования, все это ведет в конечном итоге к постоянному «улавливанию» аппаратной частью различных вредоносных внешних сигналов, не представляющих никакого практического интереса.

Такие сигналы могут иметь как электрическую (например, наводки внешних электромагнитных полей), так и биологическую (биения сердца, высокочастотный тремор глаз) природу.

На основании общей информации о характерных амплитудно-частотных особенностях различных помех стало ясно, что их наличие не только снижает точность определения амплитуды и угла поворота глаза человека, но и вообще может являться причиной ложных детекций саккад (когда в действительности соответствующего движения глазного яблока не было) или, наоборот, помехи могут искажать сигнал таким образом, что программно обнаружить реальную саккаду становится практически невозможно.

Исходя из этих соображений, было решено в качестве первой цели данной дипломной работы выделить анализ и разработку методов устранения помех различной природы в электроокулограммах в режиме реального времени.


2. 2. Разработка дискретизирующего фильтра саккад

Второй целью данной дипломной работы была выбрана разработка дискретизирующего фильтра на основе «детектора ступеней» для комплексной обработки сигналов ЭОГ. На вход такого фильтра должны поступать сигналы ЭОГ, подвергнутые цифровой фильтрации при помощи динамического сглаживающего экспоненциального фильтра, в виде массивов значений функции, описывающей зависимости величин бросков потенциалов от времени (обработанные экспоненциальным фильтром графики ЭОГ показаны на рис. 8). Результатом работы дискретизирующего фильтра должны были стать графики с участками, соответствующими саккадическим движениям глаз, которые должны быть преобразованы к такому виду, что передний фронт возмущения представлял бы собой ступенчатую монотонную функцию с регулируемой длиной ступеней (горизонтальных участков), скорость роста которой зависела бы от резкости движения глаз; задний фронт бы игнорировался (сводился на ноль), и экстремум на таком участке графика определялся бы амплитудой текущего движения глазных яблок. Остальные возмущения (прежде всего низкочастотные помехи, не устраненные на предыдущих этапах фильтрации и поэтому представленные на входных сигналах данного фильтра) должны быть устранены (в соответствующие временные промежутки значения функции должны быть обнулены). Требование ступенчатости переднего фронта объясняется принципами общей концепции работы программно-аппаратного комплекса в режиме реального времени: на этапе исполнения алгоритмов перемещения курсора необходимо отслеживать непрерывный рост саккады, а не только ее конечные амплитудные характеристики. Данный фильтр проектировался как завершающий этап обработки ЭОГ, на выходе которого получается сигнал, по которому непосредственно восстанавливаются амплитуды и углы поворота глазных яблок.


эксп фильтр


Рис. 8. Результат работы экспоненциальногоо сглаживающего фильтра


В качестве важнейшего требования к фильтру была предъявлена необходимость работы алгоритма фильтра в режиме реального времени, то есть по ходу формирования ЭОГ и фильтрации ее экспоненциальным фильтром (который также отрабатывает «на ходу»). Далее, отфильтрованные таким образом сигналы должны были анализироваться следующим узлом системы на предмет взаимного расположения ступеней в рамках каждого ненулевого участка графиков. После этого на основе полученных результатов в режиме реального времени оставалось устанавливать амплитуду и направление движения глазных яблок испытуемого и классифицировать эти данные.


3. Реализация




3.1. Анализ и устранение помех




3.1.1. Спектральный анализ спокойных участков электроокулограмм

На первом этапе была проведена работа по определению характера постоянных помех и их амплитудно-частотных характеристик. Особенностью этих помех является тот факт, что они наблюдаются на всем протяжении ЭОГ, поэтому задача их детекции и эффективного устранение весьма важна в рамках всего программного комплекса. Помимо этого, повсеместность такого рода помех теоретически представляет возможность их детектирования на спокойных участках электроокулограмм, то есть соответствующих тем промежуткам времени, когда испытуемый намеренно не двигает глазами (в дальнейших экспериментах в качестве спокойных участков брались начальные отрезки ЭОГ длиной около 4 секунд, в течение которых испытуемый не двигал глазами)

К такого рода помехам можно отнести следующие.


  1. Высокочастотные помехи:

    1. наводки внешних электромагнитных полей 50 Гц и высокочастотные гармоники (100, 150 Гц);

    2. миограмма мимических мышц (>20Гц);

    3. глазной тремор (>20 Гц).

  2. Низкочастотные помехи:

    1. сердечные сокращения (~ 1,2 Гц);

    2. дыхание (<0,5 Гц);

    3. электромагнитная активность мозга (2 – 15 Гц);

    4. кожно-гальваническая реакция (<5 Гц).

Для изучения параметров таких помех брались наборы спокойных участков электроокулограмм различных людей и вычислялся их спектр. С этой целью в рамках модуля анализа электроокулограмм были реализованы метод быстрого преобразования Фурье, а так же алгоритм Гертцеля [11]. При этом сначала на участке сигнала применялось быстрое преобразование Фурье по небольшому числу компонентов разложения (количеству точек, измеренных за период), чтобы получить весь спектр частот, а потом с помощью быстрого алгоритма Гертцеля анализировались подробно отдельные диапазоны частот, имеющие наибольшие амплитудные характеристики.

Такой подход позволил ускорить и автоматизировать процесс получения и анализа спектра. На рис. 9 представлен усредненный амплитудный спектр для спокойных участков ЭОГ.

В анализе принимали участие спокойные участки ЭОГ, записанные на разных электродах различных испытуемых. Стоит отметить, что частота дискретизации АЦП при получении сигнала ЭОГ во всех опытах составляла 2 кГц, поэтому из-за наличия муарового эффекта смысла рассматривать в спектре гармоники с частотами более 1 кГц нет; что, впрочем, не является проблемой, потому как все практически полезные спектральные частоты ЭОГ укладываются в диапазон 0 – 1 кГц.



Рис. 9. Усредненный спектр спокойных участков ЭОГ

По виду спектра спокойных участков ЭОГ сразу становится понятным, что основную часть помех составляют низкочастотные помехи (<20 Гц), а также гармоники в районе 50 Гц и их высшие гармоники в окрестности 100 и особенно 150 Гц.



3.1.2. Помехи на саккадических участках электроокулограмм





Рис. 10. Участок ЭОГ с саккадой и отмеченной коррекционной саккадой

Во время периодов фиксации взора, длительность которых составляет от 0,15 до 2 сек, глаза человека немного смещаются за счет глазного тремора, который никогда не прекращается. Во время продолжительной произвольной фиксации глаз происходит также медленный "дрейф", за счет которого точка фиксации смещается относительно фиксируемого объекта. С помощью спецальных минисаккад, накладываемых через переменные интервалы от 0,2 до 2 сек, происходит компенсация этих дрейфов и восстановление правильной фиксации объекта. Такие минисаккады также называют коррекционными саккадами. На электроокулограммах эффект появления таких минисаккад представлен достаточно широко: практически любой бросок потенциала, соответствующий саккаде, имеет на своем заднем фронте одну или несколько коррекционных саккад (рис. 10).

Стоит отдельно отметить, что задний фронт саккадического участка сигнала, представляющий собой медленный пассивный спад потенциала к изоэлектрической линии, соответствует статическому положению глазного яблока. На электроокулограмме коррекционная саккада представляется классическим предсаккадным пиком1, вслед за которым, однако, не следует саккады (или она пренебрежимо мала по своим амплитудным характеристикам) в силу специфической функции коррекционной саккады. Таким образом, коррекционные саккады не могут дать никаких качественных сведений о динамике глазных движений, и наоборот, может приводить к ложным интерпретациям. Разработанная методика устранения коррекционных саккад изложена в следующих разделах.



3.1.3. Устранение высокочастотных помех




3.1.3.1. Экспоненциальное сглаживание

Стандартным подходом для устранения высокочастотных помех является применение различных модификаций методов скользящего среднего, при этом наиболее эффективными оказываются так называемые фильтры экспоненциального сглаживания. В их основе лежит следующее реккурентное преобразование зашумленного сигнала :



Параметр определяет степень подавления шума вместе с исходным сигналом. На выходе фильтра получается сглаженный сигнал , где



Такой алгоритм выполняется за линейное от размера входного сигнала время и действительно эффективно устраняет высокочастотные помехи, а также легко вписывается в общую концепцию фильтрации в режиме реального времени, поэтому он был реализован и внедрен в систему. Однако метод экспоненциального сглаживания имеет существенную погрешность (оцениваемую как математическое ожидание разности отфильтрованного и незашумленного сигналов), зависящую от амплитуды высокочастотной помехи, даже при оптимальном выборе параметра подавления [13]. Поэтому был разработан метод биполярной фильтрации, целью которого является максимальное снижение амплитуды высокочастотной помехи. После обработки биполярным фильтром сигнал подвергался уже экспоненциальному сглаживанию с меньшими искажениями.



3.1.3.2. Биполярная фильтрация

Общая идея биполярной фильтрации базируется на использовании дополнительных электродов таким образом, чтобы детектировать броски потенциала по вертикальному направлению для каждого глаза двумя электродами – над и под глазом (такие электроды были названы биполярами). В этом случае теоретически верхний и нижний электроды каждого глаза должны фиксировать одни и те же броски потенциала при саккадических движениях глаз, но с разным знаком (по отношению к верхнему биполяру на нижнем всегда фиксируется поворот в противоположную сторону), все помехи – в сущности одинаково. При этом некоторые помехи сами по себе могут быть неоднородными, поэтому их спектральные характеристики могут отличаться в разных частях лица испытуемого. Однако есть основания полагать, что как спокойные, так и саккадические участки (в чистом виде или с выделенным диапазоном частот, не содержащих сильных неоднородностей) получаемых таким образом ЭОГ будут коррелированы. Причиной плохой корреляции на саккадических участках могут также служить анатомические особенности и черепной коробки испытуемого, а также несимметричность лица человека относительно линии глаз, не позволяющие крепить биполяры так, чтобы они фиксировали в сущности схожий по спектральным характеристикам саккадический участок сигнала, снятого по разные стороны от глаза. Поэтому, чтобы добиться лучшей корреляции, есть смысл подвергать один из биполярных сигналов линейным преобразованиям или фазовым сдвигам, чтобы нивелировать эффекты несинхронного и неточного снятия сигналов.

Теоретически подобного эффекта можно было бы добиться и для горизонтального направления, однако, как показывают эксперименты, расположение дополнительных электродов в районе переносицы не позволяет получать полезных результатов. Этот эффект объясняется тем, что электроды, расположенные между глазами, испытывают сильное влияние активности обоих глазных яблок, что не позволяет четко выделять в получаемом сигнале характерные шаблоны движений одного из глаз. Однако с некоторой погрешностью можно считать горизонтальными биполярами электроды расположенные справа от правого глаза и слева от левого. Погрешность обусловлена тем фактом, что при саккадических движениях левый и правый глаз перемещаются не абсолютно синхронно.

При дальнейших исследованиях применялась следующая схема расположения электродов (рис. 11): электроды с номерами 1 и 4 – по горизонтали, пара биполяров 3 и 5 на правом глазу и обычный (не парный) электрод 2 на левом глазу (для оценки и сравнения эффективности работы биполяров по отношению к обычному подходу).



Рис. 11. Схема расположения 5 электродов

электроды_5.jpg



3.1.3.2.1. Корреляция сигналов

Для проверки гипотезы о коррелированности спокойных участков сигналов, полученных на биполярах, использовался коэффициент корреляции Пирсона:



,

где cov – ковариация;



D – дисперсия.
Для экспериментов использовались 20 различных записей ЭОГ и рассчитывался коэффициент корреляции на спокойных участках (порядка первых трех секунд записи) для биполяров 3-5 и 1-4. Полученные результаты представлены на рис. 12.

2

1




Рис. 12. Корреляция спокойных участков ЭОГ на биполярах 3-5 (график 1) и 1-4 (график 2)


Анализ полученных результатов показывает, что корреляцию нельзя назвать существенной даже на биполярах 3-5.

В предположении наличия слабо коррелированных низкочастотных гармоник была проведена аналогичная серия экспериментов, однако исследуемые сигналы были подвержены фильтрации цифровым полосным фильтром Баттерворта [14] четвертого порядка с полосой пропускания 25 – 1000 Гц. В итоге при подсчете корреляций рассматривалась только высокочастотная часть спектра ЭОГ. Полученные результаты представлены на рис. 13.

1

2




Рис. 13. Корреляция спокойных участков ЭОГ в высокочастотном диапазоне на биполярах 3-5 (график 1) и 1-4 (график 2)

Таким образом, в высокочастотном диапазоне показатели коррелированности спокойных участков сигналов ЭОГ на биполярах оказываются достаточно высокими, что в целом позволяет считать высокочастотные помехи коррелированными. Истинность этого тезиса также следует из анализа данных, полученных при подсчете коэффициента корреляции спокойных участков сигналов, подверженных фильтрации Баттерворта четвертого порядка с полосой пропускания 0 – 20 Гц (Рис. 14). Как видно из графиков, низкочастотные составляющие спектра оказываются слабо коррелированными.

2

1


Рис. 14. Корреляция спокойных участков ЭОГ в низкочастотном диапазоне на биполярах 3-5 (график 1) и 1-4 (график 2)


С учетом полученных данных о коррелированности различных гармоник спектра дальшнейшее исследование корреляции на неспокойных участках ЭОГ велось следующим образом. На первом этапе была показана высокая степень отрицательной корреляции (корреляция с домножением на -1) саккадических всплесков на биполярах. При этом записи подвергались фильтрации полосным фильтром Баттерворта с полосой пропускания 0 - 25 Гц, чтобы исключить из рассмотрения сильно коррелированные высокочастотные помехи. Далее на каждой из 20 записей выбирались 5 саккад и вычислялся коэффициент корреляции Пирсона на биполярах для каждого из передних фронтов таких саккад. Так как длина переднего фронта саккады не превышает порога в 0.1 с, таким образом, при исследованиях будет минимизировано влияние низкочастотных помех. После этого данные по саккадам каждой записи 1

2

усреднялись.



Рис. 15. Корреляция передних фронтов саккад в низкочастотном диапазоне на биполярах 3-5 (график 1) и 1-4 (график 2)

Полученные результаты (рис. 15) дают основания считать, что саккадические движения глаз действительно фиксируются на биполярах в различных направлениях.

Наконец, была проведена серия аналогичных экспериментов, в ходе которых коэффициент корреляции Пирсона измерялся на участках ЭОГ, соответствующих вхождению коррекционных саккад. Однако при этом высокачстотные гармоники спектра не отсекались, так как сами по себе коррекционные саккады (точнее представляющие их предсаккадные пики) имеют высокочастотную природу. Результаты подтверждают очень высокую степень коррелированности таких помех на биполярах (рис. 16).


1

2


Рис. 16. Корреляция коррекционных саккад в на биполярах 3-5 (график 1) и 1-4 (график 2)


Следующим этапом в исследованиях явился анализ изменений уровня корреляции высокочастотных помех на биполярах при различных фазовых сдвигах одного биполяра относительно другого. Рассчитывались средние значения коэффициента корреляции Пирсона на спокойных участках рассматриваемых ЭОГ в высокочастотном диапазоне (25 – 1000 Гц) для биполяров 3-5 и 1-4 с различными сдвигами по фазе на пятом и четвертом биполярах соответственно.


2

1




Рис. 17. Корреляция спокойных участков ЭОГ в высокочастотном диапазоне на биполярах 3-5 (график 1) и 1-4 (график 2) при фазовых сдвигах


Таким образом, результаты (рис. 17) показывают, что максимум коэффициента корреляции Пирсона наблюдается на обоих типах биполяров при нулевом фазовом сдвиге. Кроме того стоит отметить доминирование составляющих в высокочастотном диапазоне помех, кратных 50 Гц, вплоть до 150 Гц, что влияет на периодический характер коррелированности биполяров при фазовых сдвигах.


3.1.3.2.2. Устранение высокочастотных помех

Исходя из результатов, описанных в предыдущем разделе, можно так сформулировать основные выводы.



  1. Высокочастотные гармоники спектра помех (как постоянные высокочастотные помехи, так и коррекционные саккады) хорошо коррелированы на биполярах.

  2. Корреляция резко падает при фазовых сдвигах сигнала одного биполяра относительно сигнала другого.

  3. На низкочастотной части спектра помех корреляция мала.

  4. Саккадические движения глаз фиксируются на биполярах с разными знаками.

Опираясь на эти выводы, был предложен следующий алгоритм биполярной фильтрации высокочастотных помех.



  1. Выделяются начальные спокойные участки ЭОГ.

  2. Выделенные сигналы подвергаются полосной фильтрации Баттерворта с высокочастотной полосой пропускания.

  3. Участки сигналов, получаемых со вторых электродов в парах биполяров (четвертый и пятый электроды на рис. 11) подвергаются линейному пробразованию методом наименьших квадратов относительно участков сигналов, получаемых с первых электродов в парах биполяров (первый и третий электроды соответственно на рис. 11).

  4. С учетом полученных коэффициентов далее в режиме реального времени из поступающего с первого электрода пары биполяров сигнала вичитается подвергнутый линейному преобразованию второй сигнал с нулевым фазовым сдвигом.

Сущность метода наименьших квадратов в максимальном приближении одного сигнала к другому следующим образом.

Пусть - исходный сигнал, - приближаемый сигнал. Сигнал Y линейно преобразуется как , где коэффициенты a и b вычисляются исходя из минимизации суммы



путем приравнивания к нулю частных производных по этим параметрам.

На рис. 18 представлен усредненный высокочастотный спектр спокойных участков ЭОГ по биполярам различных записей после высокочастотной биполярной фильтрации.


Рис. 18. Усредненный высокочастотный спектр спокойных участков ЭОГ после высокочастотной биполярной фильтрации

Таким образом, высокочастотная биполярная фильтрация позволяет добиться существенного снижения высокочастотной составляющей помех.

Стоит отметить, что так как корреляция высокочастотных составляющих на биполярах весьма велика, то соответствующее линейное преобразование на основе метода наименьших квадратов незначительно деформирует приближаемый сигнал как в смысле растягивающей, так и в смысле аддитивной составляющей. Поэтому при биполярной фильтрации ЭОГ происходит также эффективное подавление сверхкоррелированных коррекционных саккад. Остаточный эффект после такого подавления может представлять собой низкоамплитудный кратковременный всплеск, который окончательно подавляется на этапе дискретизирующей фильтрации.

3.1.3.2.3. Усреднение саккадических бросков на биполярах

Так как саккадические движения глаз фиксируются на биполярах с разными знаками, однако отрицательная корреляция бросков весьма высока, при биполярной фильтрации также происходит суммирование амплитуд саккад на первом и линейно преобразованном втором электроде биполяров, что позволяет эффективно детектировать саккадические движения на основе показаний обоих электродов биполяра. Для определения истиной амплитуды детектированной саккады достаточно провести линейное преобразование вычисленной амплитуды, которое является обратным к проделанному на этапе биполярной фильтрации с учетом того, что биполяры в сущности детектируют один и тот же бросок.




3.2. Дискретизирующий фильтр саккад

В основе алгоритма фильтра лежит механизм последовательного анализа значений бросков разности потенциалов с разбиением всего графика ЭОГ на участки и их классификацией по нескольким группам для дальнейшей обработки.

Основными группами являются:


  1. участок затухания или плавного (низкочастотного) изменения сигнала (в этом случае осуществляется сведение значений функции к нулю);

  2. участок резкого роста или убывания (рост и убывание характеризуют броски взгляда в ту или иную сторону в горизонтальной или вертикальной плоскости; в этом случае организуется приведение графика к монотонно-ступенчатому виду);

  3. участок появления нового импульса (такой участок символизирует о вероятном последующем участке роста или убывания, поэтому на этом этапе производится подготовительная работа).

Классификация по группам осуществляется на основе анализа предыдущих и текущего значений. Приведение графика к монотонно-ступенчатому виду осуществляется с помощью циклического буфера, в котором агрегируются значения до обработки на предыдущих моментах времени, что позволяет в нужный момент (это происходит как раз на этапе появления нового импульса) засечь начало ступени (высота текущей ступени будет равна текущему значению) и определенному настройками числу следующих точек графика придавать это значение (именно эта настройка регулирует длину ступени). Ведение циклического буфера позволяет также отслеживать тенденции изменения характера возрастания и убывания сигнала, что дает возможность детектировать несаккадические участки сигнала, насыщенные низкочастотными гармониками помех, и сводить их к нулю, а также обнулять кратковременные низкоамплитудные остаточные всплески коррекционных саккад. В том случае, если в рамках одного участка роста или убывания сведение значений функции к величине высоты текущей ступени должно быть завершено по причине достижения этой ступенью ограничения по длине, засекается начало новой ступени. Работа над этим алгоритмом велась совместно с Храмцовой Еленой (математико-механический факультет СПбГУ, 545 группа). При таком подходе скорость роста монотонно-ступенчатой функции действительно зависит от величины броска разности потенциалов, а экстремум на соответствующем участке – от амплитуды движения глазных яблок. (Сами параметры величины броска потенциалов и амплитуды движения глазных яблок, очевидно, определяют вид исходных графиков ЭОГ).

Серьезную трудность в разработке представила далее необходимость работы фильтра в режиме реального времени, потому как это требование исключало возможность использования для анализа и изменения текущего значения следующих за ним значений, а также заставляло менять величину изменения разности потенциалов «на ходу». Стоит отметить, что без этих требований можно было бы находить момент начала затухания импульса (при этом следующие значения функции в рамках текущего этапа затухания сводятся к нулю), а далее проводить обратный просмотр пройденного импульса, фильтруя его уже в соответствии со всеми настройками и требованиями (вначале именно такой прототип и был создан, но по очевидным причинам возникла необходимость его переработки).

Отдельная работа была проведена по разработке механизма сохранения амплитуды возмущений исходных графиков после фильтрации. Эффект нежелательного уменьшения исходной амплитуды наблюдался в том случае, когда в момент сведения значений к высоте текущей ступени происходил переход к затуханию, который приводил к сбросу следующих значений на ноль, включая и то, что определяло экстремум на всем участке возмущения. Эта работа велась Храмцовой Еленой.

Кроме того, был разработан механизм для изменения параметров фильтра (прежде всего длины ступеней) в режиме онлайн, то есть непосредственно по ходу работы фильтра.

Участок результата применения разработанного фильтра представлен на рис. 19.




Рис. 19. Участок результата работы дискретизирующего фильтра

наш фильтр

3.3. Результаты

В ходе данной дипломной работы был создан модуль обработки сигналов в рамках системы «Окулографический интерфейс». Его компоненты в общей схеме программного комплекса отражены на рис. 20.




Рис. 20. Схема работы программного комплекса

За счет усреднения показателей по биполярам, применения методов эффективной биполярной фильтрации и подавления низкочастотных помех дискретизирующим фильтром саккад удалось добиться существенного роста эффективности всего программного комплекса в целом. Для оценки качества работы системы была использована следующая последовательность действий. После проведения процедуры калибровки испытуемому предлагалось следить за перемещениями кружка на экране (рис. 21).



Рис. 21. Последовательность передвижения кружка при оценке качества работы системы

Как видно из рисунка, в эксперименте были задействованы перемещения кружков с тремя различными амплитудами по восьми направлениям. При этом системой рассчитывались параметры глазных бросков на основе анализа обрабатываемых сигналов ЭОГ. По этим данным вычислялись координаты точек на экране. Далее анализировались расстояния между центрами кружков, генерированных системой, и кружков, построенных на основании анализа глазных движений. Усредненные результаты показывают, что применение алгоритмов, описанных в данной работе, приводит к значительному улучшению показателей точности срабатывания системы по сравнению с изначальным вариантом. На малых скачках в среднем расстояние упало с 3,1 до 1,7 сантиметров, на средних - с 4,1 до 2,1, на больших - с 4,9 до 2,9.



Рис 22. Схема модуля комплексного анализа ЭОГ

Помимо описанных результатов в рамках данной дипломной работы был разработан графический пакет комплексной обработки и исследования электроокулограмм, позволяющий проводить спектральный анализ сигналов ЭОГ, выявлять корреляционные зависимости между сигналами при различных условиях, а также имплементирующий интерфейс с визуализацией и логированием процесса настраиваемой биполярной фильтрации (рис. 22). Вся программная часть была выполнена на языке программирования С++.


4. Заключение

В рамках данной дипломной работы был реализован модуль комплексного анализа сигналов электроокулограмм, с помощью которого были исследованы спектральные разложения различных участков ЭОГ, классифицированы и описаны основные типы помех и методики их подавления.

С учетом проведенного анализа также был разработан модуль фильтрации сигналов ЭОГ в режиме реального времени, позволивший добиться существенного увеличения точности распознавания движений глаз человека.

Список литературы

1. Шамшинова А.М., Волков В.В. Функциональные методы исследования в офтальмологии. – М.: Медицина 1999. 416 c.

2. Castet E., Masson G.S. Motion perception during saccadic eye movments. Nat.Neurosci.3, 177-180. 2000.

3. Kimming H., Greenlee M.W., Gondan M., Kassubek M., Mergner T. Relationship between saccadic eye movements and cortical activity as measured by fMRI: quantitative and qualitative aspects. Exp. Brain. Res. 141: 184-194. 2001.

4. Robijanto S., Kaneko Ch.R.S., Fuchs A.F. Evidense that the superior colliculus participates in the feedback control of saccadic eye movements. J Neurophisiol. 87:679-695.2002.

5. Eyetracking, Inc (ETI), Interface Usability,– URL: http://www.eyetracking.com/solutions/interface_usability/.. Дата обращения: 25.01.2010.

6. Nielson J., Pernice K. Eyetracking Web Usability. New Riders Press. 437 p. 2009.

7. Eyetracking, Inc (ETI), Mission Critical Project.–URL: http://www.eyetracking.com/Solutions/mission_critical/Default.aspx. Дата обращения: 25.03.2010.

8. Eui Chul Lee1, Kang Ryoung Park, Jaihie Kim. Fake Iris Detection by Using Purkinje Image. D. Zhang and A.K. Jain (Eds.): ICB 2006, LNCS 3832, p. 397 – 403, 2005.

9. Белов Д. Р., Эрам С. Ю., Колодяжный С. Ф., Кануников И. К.,

Гетманенко О. В. Детекция движений глаз по электроокулограмме

при смещениях взора. Российский физиологический журнал имени

И. М. Сеченова, 95(4):347-359, 2009.

10. Andreas Bulling, Daniel Roggen, and Gerhard Tr_oster. Wearable

eog goggles: Seamless sensing and context-awareness in everyday

environments. Journal of Ambient Intelligence and Smart

Environments, 1(2): 157-171 2009.

11. Banks K. Embedded Systems Design. The Goertzel Algorithm,-URL: http://www.embedded.com/story/OEG20020819S0057. Дата обращения: 02.03.2010.

12. Храмцова Е.А. Обработка электроокулограмм. Распознавание предсаккадных пиков в режиме реального времени: Дипломная работа/ СПБГУ, 2010. -51с.

13. NIST/SEMATECH e-Handbook of Statistical Methods. Exponential Smoothing, –URL: http://www.itl.nist.gov/div898/handbook/pmc/section4/pmc43.htm. Дата обращения:15.04. 2010.



14. Bianchi G., Sorrentino R. Electronic filter simulation & design. McGraw-Hill Professional. p. 17-20,– URL: http://books.google.com/books?id=5S3LCIxnYCcC&pg=PT32&dq=Butterworth-approximation+maximally-flat&lr=&as_brr=3&ei=SiyWSt_yH5jGM5TdidcH#v=onepage&q=Butterworth-approximation%20maximally-flat&f=false. Дата обращения:  05.04.2010.

1 Скле́ра (от греч. σχληρός — твёрдый) — белковая оболочка — наружная плотная соединительнотканная оболочка глаза, выполняющая защитную и опорную функцию

1 Тремор - фиксационные движения глаз, обладающие высокой частотой и малой амплитудой

1 Подробное исследование предсаккадных пиков ведется в работе Храмцовой Елены [12]


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©grazit.ru 2017
обратиться к администрации

    Главная страница