close

Вход

Забыли?

вход по аккаунту

?

Методы и модели анализа данных в управлении образовательным процессом образовательной организации МВД России

код для вставкиСкачать
На правах рукописи
Кузнецов Андрей Сергеевич
МЕТОДЫ И МОДЕЛИ АНАЛИЗА ДАННЫХ В УПРАВЛЕНИИ
ОБРАЗОВАТЕЛЬНЫМ ПРОЦЕССОМ ОБРАЗОВАТЕЛЬНОЙ
ОРГАНИЗАЦИИ МВД РОССИИ
Специальность 05.13.10 – управление в социальных и экономических системах
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Москва – 2017
2
Работа выполнена в Федеральном государственном казенном
образовательном учреждении высшего образования «Академия управления
МВД России»
Научный руководитель:
доктор технических наук, доцент
Бецков Александр Викторович
Официальные оппоненты:
Минаев Владимир Александрович
доктор технических наук, профессор
ФГБОУ ВО «Московский государственный
технический университет имени Н.Э. Баумана
(национальный исследовательский университет)»,
профессор кафедры ИУ-10 «Защита информации»
Рыженко Алексей Алексеевич
кандидат технических наук
ФГБОУ ВО «Академия Государственной
противопожарной службы МЧС России»,
доцент кафедры информационных технологий в
составе УНК АСИТ
Ведущая организация:
ФГКОУ ВО «Воронежский институт МВД
России»
Защита состоится «___» __________ 2018 г. в __ час. 00 мин. на заседании
диссертационного совета Д 203.002.04, созданного на базе ФГКОУ ВО
«Академия управления МВД России», по адресу: 125171, Москва, ул. Зои и
Александра Космодемьянских, д. 8, ауд. 415.
С диссертацией можно ознакомиться в библиотеке и на официальном
сайте Академии управления МВД России, https://а.мвд.рф.
Автореферат диссертации разослан: «___» _____________ 2017 г.
Ученый секретарь диссертационного совета
кандидат технических наук
Б.А. Торопов
3
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. Процесс реформирования
правоохранительных органов в России, а также динамика изменений
государственных стандартов в области образования требуют постоянного
совершенствования образовательного комплекса органов внутренних дел,
повышения качества принимаемых в нем решений, направленных на
подготовку высококвалифицированных специалистов.
Необходимость скорейшего решения данной задачи обусловлена в том
числе и масштабным внедрением современных информационных технологий в
практическую деятельность служб и подразделений органов внутренних дел. За
последние несколько лет в МВД России проведена большая работа по
формированию единого информационного-технологического пространства
ведомства путем построения Единой системы информационно-аналитического
обеспечения деятельности (ИСОД) МВД России.
Интенсивная информатизация деятельности органов внутренних дел
способствовала появлению инструментов интеллектуальной поддержки
принятия решений, позволяющих обрабатывать большие массивы данных.
Разработка и интеграция новых специализированных автоматизированных
информационных систем коснулась многих направлений деятельности
ведомства, однако, системные решения в интересах образовательного
комплекса органов внутренних дел на сегодняшний день отсутствуют.
Необходимость их разработки и широкого внедрения в процессы управления
становится объективной реальностью, которая нормативно закрепляется как в
государственных образовательных стандартах нового поколения, так и в других
документах федеральных и ведомственных органов управления образованием.
Существующие подходы к сбору данных об образовательном процессе в
образовательных организациях МВД России справляются с функцией
индивидуального учета результатов освоения обучающимися образовательных
программ. Однако сложившаяся практика и механизмы анализа этих данных
для поддержки принятия решений нуждаются в совершенствовании, одним из
направлений которого является использование методов интеллектуального
анализа данных. Интеллектуальный анализ представляет собой обобщающее
понятие, характеризующее интегральное применение современных методов
классификации, моделирования и прогнозирования, осуществляемого в разных
сферах человеческой деятельности на основе больших объемов данных.
Таким
образом,
актуальность
настоящего
диссертационного
исследования определяется необходимостью совершенствования управления
образовательным процессом образовательной организации с целью поиска
оптимальных траекторий подготовки качественных специалистов для органов
внутренних дел. Решить эту задачу в условиях большого объема
обрабатываемых разнородных данных, отражающих различные аспекты
функционирования обучаемых, их достижения и неудачи, без использования
научно обоснованных математических методов и моделей, реализующих
интеллектуальный подход к анализу информации, не представляется
4
возможным. Разработка таких математических методов, моделей и алгоритмов
и составляет основное содержание диссертационного исследования.
Степень научной разработанности проблемы. Научный поиск данного
исследования
в
части
теоретических
и
практических
вопросов
совершенствования методов и моделей управления в социальных и
экономических системах опирается на работы многих отечественных и
зарубежных ученых: Р. Акофа, А.В. Бецкова, Л. Берталанфи, В.Н. Буркова,
Ю.Б. Гермейера, В.А. Ирикова, В.В. Кульбы, В.В. Кондратьева,
А.Ф. Кононенко,
В.В. Меньших,
М. Месаровича,
Н.Н.
Моисеева,
Д.А. Новикова,
Р.М.
Нижегородцева,
Т.
Саати,
Я.
Такахары,
Г.А. Угольницкого, С.Л. Чернышева, А.В. Щепкина.
Большой вклад в разработку подходов к решению проблем управления в
образовательном комплексе правоохранительных органов России внесли
В.С. Артамонов, В.И. Болокан, И.В. Горошко, В.В.Гусев, И.Г. Дровникова,
В.И. Ждамиров, С.Л. Исаков, В.И. Кононенко, В.А.Петров Б.А. Торопов,
С.П. Трещеткин,
Г.А. Туманов,
В.А. Минаев,
А.С. Овчинский,
М.В. Петропавловский, Т.М. Фролова.
Теоретическую основу данной работы в области методов
интеллектуального
анализа
данных
составили
труды
Р. Бейкера,
М. Биенковски,
П.Л. Брусиловского,
С. Вентуры,
Н.Н. Горлушкиной,
А.В. Маслобоева, М.В. Хлопотова, Х. Ромеро, М. Фенга и других.
Несмотря на неоспоримую научную значимость и широкий спектр
проблем, рассматриваемых вышеназванными авторами, необходимо отметить,
что применению методов и моделей интеллектуального анализа данных в
управлении образовательным процессом образовательных организаций МВД
России не уделялось должного внимания. Это можно объяснить относительной
новизной данного научного направления. Отмеченные выше обстоятельства
определили цель, задачи и направление диссертационного исследования.
Объектом диссертационного исследования является система
управления образовательным процессом образовательной организации МВД
России.
Предметом диссертационного исследования являются методы и модели
интеллектуального
анализа
данных,
применяемые
в
управлении
образовательным процессом образовательной организации МВД России.
Цель
диссертационного
исследования
заключается
в
совершенствовании управления образовательным процессом образовательной
организации МВД России на основе использования методов и моделей
интеллектуального анализа данных.
Для достижения указанной цели работы сформулированы следующие
задачи:
1) Проведение анализа места образовательных организаций в структуре
образовательного комплекса МВД России, а также подходов к
совершенствованию управления образовательным процессом, как основного
направления их деятельности.
5
2) Изучение возможностей применения методов и моделей
интеллектуального анализа данных к массивам образовательных данных
образовательной организации МВД России и определение их особенностей с
учетом ведомственной компоненты.
3) Обоснование подхода к использованию методов интеллектуального
анализа данных в целях совершенствования управления образовательным
процессом образовательных организаций МВД России.
4) Разработка методики оценки эффективности методов обнаружения
аномалий в данных образовательных организаций.
5) Разработка модели анализа данных о ходе образовательного процесса
образовательной организации МВД России на основе методов обнаружения
аномалий.
6) Разработка прототипа системы поддержки принятия решения
управления образовательным процессом в образовательной организации МВД
России.
Научная новизна диссертационного исследования состоит в том, что
автором впервые исследованы вопросы обеспечения поддержки принятия
решений управления образовательным процессом в образовательной
организации МВД России при использовании методов интеллектуального
анализа данных. В диссертации получены следующие результаты,
характеризующиеся научной новизной:
1) Проанализированы существующие механизмы сбора и обработки
данных в управлении образовательным процессом образовательной
организации МВД России, выявлены их достоинства и недостатки и
определены направления совершенствования, связанные с применением
методов интеллектуального анализа данных.
2) Сформулирована задача выявления аномалий в данных, используемых
в управлении образовательным процессом образовательной организации МВД
России и предложены подходы к её решению на основе алгоритмов
классификации, кластеризации и решающих деревьев.
3) Предложена и апробирована методика оценки эффективности методов
обнаружения аномалий, ориентированная на научно-обоснованный выбор
конкретного алгоритма анализа многомерных массивов данных в условиях
невозможности бинарной классификации исследуемых объектов.
4) Разработана модель анализа данных хода образовательного процесса
образовательной организации МВД России, реализующая комплекс
эффективных методов обнаружения аномалий и учитывающая особенности
отбора и вычисления признаков объектов ведомственной образовательной
системы.
5) Разработан прототип компьютерной системы поддержки принятия
управленческих решений в образовательном процессе образовательной
организации МВД России, который позволяет интегрировать методы
интеллектуального анализа данных с действующими системами мониторинга
образовательного процесса.
6
Теоретическая и практическая значимость диссертационного
исследования определяется вкладом в развитие теории информационного
обеспечения управления образовательными системами.
На основании проведенного исследования были сформулированы
теоретические положения и выводы, развивающие теорию поддержки принятия
управленческих решений в области применения наиболее эффективных на
сегодняшний день методов анализа больших массивов данных.
Практическая значимость работы определяется её направленностью на
совершенствование конкретных процессов управления образовательными
системами с учетом ведомственной специфики МВД России.
Теоретические
и
практические
результаты
диссертационного
исследования внедрены в образовательный процесс Орловского юридического
института МВД России имени В.В. Лукьянова на кафедре информационных
технологий в деятельности ОВД при подготовке учебно-методического
обеспечения учебных дисциплин «Основы управления в ОВД» и «Информатика
и информационные технологии в профессиональной деятельности».
Материалы данного исследования использованы в научной деятельности
Орловского юридического института МВД России имени В.В. Лукьянова при
подготовке научно-исследовательской работы «Перспективы использования
электронного планирования в ОВД» (п. 51 плана научной деятельности
института 2016 г.).
Результаты
работы
внедрены
в
практическую
деятельность
подразделений ответственных за организацию образовательного процесса.
Разработанный прототип системы поддержки принятия решения активно
применяется в повседневной деятельности во взаимодействии с системой
«Электронный журнал» в ОрЮИ МВД России имени В.В. Лукьянова.
Обоснованность
диссертационного
исследования
определяется
применением общепризнанных методологических положений, используемых
при решении проблем из рассматриваемой области: комплексной методики
исследования, дающей возможность объективно и всесторонне изучить
поставленные задачи; общих и частнонаучных методов.
Методология и методы исследования. Методологическую основу
исследования составляют фундаментальные труды отечественных и
зарубежных ученых в области математического моделирования, управления
сложными социальными системами и методов интеллектуального анализа
данных.
Теоретическую базу работы составили общие положения системного
анализа, теории управления организационными системами, и в частности
образовательными системами, а также теории построения информационных
систем. Основные результаты работы получены с использованием методов
системного анализа, теории управления, математического моделирования,
прикладной статистики и интеллектуального анализа данных.
7
Соответствие диссертации паспорту специальности. Работа
соответствует паспорту специальности 05.13.10 – управление в социальных и
экономических системах:
– п. 5 – разработка специального математического и программного
обеспечения систем управления и механизмов принятия решений в социальных
и экономических системах;
– п. 6 – разработка и совершенствование методов получения и обработки
информации для задач управления социальными и экономическими системами;
– п. 10 – разработка методов и алгоритмов интеллектуальной поддержки
принятия управленческих решений в экономических и социальных системах;
– п. 12 – разработка новых информационных технологий в решении задач
управления и принятия решений в социальных и экономических системах.
Положения, выносимые на защиту:
1) Авторский подход к решению задачи выявления аномалий в данных
используемых в управлении образовательным процессом образовательных
организаций МВД России, суть которого заключается в совершенствовании
существующих механизмов сбора, обработки и анализа таких данных с целью
повышения обоснованности принятия управленческих решений.
2) Методика оценки эффективности методов обнаружения аномалий в
данных образовательных систем, позволяющая провести научно-обоснованный
выбор метода обнаружения аномалий для конкретного массива
образовательных данных в условиях невозможности неформальной бинарной
классификации объектов образовательной системы.
3) Модель анализа данных о ходе образовательного процесса
образовательной организации МВД России, реализующая комплекс
эффективных методов обнаружения аномалий с учетом его ведомственной
специфики и учитывающая особенности отбора и вычисления признаков
объектов образовательной системы органов внутренних дел.
4) Прототип системы поддержки принятия решения управления
образовательным процессом в образовательной организации МВД России. Его
основное назначение заключается в интеграции методов интеллектуального
анализа данных с действующими системами мониторинга образовательного
процесса образовательных организаций МВД России и интерактивном выводе
полученных результатов для информационной поддержки принятия решений.
Степень достоверности и апробации результатов. Научные положения,
теоретические выводы и практические рекомендации, включенные в
диссертацию, обоснованы математическими доказательствами и результатами
их применения на реальном массиве данных образовательного процесса
образовательной организации МВД России в период с 2013-2017 гг.
Основные результаты и выводы исследования докладывались и
обсуждались на всероссийских конференциях, проводимых Академией
управления МВД России в 2014-2017 гг. по теме «Информатизация и
информационная безопасность правоохранительных органов» (Москва);
всероссийской
научно-практической
конференции
«Информационные
8
технологии в деятельности правоохранительных органов: проблемы
использования и пути повышения эффективности» (ОрЮИ МВД России
им. В.В. Лукьянова, 2016 г.), межведомственных круглых столах «Современное
состояние и перспективы совершенствования процессов информационного
обмена в деятельности правоохранительных органов» ОрЮИ МВД России
им. В.В. Лукьянова, 2014-2017 гг.)
По результатам диссертационного исследования автором получены
четыре акта о внедрении результатов исследования в практическую
деятельность и образовательный процесс Орловского юридического института
МВД России имени В.В. Лукьянова, Ростовского юридического института
МВД России, Уфимского юридического института МВД России и ВосточноСибирского института МВД России.
Основные положения и выводы проведенного исследования
опубликованы в 15 научных статьях, 4 из которых в рецензируемых научных
изданиях, рекомендованных перечнем ВАК Минобрнауки Российской
Федерации.
Разработанный на основе описанных в работе теоретических подходов,
методов и моделей прототип системы поддержки принятия решения для
управления учебным процессом организации МВД России прошел процедуру
государственной регистрации программы для ЭВМ в Федеральной службе по
интеллектуальной собственности (Роспатент).
Структура работы определяется целями и задачами исследования и
состоит из введения, трех глав, состоящих из девяти параграфов, заключения,
списка приводимых в тексте сокращений, списка использованной литературы и
приложений.
9
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении раскрывается актуальность выбранной темы, определяется
объект и предмет, формулируется цель и задачи диссертационного
исследования, обосновывается выбор методики, научная новизна,
теоретическая и практическая значимость работы, приводятся основные
положения, выносимые на защиту, а также сведения о практическом внедрении
результатов исследования в учебный процесс и практическую деятельность.
В первой главе проведен анализ места образовательных организаций в
структуре образовательного комплекса МВД России. Рассмотрены работы,
описывающие широкий спектр подходов к совершенствованию управления
образовательным процессом. На основе проведенного анализа возможностей
применения методов и моделей интеллектуального анализа данных к массивам
образовательных данных сформулирован подход к их использованию в целях
совершенствования управления образовательным процессом образовательных
организаций МВД России.
На сегодняшний день МВД России обладает одной из самых крупных и
многопрофильных среди отраслевых министерств и ведомств страны системой
профессионального
образования,
являющейся
многофункциональной
социальной системой, структура которой представлена на рисунке 1.
Система образования МВД России
Академии (4)
Система управления
профессиональной
подготовкой кадров ОВД
Университеты (3)
Образовательные
организации
Институты повышения
квалификации (3)
Институты (11)
Филиалы (11)
Учебно-программные
документы
Система служебнобоевой подготовки ОВД
СВУ и кадетские корпуса (7)
Спецшколы (2)
Рисунок 1. Структура системы профессионального образования МВД
Образовательные
организации
представляют
собой
основу
ведомственного образовательного комплекса, а образовательный процесс
является ядром их деятельности, так как именно он определяет такой
10
показатель работы как эффективность и качество подготовки специалистов в
интересах МВД России.
Разработка подходов к решению задачи совершенствования управления
образовательным процессом является актуальной проблемой для исследований
ввиду необходимости постоянной адаптации образовательных систем. Анализ
работ, посвященных данной теме позволил определить следующие,
относительно разработанные области знаний данного направления:
‒ Разработка
теоретического
и
практического
инструментария
оптимального планирования образовательного процесса.
‒ Совершенствование моделей организации образовательного процесса.
‒ Разработка методов и моделей контроля и оперативного управления
образовательным процессом.
‒ Совершенствование механизмов сбора, хранения и обработки данных о
ходе образовательного процесса.
Существенный рывок в развитии инфокоммуникационных технологий в
последние десятилетия сделал их наиболее перспективным инструментарием
для решения задач совершенствования управления образовательным процессом
за счет расширения возможностей его информационного обеспечения.
Увеличение количества собираемых данных привело к созданию новых
научных методов и специализированных инструментов для их анализа, так как
применение методов прикладной статистики становится неэффективным по
сравнению с интеллектуальным подходом. Совокупность методов поиска
ценной информации в большом массиве принято называть интеллектуальным
анализом данных (ИАД).
Эффективность методов ИАД, а также повышение доступности их
программных реализаций в последние годы привело к значительному
расширению области их практического применения. Разработка подхода к
применению ИАД для образовательных систем стала востребована с ростом
популярности систем управления обучением и количества собираемых данных.
Возможности
современных
разработок
в
области
методов
интеллектуального анализа данных позволяют предположить возможность
разработки автоматизированной системы поддержки принятия решений
управления образовательным процессом. Ее использование предполагает
решение новой задачи – автоматизированной оценки участников
образовательного процесса на основе математических моделей и методов ИАД
без привлечения экспертов.
Для формулирования подхода к решению данной задачи, в первую
очередь, необходимо описать объекты ИАД с учетом выбранной предметной
области и сопоставить им характеристики, способные формально описать их
эффективность:
1) Обучающиеся (средний балл, отвлечения, научные работы).
2) Профессорско-преподавательский
состав
(показатели
учебной
нагрузки, показатели УМР, научной работы).
3) Учебные курсы/группы (средний балл, отвлечения, научные работы).
11
4) Кафедры (показатели учебной нагрузки, показатели УМР, научной
работы).
В зависимости от выбранного объекта, необходимо выбрать набор
значащих характеристик. Их количество при описании подхода можно не
ограничивать явным образом ввиду возможностей методов ИАД.
Одним из ключевых положений предлагаемого подхода является
предложение проводить анализ того или иного объекта анализа без привязки к
статическим границам и нормативам, а в сравнении с другими объектами того
же рода. В основе такого подхода лежит предположение о том, что
большинство объектов являются нормальными, то есть их характеристики,
совокупность которых составляют метрику аномальности, лежат в какой-то
рассчитанной с помощью выбранного метода решающих границах.
Действительно, подобное представление имеет место быть на практике,
когда, например, сотрудники подразделений ответственных за организацию
образовательного процесса ведут расчет среднего балла обучающихся, а потом
делают срез, выбирая наименьшие и наибольшие значения для формирования
отчетов о текущей успеваемости. В данном случае имеют место положительные
и отрицательные аномалии, которые требуют разной реакции от лиц,
принимающих решения.
Использование среднего балла, как единственного ключевого критерия
оценки эффективности деятельности обучающихся может привести к принятию
некорректных управленческих решений. Ниже приведены возможные примеры
возникновения таких случаев:
‒ Обучающийся с высоким средним баллом, рассчитанным из малого
числа полученных оценок, имеет большое число пропусков и не усваивает в
необходимом объеме образовательную программу.
‒ Ранжирование обучающихся разных годов обучения и направлений
подготовки по среднему баллу может быть необъективным ввиду
разнородности учебных планов. Один и тот же семестр у разных обучающихся
может содержать стажировку, дипломное проектирование и другие этапы,
которые имеют иные формы оценивания и аттестации.
‒ Ранжирование по среднему баллу не позволяет оценить причины низкой
успеваемости обучающихся.
‒ Простое ранжирование по среднему баллу обычно не подразумевает
использования других методов формирования выборок девиантных
обучающихся, кроме как сравнение рассчитанного значения с жестко заданным
порогом. Исходя из практики, расчет порогового значения среднего балла, ниже
которого обучающийся считается неуспевающим, производится на основе
некоторой экспертной оценки руководителя и является неизменным в течение
учебного года и семестра. Это часто может являться причиной некорректной
оценки деятельности как отдельного обучающегося, так и учебных групп,
курсов и факультетов, а также принятия ошибочного управленческого решения
в том числе и в области применения мер дисциплинарного воздействия.
12
Очевидным является тот факт, что ручной детальный разбор
успеваемости каждого обучающегося невозможен, исходя из их количества, а
использование существующей однокритериальной оценки по среднему баллу
помимо методологических проблем ведет к упущению большого числа важных
критериев характерных именно для образовательной организации МВД России.
Особенностью образовательного процесса любой образовательной
организации
МВД
России
является
фактическое
отсутствие
несанкционированных пропусков учебных занятий. При оценке учебной
деятельности обучающегося детальное рассмотрение и учет причин пропусков
занятий дает большое количество возможных вариантов для управления
руководителями данными санкциями на пропуск учебных занятий.
В качестве примера можно привести прохождение обучающимися
спортивных и творческих сборов, результаты которых можно сопоставлять с
результатами учебной деятельности и принимать решение об обоснованности
дальнейшей выдачи санкции на пропуск учебных занятий или необходимости
ее отзыва для повышения успеваемости обучающегося и успешного
выполнения им учебного плана.
Таким образом, в рамках реализации подхода к использованию методов
интеллектуального анализа данных для организации информационного
обеспечения управления учебным процессом образовательных организаций
МВД России предлагается применить методы обнаружения аномалий в данных.
Необходимо отметить, что в социальных системах невозможно априорно
определить аномальность объекта как такового, а решение о его нормальности
может определяться метрикой аномальности.
Из этого вытекают две проблемы применения методов ИАД в
образовательных данных:
1) Невозможность прямого использования методов, требующих
тренировочный набор данных (обучение с учителем). Исследователь не имеет
возможности разметить выбранную часть массива, вручную выбрав
аномальные объекты. Следовательно, этап тренировки выбранного алгоритма
(например, нейронной сети) не может быть реализован.
2) Невозможность оценки эффективности применённого метода
обнаружения аномалий из-за отсутствия сведений об априорном состоянии
объекта.
Решение первой проблемы представляется возможным с помощью
построения модели анализа данных о ходе образовательного процесса на
основе методов обнаружения аномалий, реализующей предложенный подход.
Сущность предложенной модели должна заключаться в формализации
этапов получения, обработки и применения методов ИАД к данным,
содержащимся в информационных системах образовательной организации
МВД России.
Вторая проблема может быть решена путем построения методики оценки
эффективности методов обнаружения аномалий в данных образовательных
систем. Её назначение заключается в возможности провести научно
13
обоснованный выбор того или иного метода обнаружения аномалий для
случаев с отсутствием возможности предварительной маркировки
анализируемого массива данных.
Таким образом, описанный подход к использованию методов
интеллектуального анализа данных для организации информационного
обеспечения управления образовательным процессом образовательных
организаций МВД России позволяет сформулировать необходимость
разработки теоретических моделей анализа данных и методики оценки его
эффективности.
Во второй главе в соответствии с сформулированным подходом и
проблемами в его применении к образовательным данным образовательной
организации МВД России описываются методы, модели и методика, их
разрешающие и формирующие теоретическую основу для разработки
прототипа системы поддержки принятия решения управления образовательным
процессом в образовательной организации МВД России.
Оценка человеческой деятельности с помощью формальных параметров
является сложной задачей даже в случае выбора оптимальной комбинации
таких параметров. Метрикой аномальности объектов в этом случае при
верификации являются его параметры, а не фактическая принадлежность его
самого к классу аномальных, что затрудняет использование классического
метода оценки качества алгоритмов бинарной классификации так называемой
ROC-кривой или кривой ошибок.
Предлагаемая методика оценки эффективности методов обнаружения
аномалий в данных образовательных систем предполагает несколько этапов,
приведенных на рисунке 2.
Рисунок 2. Методика оценки эффективности методов обнаружения аномалий
Для проведения расчетов объектами оценки были выбраны обучающиеся.
В качестве параметров объектов были выбраны четыре переменные, анализ
14
которых может характеризовать успешность их участия в образовательном
процессе:
1) Средний балл.
2) Число оценок.
3) Число неудовлетворительных оценок.
4) Число пропусков занятий.
На первом этапе производится формирование массива заданных
параметров и его последовательное хронологическое разбиение на несколько
независимых выборок.
На втором этапе производится необходимая предобработка –
стандартизация, которая заключается в приведении исходного массива к набору
сравнимых элементов из распределения с нулевым средним и
среднеквадратическим отклонением, равным единице.
Затем, к полученным наборам данных последовательно применяются
выбранные для анализа методы обнаружения аномалий.
В качестве выходных данных алгоритмы должны показать заданный
процент обучающихся, имеющих выдающиеся комбинации выбранных
переменных. Важно отметить, что характер девиаций не всегда носит сугубо
отрицательный характер: достаточно часто встречаются положительные
аномалии с очень высоким средним баллом и малым количеством пропусков.
Заключительным
этапом
является
вычисление
статистических
показателей полученных наборов аномальных значений для каждого из трех
методов.
Представляется, что расчет среднеквадратического отклонения (СКО) для
полученных наборов аномалий по всем одномерным срезам многомерной
независимой выборки является объективной мерой экстремальности найденных
значений.
Исходя из математической интерпретации смысла СКО, можно сделать
вывод, что его наибольшее значение будет характеризовать набор аномальных
значений метода как лучший среди вычисленных, а развертка по каждому из
одномерных массивов, рассчитанная по нескольким независимым выборкам,
даст необходимую репрезентативность.
На рисунке 3 представлены результаты расчетов по четырем выбранным
переменным, где по оси абсцисс отложены восемь независимых выборок, а по
оси значения их СКО для каждого из выбранных методов обнаружения
аномалий.
15
Рисунок 3. Результаты вычислений статистических характеристик массивов
аномалий, полученных разными методами
Из представленных графиков можно сделать вывод о том, что метод
изолирующего леса, учитывая принятую гипотезу, в большинстве случаев
оказался лучше конкурентов. Метод опорных векторов, являющийся
достаточно универсальным и проверенным для различных условий, показал
себя практически также хорошо. Алгоритм эллиптической огибающей, в свою
очередь, показал худшие результаты по всем переменным.
Таким образом, разработанная модель оценки эффективности методов
обнаружения аномалий в данных образовательных систем, а также
приведенные расчеты могут помочь как исследователям, так и практикам при
выборе подходящей основы для создания аналитических инструментов в
рамках информационного обеспечения управления в образовательных
организациях.
После решения задачи научно обоснованного выбора наиболее
эффективного метода обнаружения аномалий для конкретного массива
образовательных данных за счет предложенной методики возникает
необходимость формализации модели его применения.
Предлагаемую модель анализа данных можно описать выражением:
 = {, () >  },
(1)
где  – набор аномальных объектов анализа,  – набор объектов анализа,  –
функция выбранного метода обнаружения аномалий,  – квантиль уровня 
распределения метрики аномальности набора объектов.
16
Алгоритм, реализующий применение предлагаемой модели анализа
данных о ходе учебного процесса образовательной организации МВД России на
основе методов обнаружения аномалий, можно представить схемой на
рисунке 4.
1. Расчет признаков объектов анализа. Формирование массива признаков
2. Стандартизация массива признаков
3. Вычисление метрик аномальности для объектов выбранным методом
обнаружения аномалий
4. Вычисление решающего порога метрики аномальности на основе
заданного процента аномалий
5. Принятие решений об аномальности объекта
Рисунок 4. Алгоритм анализа данных о ходе учебного процесса
образовательной организации МВД России на основе методов обнаружения
аномалий
Построение модели данных является необходимым этапом в применении
методов интеллектуального анализа данных. Очевидно, что исходный
информационный массив, чаще всего хранимый в базе данных слабо подходит
для анализа. Прежде всего стоит описать модель первичных данных, еще не
прошедших процедуры предобработки. Представляется, что универсальной
единицей модели данных можно назвать любое событие  , связанное с
получением оценки или пропуском обучающегося в наборе данных :
 = {1 , 2 , … ,  }.
(2)
Каждое событие должно иметь обязательный набор переменных
{1 , , … ,  } его характеризующих, тогда исходный массив событий можно
записать следующим выражением:
11 … 1
 = { … … . . . },
(3)
1 … 
где S − набор событий массива данных;  – переменная события, где t =
1,2… – событие массива данных, k = 1,2… – поле массива данных.
Первой задачей предложенного алгоритма является расчет признаков
объектов анализа и формирование общего массива признаков:
17
11 … 1
X= { … … … },
(4)
t1 … 
где X − набор объектов анализа;  – признак объекта, где t = 1,2… –
объект анализа, k = 1,2… – характеристика объекта анализа.
Большинство градиентных методов чувствительны к шкалированию
данных. Параметры, характеризующие объект исследования, имеют разный
физический смысл, и матрица данных существенно изменяется, если
изменяются шкалы, в которых измеряются те или иные параметры. Данная
проблема решается посредством процедуры стандартизации данных.
Расчет метрик аномальности и маркирование массива объектов является
ключевым этапом реализации предложенной модели. Для решения данной
задачи к стандартизированному массиву применяется метод обнаружения
аномалий, выбранный с помощью разработанной методики оценки
эффективности (метод изолирующего леса для используемых в работе
массивов).
На выходе для каждого объекта анализа рассчитывается метрика
аномальности. Исходя из установленного процента аномальных объектов,
вычисляется квантиль  соответствующего уровня, который является порогом
принятия решения об аномальности (рисунок 5). Объекты анализа признаются
аномальными, если их метрики аномальности лежат ниже рассчитанного
порога.
 = - 0.015
Рисунок 5. Гистограмма распределения значений метрик аномальности
объектов анализа
Таким образом, разработанная модель и алгоритм анализа данных о ходе
образовательного процесса образовательной организации МВД России, на
основе методов обнаружения аномалий, являются универсальными и подходят
для любого объекта ИАД образовательной системы при условии наличия
18
собранного массива данных и формализации экспертом его значимых
характеристик.
В третьей главе на основе сформулированного подхода к использованию
методов интеллектуального анализа данных, а также описанных моделей
анализа данных и методики оценки эффективности рассматриваются вопросы
разработки и описания применения прототипа системы поддержки принятия
решения.
Первым этапом при проектировании прототипа системы поддержки
принятия решения (СППР) управления образовательным процессом
необходимо описать модель данных, которая напрямую связана со структурой
базы данных.
Применяя описанную во второй главе модель анализа данных,
реализующую метод изолирующего леса, возможно получение следующей
промежуточной визуализации рассчитанных результатов для реальных данных
о ходе образовательного процесса ОрЮИ МВД России имени В.В. Лукьянова
за выбранный период обучения (рисунок 6).
Рисунок 6. Промежуточная визуализация результатов
Таким образом, применение разработанного решения на реальных
образовательных данных, где в качестве объекта исследования был выбран
обучающийся, показало возможности выявления девиантного поведения.
Отправной точкой в решении задачи разработки прототипа СППР
является описание его структурной схемы (рисунок 7), позволяющей учитывать
различные варианты импорта входных данных для анализа, а также
реализовывать
различные
формы
наглядного
вывода
результатов
автоматизированного анализа данных.
19
СППР
Модуль загрузки
данных
Модуль анализа
данных
Модуль вывода
данных
Компонент доступа
к БД
Компонент загрузки
локальных файлов
данных
Компонент методов
ИАД
Компонент вывода
графиков
Компонент вывода
отчетов
Рисунок 7. Структурная схема СППР управления учебного процесса
В качестве формы функционирования будущей СППР было выбрано
построение веб-приложения по причинам большого числа преимуществ такого
класса решений над классическими приложениями для операционной системы.
Языком разработки был выбран высокоуровневый язык общего
назначения Python. Официально декларируемая его разработчиками
особенность заключается в ориентации на повышение производительности
программиста и читаемости кода, что сделало его очень популярным в том
числе и в научной среде. Огромная экосистема Python предоставляет большое
количество свободных библиотек научных вычислений, реализующих
большинство известных методов и алгоритмов.
Конечный инструментарий, выбранный для разработки СППР, можно
описать следующим списком:
1) Язык программирования: Python 3.6.
2) Среда разработки: Jupyter notebook.
3) Интеллекутальный анализ данных: Scikit-learn.
4) Математические расчеты: Pandas, Numpy.
5) Визуализация: Matplotlib, Seaborn, Plotly.
6) Веб-фреймворк: Bottle.
7) Веб-сервер: Ngnix, Gunicorn.
8) Фреймворк верстки: Bootstrap.
В соответствии с описанной структурой СППР и выбранного
инструментария целесообразно разработать его архитектуру (рисунок 8).
20
Рисунок 8. Архитектура разработанной СППР
Предложенная архитектура веб-приложения для реализации системы
поддержки принятия решения позволяет гибко реализовывать предъявляемые
требования в области предоставления удаленного многопользовательского
доступа, а также соответствует базовым требованиями в области
информационной безопасности, предъявляемым к подобным системам.
Интерфейс запросной части может разниться исходя из применяемой в
конкретном случае системы электронного учета успеваемости, так как при
необходимости он может быть встроен в неё в виде отдельно выводимого
отчета.
Конечной формой представления выходного четырехмерного массива
данных, полученного в ходе исследования, выбрана пузырьковая диаграмма.
Классическим подходом к использованию такого вида визуализации является
представление трехмерного массива на двумерном графике за счет изменения
размера окружностей, отображающих объекты.
За счет введения цветового шкалирования удалось отобразить все четыре
признака аномальных объектов. Отображаемый график обладает свойствами
интерактивности: при наведении курсора мыши на объект возникает подсказка
с дополнительной информацией об объекте. Помимо графического
представления разработанный прототип позволяет выводить подробный отчет
показателей аномальных обучающихся в табличном виде с возможностью
сортировки по выбранной переменной. На рисунке 9 представлен
интерактивный график, полученный в результате работы программы.
21
Рисунок 9. Пузырьковая диаграмма выходных данных
Для примера практического использования результатов работы
разработанного прототипа СППР был проведен расчет аномальных
обучающихся образовательной организации и выведен отчет об их показателях.
На рисунке 10 представлен фрагмент сформированного отчета.
Рисунок 10. Фрагмент отчета о показателях аномальных объектов
На рисунке 10, с помощью цветового выделения, представлена часть
работы должностного лица, принимающего решение о характере выявленной
аномалии. Красным цветом в верхней части списка обозначены аномальные
объекты отрицательного характера, показатели которых явно свидетельствуют
о низком уровне успеваемости и проблемах с посещаемостью.
Зеленым цветом выделены случаи положительно аномальных
показателей объектов анализа, которые характеризуются высоким уровнем
успеваемости и отсутствием недостатка в полученных оценках.
22
Желтым цветом выделены показатели, требующие некоторой экспертной
оценки или дополнительных данных для принятия соответствующего
управленческого решения.
Информационное обеспечение деятельности ОВД построено на
принципах модульности за счет использования сервисов на базе единой
технической платформы. По данным ВИСП ИСОД МВД России к
ведомственной системе информационного обеспечения подключена уже
значительная часть сотрудников ведомственных образовательных организаций.
Значительная часть из них имеет отношение к образовательному процессу и
должна иметь доступ к автоматизированным ресурсам. Следовательно,
предложенное решение при соответствующей адаптации может претендовать
на централизованное внедрение.
Таким образом, разработанный прототип СППР позволяет на практике
решать
поставленную
цель
диссертационного
исследования –
совершенствование управления образовательным процессом образовательной
организации МВД России на основе использования методов и моделей
интеллектуального анализа данных.
В заключении диссертационного исследования формулируются
основные результаты работы, выводы и предложения:
1) В работе проведен анализ места образовательных организаций в
структуре образовательного комплекса МВД России, а также подходов к
совершенствованию управления образовательным процессом, как основного
направления их деятельности.
2) Подробно изучены возможности применения методов и моделей
интеллектуального анализа данных к массивам образовательных данных
образовательной организации МВД России и определены их особенности с
учетом их ведомственной компоненты.
3) Описан подход к использованию методов интеллектуального анализа
данных в целях совершенствования управления образовательным процессом
образовательных организаций МВД России.
4) Разработана методика оценки эффективности методов обнаружения
аномалий в данных образовательных организаций.
5) Разработана модель анализа данных о ходе образовательного процесса
образовательной организации МВД России на основе методов обнаружения
аномалий.
6) Разработан прототип системы поддержки принятия решения
управления образовательным процессом в образовательной организации МВД
России.
Основные результаты диссертационного исследования опубликованы
автором в 15 научных работах (4,03 п.л.). В их числе:
23
Научные статьи, опубликованные в изданиях, рекомендованных
перечнем ВАК Минобрнауки Российской Федерации
1) Кузнецов А.С. Актуальность и пути решения проблемы унификации
формата предоставления конечных данных в системах автоматизированного
планирования // Информационные системы и технологии. 2014. № 86. C. 7680. (0,28 п.л.)
2) Кузнецов А.С., Матросова Л.Д., Семенов Е.Ю. Проблемы интеграции
автоматизированных
систем
управления
//
Вестник
Орловского
государственного университета. 2015. № 45. C. 76-78. (0,31 п.л.)
3) Кузнецов А.С., Семенов Е.Ю. Некоторые подходы к применению
анализа данных в управлении учебным процессом // Информационные системы
и технологии. 2016. № 98. C. 25-29. (0,25 п.л.)
4) Кузнецов А.С., Семёнов Е.Ю. Выбор метода обнаружения аномалий в
образовательных данных // International Journal of Open Information
Technologies, Том 5. № 4. 2017. (0,4 п.л.)
Научные статьи, опубликованные в других изданиях
5) Кузнецов А.С. Анализ возможностей обеспечения контроля учебного
процесса при применении информационных технологий // Информационные
технологии в деятельности подразделений ГИБДД: проблемы использования и
пути повышения эффективности. 2014. C. 50–55. (0,34 п.л.)
6) Кузнецов А.С. Анализ возможностей современных информационных
технологий как средства повышения эффективности профессиональной
подготовки специалистов Госавтоинспекции // Наука и практика. 2014. C. 155–
157. (0,28 п.л.)
7) Кузнецов А.С. Вопросы применения современных информационных
технологий при проведении мониторинга успеваемости в высших учебных
заведениях МВД России // Сборник трудов XXIII Всероссийской конференции
«Информатизация и информационная безопасность правоохранительных
органов». 2014. C. 251–254. (0,21 п.л.)
8) Кузнецов А.С. Некоторые аспекты моделирования систем управления
// Наука и практика. 2014. № 60. C. 139–141. (0,28 п.л.)
9) Кузнецов А.С. Адаптация системы профессиональной подготовки
специалистов Госавтоинспекции МВД России в условиях внедрения
современных информационных технологий // Наука и практика. 2015. № 62.
C. 122–124. (0,23 п.л.)
10) Кузнецов А.С. Использование возможностей систем электронных
календарей при организации деятельности ОВД // Процессы информационного
обмена в деятельности правоохранительных органов: современное состояние и
перспективы совершенствования. 2015. C. 53–56. (0,2 п.л.)
11) Кузнецов А.С. Использование современных информационных систем
как средства оптимизации управленческой деятельности в ОВД // Наука и
практика. 2015. № 64. C. 148–150. (0,21 п.л.)
24
12) Кузнецов А.С. Комплексная оценка эффективности управления
учебным процессом // Наука и практика. 2016. № 2 (67). C. 128–130. (0,22 п.л.)
13) Кузнецов А.С., Кононенко В.И. Некоторые подходы к анализу
структурированных массивов данных // Наука и практика. 2016. № 4 (69).
C. 117–120. (0,29 п.л.)
14) Кузнецов А.С., Кононенко В.И. Модели интеллектуального анализа
данных образовательных процессов // Научный вестник Орловского
юридического института МВД России имени В.В. Лукьянова. 2017. № 1 (70).
C. 119–121. (0,28 п.л.)
15) Кузнецов А.С., Кононенко В.И. Системы поддержки принятия
решения в управлении учебным процессом // Научный вестник Орловского
юридического института МВД России имени В.В. Лукьянова. 2017.
№ 2 (71). (0,25 п.л.)
Авторские свидетельства
16) Свидетельство о государственной регистрации программы для
ЭВМ 2017614067, Российская Федерация. Система поддержки принятия
решения для управления учебным процессом в образовательных организациях
МВД России / А.С. Кузнецов; заявитель и правообладатель А.С. Кузнецов
№ 2017614067; дата поступления: 10.02.2017; дата регистрации: 06.04.2017,
Реестр программ для ЭВМ. – 1 с.
Документ
Категория
Без категории
Просмотров
6
Размер файла
1 161 Кб
Теги
анализа, процессов, данных, метод, образовательная, управления, организации, мвд, модель, россии
1/--страниц
Пожаловаться на содержимое документа