close

Вход

Забыли?

вход по аккаунту

?

ТПР - Лабораторная работа №4

код для вставкиСкачать
 Лабораторная работа № 4
ОЦЕНКА КАЧЕСТВА КЛАССИФИКАЦИИ
4.1 Задача классификации
Сформулируем ещё раз задачу классификации:
Существует множество объектов (обозначим его О) - так называемая, генеральная совокупность. Каждый объект может быть описан р-мерным вектором информативных признаков Х={x1, x2, ..., xp}. Известно, что все объекты множества O распределены по k классам, однако функция этого распределения неизвестна. Известна лишь принадлежность некоторых q образов:
Xj → Zj (j= 1, ... q).
Множество этих образов, размерностью q называется обучающей выборкой.
Необходимо найти функцию Z = F (X), такую, что все остальные образы из генеральной совокупности (или почти все) были правильно классифицированы.
Общий подход к решению задачи классификации может быть представлен следующей схемой:
Рис. 4.1. - Общая схема решения задачи классификации
На блок "Алгоритм обучения" подаётся обучающая выборка. Полученные в результате работы этого алгоритма параметры функции классификации идут на блок "Классификатор". Таким образом, блок "Классификатор" выполняет функцию классификации Z над передаваемыми в него входными образами из множества классифицируемых объектов.
Вы уже знакомы с такими параметрами, характеризующими данную схему, как распознающая и обобщающая способности классификатора. Распознающая способность классификатора - параметр характеризующий алгоритм обучения классификатора - это процент правильно классифицируемых образов из обучающей выборки. Обобщающая способность классификатора - параметр, характеризующий собственно классификатор - это процент правильно классифицируемых образов из генеральной совокупности, не входящих в обучающую выборку. Этот параметр показывает, насколько точно классификатор выполняет свою основную задачу - классифицирует все (или почти все) образы, т.е. выполняет обобщение.,
Как уже было замечено в предыдущих работах, не всегда алгоритм обучения характеризуется 100% распознающей способностью (хотя это очень желательно). Иногда встречается такая ситуация, что классификатор правильно классифицирует обучающую выборку, а вот обобщающую способность имеет очень низкую, т.е. настроен на классификацию только некоторых образов. Такое явление называется переобучением. В данном случае классификатор не справляется со своей прямой задачей.
При решении задачи классификации важно соблюсти баланс между распознающей и обобщающей способностью. С одной стороны высокая распознающая способность классификатора ещё не говорит о его высокой эффективности. С другой стороны показатель обобщающей способности классификатора не характеризует его статистических свойств.
Какие же показатели работы эффективности классификаторов необходимо учитывать при выборе наиболее подходящего классификатора для решения той или иной задачи?
4.2. Двухклассовая классификация. Ошибки первого и второго рода
Рассмотрим двухклассовую классификацию, которая очень часто встречается в реальных задачах (в медицине, диагностике и т.д.)
Пусть область значений функции классификации состоит из двух значений -1 (или 0) - событие не обнаружено (пассажир не прошёл таможенный контроль) и 1 - успех. Тогда образы из класса -1 (пропуски события) будем называть отрицательными примерами (negatives), a +1 (обнаружение) - положительными (positives). Все правильно классифицированные образы класса +1 называются верными обнаружениями (true positives, будем их количество обозначать как TP), а правильные пропуски - true negatives - будем обозначать как TN. Ошибки в классификации также могут быть двух видов - ложные пропуски - false negatives (FN), и ложные обнаружения - false positives (FP). FN - называется ошибкой 1-го рода (интересующее нас событие не обнаруживается, диагноз при его наличии не ставится). FP - это ошибка 2-го рода (ложное обнаружение события, ложная постановка диагноза и т.д.)
Пусть всего в тестовом наборе данных n образов. Причем примеров относящихся к классу -1 - Nn, а +1 - Np. Тогда справедливы следующие равенства: n = nN + nP;
TP = nP - FN; TN = nN - FP.
Используя эти величины, можно рассчитать нормированные уровни ошибок первого и второго рода, а также долю верных пропусков и обнаружений:
Эти величины более наглядно отражают качество распознавания, поскольку не зависят (в явном виде) от количества объектов в тестовом наборе. Часто используются такие относительные показатели, как доля истинно-положительных (TPR, true positives rate) и истинно отрицательных (TNR, true negatives rate) примеров (прецедентов):
Часто в задачах поиска информации (data mining) используются такие показатели как мера точности (precision) и отзыва (recall), которые также рассчитываются на основе характеристик TP и FP:
Как следует из формул выше, точность показывает долю положительных прецедентов среди всех обнаруженных объектов. Отзыв измеряет долю верного распознавания и, по сути, является долей истинно-положительных прецедентов.
TPR иногда ещё называют чувствительностью, а TNR - специфичностью модели. Говорят, что модель с высокой чувствительностью часто даёт истинный результат при наличии положительного исхода (обнаруживает положительные прецеденты), а модель с высокой специфичностью - при наличии отрицательного исхода (обнаруживает отрицательные прецеденты). Эти понятия широко применяются в медицинской диагностике. 4.3. Сравнение классификаторов
Простейшим способом сравнения двух классификаторов является сравнение их уровней ошибок (FP и FN) и выбора наиболее подходящего. В случае, если классификатор содержит свободный параметр, позволяющий регулировать соотношение nTP и nFP - целесообразно сравнивать ROC кривые.
ROC-кривая (Receiver Operator Characteristic) - показывает зависимость верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров. При этом предполагается, что у классификатора есть некоторый параметр (порог или точка отсечения), варьируя который можно получить различные разбиения на два класса.
Как правило, в ROC- анализе используют относительные понятия эффективности классификатора - чувствительность и специфичность. ROC-кривая строится следующим образом:
1.Для каждого значения порога отсечения, которое меняется с шагом dx, рассчитываются значения чувствительности Se и специфичности Sp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке. 2. Строится график зависимости: по оси Y откладывается чувствительность Se, по оси X - 100%-Sp (сто процентов минус специфичность), или, что то же самое, FPR - доля ложно-положительных случаев. Пример ROC- кривой представлен на следующем рисунке:
Рис. 4.2. - ROC-кривая
Для идеального классификатора график ROC-кривой проходит через верхний левый угол, где доля истинно положительных случаев составляет 100% или 1.0 (идеальная чувствительность), а доля ложно положительных примеров равна нулю. Поэтому чем ближе кривая к верхнему левому углу, тем выше обобщающая способность модели. Наоборот, чем меньше изгиб кривой и чем ближе она расположена к диагональной прямой, тем менее эффективна модель. Диагональная линия соответствует "бесполезному" классификатору, т.е. полной неразличимости двух классов.
При визуальной оценке ROC-кривых расположение их относительно друг друга указывает на их сравнительную эффективность. Кривая, расположенная выше и левее, свидетельствует о большей предсказательной способности модели. Так, на рис. 4.3 две ROC-кривые совмещены на одном графике. Видно, что модель "A" лучше.
Рис. 4.3. - Сравнение классификаторов
Часто помимо визуального сравнения кривых используется показатель AUC (Area Under Curve) - площадь под кривой. Он может изменяться от 0.5 до 1 и вычисляется с помощью численных методов, например, метода трапеций:
О качестве модели можно судить по следующей шкале:
Интервал AUCКачество модели0.9 - 1.0отличное0.8 - 0.9очень хорошее0.7 - 0.8хорошее0.6 - 0.7среднее0.5 - 0.6неудовлетворительное 4.4 Задание на лабораторную работу
Исследовать и сравнить два любых построенных в предыдущих работах классификатора. (Необходимо сгенерировать как можно больше тестовых данных - обучающую и контрольную выборки).
Рассчитать следующие показатели:
1. Нормированные уровни ошибок первого и второго рода
2. Точность и отзыв
3. Чувствительность и специфичность
Сделать выводы. Указать, о чём говорят такие значения параметров для обоих классификаторов. Какой классификатор эффективнее.
*Построить ROC-кривые для классификаторов. Проанализировать их. Рассчитать показатели AUC. Сделать выводы.
В отчёте: 1. Краткое описание классификатора.
2. Функция классификации.
3. Показатели - распознающая/обобщающая способность.
4. Расчёт всех остальных показателей по заданию.
5. * ROC кривые и расчёт AUC.
6. Выводы.
Примечание: Задание, помеченное значком "*", для тех, кто хочет зачёт не сдавать.
2
Документ
Категория
Рефераты
Просмотров
275
Размер файла
103 Кб
Теги
тпр, работа, лабораторная
1/--страниц
Пожаловаться на содержимое документа