close

Вход

Забыли?

вход по аккаунту

?

Презентация - Высшая школа экономики

код для вставкиСкачать
Результаты и перспективы реализации проекта
"Оценка результатов обучения в высшем
образовании" (Assessment of Higher Education
Learning Outcomes, AHELO) в России
Национальный аккредитационный совет,
30 сентября 2013 г.
Высшая школа экономики, Москва, 2013
www.hse.ru
Цель и целевая
аудитория проекта
Конечная цель - разработка комплексного, объективного и научно обоснованного
подхода к оценке результатов обучения в ВО (альтернатива международным
рейтингам вузов); получение международно сопоставимой информации о
результатах обучения в ВО на уровне вузов, факультетов, образовательных программ
фото
Цель feasibility study (2008-2012) - оценка принципиальной возможности
международного измерения уровня знаний и практических навыков студентов вузов,
обучающихся в различных языковых, культурных и институциональных контекстах;
разработка соответствующих инструментов измерения для оценки общих знаний и
компетенций и специальных знаний и компетенций для двух пилотных дисциплин –
Экономика и Инженерные науки
фото
Основная целевая аудитория – выпускники бакалавриата (Россия – 4-й курс
бакалавриата и/или специалитета), выборка – до 200 человек от вуза
Фокус AHELO на оценку не теоретических знаний, а навыков и умений их
применения в контекстах, максимально приближенных к будущей профессиональной
практике (“above content” knowledge and skills)
Высшая школа экономики, Москва, 2013
Направления
проекта
фото
фото
фоо
Высшая школа экономики, Москва, 2013
Страныучастницы
17 стран-участниц
Направления исследований в рамках
проекта
Исследование общих навыков и
компетенций
Участвующие страны
фото
Колумбия, Египет, Финляндия,
Корея,
Кувейт, Мексика, Норвегия, Словакия,
США (4 штата)
Исследование специальных навыков и Бельгия (Фландрия),
компетенций по дисциплине
Египет, Италия, Мексика, Нидерланды,
«Экономика»
Россия, Словакия
фото
Исследование специальных навыков и Австралия, Египет, Япония, Колумбия,
компетенций по дисциплине
Мексика, Словакия, Канада
«Инженерные науки»
(провинция Онтарио), Абу Даби,
Россия
В общей сложности в проекте AHELO приняли участие 248 вузов и около
23 000 студентов из стран-участниц
Высшая школа экономики, Москва, 2012
Российские вузы –
участники проекта
26 вузов-участников, включая:
3 университета – Экономика+Инженерные науки
7 университетов – только Инженерные науки (всего 10)
16 университетов – только Экономика (всего 19, 2 – только этап 1)
Экономика
Инженерные науки
фото
САФУ, СВФУ, УрФУ
РАНХиГС, ГУУ, ДВФУ, К(П)ФУ, МГИМО
МЭСИ, НГУ, РЭУ им. Плеханова, СПбГУ,
Финэк, СФУ, ЮФУ, АГУ, НИУ ВШЭ (+ филиалы)
Финансовый университет при Правительстве РФ
(только этап 1) , МГУ (только этап 1)
Высшая школа экономики, Москва, 2013
Донской государственный технический университет
Национальный исследовательский Иркутский
государственный технический университет
Национальный исследовательский Томский
политехнический университет
фото
Тюменский государственный нефтегазовый
университет
Уральский государственный горный университет
Уральский государственный университет путей
сообщений
Алтайский государственный технический университет
им. И.И. Ползунова
Выборка и участие в
России
Студентыэкономисты
Преподаватели экономисты
Студенты –
инженеры
Преподаватели инженеры
Объем
генеральной
совокупности
Объем
выборки
Объем участия
в основном
исследовании
AHELO
3 756
2 900
2 400
Объем участия
в
дополнительно
м
фото
исследовании35
8
1940
1 556
714
349
335
1 282
1 282
1 181
997
331
331
171
182
фото
В общей сложности в проекте AHELO приняли участие 3581 студент и 520
преподавателей
Высшая школа экономики, Москва, 2013
Инструментарий
AHELO
Оценка результатов обучения студентов
Онлайн тестирование продолжительностью 90 мин., состоящее из 2 типов заданий –
задания с конструируемыми ответами (CRTs) и тестовые задания (MCQs)
MCQs
фото
Направление
CRTs
Экономика
2 варианта заданий, в каждом из 54 задачи (студент решал 25
которых 6-7 вопросов (студент решал 1 случайно выбранных)
случайно выбранный вариант)
Инженерные науки
3 варианта заданий, в каждом из 30 задач (студент решал 10
которых 6-8 вопросов (студент решал 1 случайно выбранных)
фото
случайно выбранный вариант)
Оценка контекста результатов обучения
(1) Заполнение онлайн вопросников (10 мин.): для студентов, для преподавателей,
для институциональных координаторов и/или администрации вузов
(2) Заполнение дополнительно разработанных национальных вопросников для
студентов и преподавателей
Высшая школа экономики, Москва, 2013
Результаты обучения
как предмет анализа
Признание возможности выработки университетами согласованных контрольных
параметров (в терминах результатов обучения и компетенций ) по предметным областям,
необходимых для обеспечения сопоставимости, совместимости и прозрачности программ
и оценки качества образования (Tuning Educational Structures in Europe). фото
LO в Экономике:
знание и понимание предмета, а также умение их практического использования
применительно к реальным ситуациям;
способность эффективно оперировать необходимыми данными и использовать
количественные методы оценки;
способность устанавливать связь как со специалистами в данной предметной
области,
фото
так и со специалистами в других областях;
способность приобретать дополнительные образовательные навыки.
LO в Инженерных науках:
способность решать поставленные задачи, применяя базовые инженерные и научные
принципы, инженерные подходы и общие навыки.
в том числе, готовность подходить к решению таких задач с учетом возможностей
улучшения качества жизни, ответа на социальные потребности, повышения
конкурентоспособности и благосостояния общества
Высшая школа экономики, Москва, 2013
Основные достижения
и проблемы AHELO
Образование
(разные
страны)
Работодатели
(разные
страны)
LO
фото
Общество (разные
страны)
фото
Основные достижения:
- Интерес и высокая мотивация вузов к участию в таких исследованиях
- Достижение определенного консенсуса между специалистами в области образования; слабая
включенность в проект профессионального сообщества - работодателей
Основные проблемы:
- Иннновационная методология vs традиционный и слабый оценочный инструментарий: преобладание
стандартных теоретических задач; слабая связь с профессиональным контекстом; ограниченность
банка заданий…
- Большая разница программ обучения между вузами: проблемы международной репрезентативной
выборки; трудности сопоставления и оценки качества
Высшая школа экономики, Москва, 2013
Перспективы развития
AHELO
образование
работодатели
фото
LO
общество
фото
Основные вопросы:
- Возможности привлечения и достижения консенсуса между различными
национальными и международными профессиональными организациями и
сетями
- Реальные возможности обеспечения связи образования и рынка труда (от
ОПА до ОП процесса обеспечения качества)
- Возможности учета меняющихся общественных интересов и потребностей
Высшая школа экономики, Москва, 2013
Что проект дал России
- Результаты оценки результатов обучения – важный источник информации
для дальнейшей самооценки вузов, для корректировки стратегии развития,
для бенчмаркинга (не для межвузовских сопоставлений!), альтернатива
фото
политике «5-100-2020»
- Результаты анализа контекста результатов обучения – оценка студентами
характера и сложности оценочных заданий и успешность выполнения
студентами заданий различного типа; оценка студентами учебного процесса
(чего пока не хватает)
- Формирование консорциума заинтересованных вузов и межвузовских
экспертных сетей по формированию и оценке результатов обучения
фотопо
данным дисциплинарным направлениям
- Хорошее позиционирование российских вузов в международном
образовательном пространстве;
- Возможности участия в разработке комплексной международной системы
оценки качества подготовки в вузах и учета особенностей, интересов и
потребностей отечественного образования в этом международном процессе
Высшая школа экономики, Москва, 2013
Что пока не хватает?
(оценка студентов)
-
-
-
-
Инновационного оценочного инструментария, позволяющего студентам применять
свои знания и навыки в профессиональных контекстах (преобладание типовых задач,
обычных для учебного процесса; незначительное соответствие заданий будущей
профессиональной деятельности)
фотъо
Умения решать такие инновационные задачи, навыков самостоятельного, авторского,
творческого решения поставленной проблемы, умения синтезировать имеющиеся
знания, навыков проектирования и создания нового знания на основе имеющегося
(CRTs оказались трудновыполнимыми и одновременно более интересными для
студентов)
Практики в ходе учебного процесса, практических занятий или на занятий по отработке
навыков - лабораторных работ, эксперимент, полевые работ, а также групповой
фото
работы и дискуссионных форм обучения (лекционная форма остается
преобладающей, учащийся остается преимущественно пассивным слушателем)
Реальной профессиональной практики (практика продолжительностью от 1 до 10
недель – более 50% студентов)
Оценка профессиональных (above-content ) умений и навыков при сохраняющейся
традиционной организации учебного процесса с позиций методологии AHELO
представляется преждевременной
Высшая школа экономики, Москва, 2013
Перспективы проекта
в России
Необходимо продолжение национальных исследований с учетом
методологии и опыта AHELO, что позволит:
- Сохранить и расширить межвузовские экспертные сети; поддержать интерес
и доверие российских вузов к такого рода исследованиям качества;
фото
Усовершенствовать оценочный инструментарий с учетом выявленных
слабых сторон использованного международного инструментария, прежде
всего за счет активного взаимодействия с профессиональным сообществом и
потенциальными работодателями;
- Провести мониторинговое исследование в тех же вузах, что участвовали в
исследовании 2012 года и получить более обоснованную и точную
фотокартину
подготовки студентов по выбранным направлениям;
- Использовать международную методологию проекта AHELO для
совершенствования инструментария и процедур начатого в 2012 году
апробационного цикла модели федерального экзамена бакалавров (ФЭБ)
Высшая школа экономики, Москва, 2013
Опыт ФЭБ
Цель: новый способ оценки образовательных результатов.
Формирование консорциума вузов (10 вузов),
Создание и апробация инструментария (три блока: открытые, с
множественным выбором),
фото
Формирование выборки,
Сбор данных: студенты, члены ГАК, внешние эксперты, руководство вузов,
представители органов исполнительной власти, организаторы тестирования,
Сбор информации о результатах экзаменов, поступлении в магистратуру,
дополнительных испытаниях в вузах
Выводы:
фото
Наполненность курсов разная независимо от ГОС,
Задания с вычислениями и открытыми ответами являются сложными для
студентов,
Создана база ВКР, вопросов к ГАЭ,
В некоторых вузах реализуются дополнительные квалификационные
испытания,
Многие эксперты согласны с необходимостью дополнительного
профессионального испытания.
Высшая школа экономики, Москва, 2013
Методология проекта
(2)
Подробнее о методологии:
OECD (2011), “A Tuning-AHELO Conceptual Framework of Expected фото
Desired/Learning Outcomes in Engineering”,OECD Education Working Papers, No.
60, OECD Publishing. doi: 10.1787/5kghtchn8mbn-en
OECD (2011), “Tuning-AHELO Conceptual Framework of Expected and Desired
Learning Outcomes in Economics”, OECD Education Working Papers, No. 59, OECD
Publishing.doi: 10.1787/5kghtchwb3nn-en
фото
OECD (2012) AHELO Feasibility Study Report.
Volume 1. Design and Implementation
(http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVol
ume1.pdf)
OECD (2013) AHELO Feasibility Study Report.
Volume 2. Data analysis and national experience
(http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf)
Высшая школа экономики, Москва, 2012
Методология проекта
(3)
Целевая аудитория:
основная - выпускники бакалавриата (4-й курс) и/или 4-й курс специалитета
дополнительная целевая аудитория – преподаватели по профильным предметам
фото
Создание консорциума вузов-участников (примерно 10 вузов в каждой странеучастнице), желательно разных по типу, территориальному размещению, контингенту
учащихся и т.д.
Основные требования к разработке выборки:
Случайная стратифицированная выборка (одноступенчатая или многоступенчатая)
Доля участия – 75 % от включенных в выборку
фото
Ожидаемый размер выборки для студентов – 200 человек от вуза (150
человек –
реальное участие с учетом 25% не участвующих)
Если менее 200 или чуть более 200 – включаются все
Ожидаемый размер выборки для преподавателей – 40 человек от вуза (30
человек – реальное участие с учетом 25% не участвующих)
Если менее 40 или чуть более 40 – включаются все
Не допускается замена не участвующих студентов и преподавателей (‘volunteer
sampling’)
Высшая школа экономики, Москва, 2012
Инструментарий
AHELO
(1) Инструментарий AHELO для оценки результатов обучения студентов
Онлайн тестирование продолжительностью 90 мин., состоящее из 2 типов
заданий – задания с конструируемыми ответами и тестовые задания
фото
Экономика:
-2 варианта открытых заданий, в каждом варианте 6-7 вопросов (студент
решает один случайно выбранный вариант)
- 50 тестовых заданий (студент решает 25 случайно выбранных)
Инженерные науки:
- 3 варианта открытых заданий, в каждом варианте 5-6 вопросов) (студент
фото
решает один случайно выбранный вариант)
- 30 тестовых заданий (студент решает 10 случайно выбранных)
Высшая школа экономики, Москва, 2012
Инструментарий
AHELO (2)
Инструментарий AHELO для оценки контекста результатов обучения
фото
Заполнение онлайн вопросников (10 мин.)
Для студентов
Для преподавателей
Для институциональных координаторов и администрации вузов
фото
Высшая школа экономики, Москва, 2012
Примеры заданий Экономика (1)
Вопрос по мировой торговле с развернутым ответом
Ниже приведена цитата из статьи 2010 г. чилийского экономиста Алехандро Фоксли
Со времен 1960-х годов, когда страны со средним доходом начали использовать региональные
торговые соглашения, значимость этих связей возрастает, поскольку глобальный
фото
экономический кризис сокращает спрос со стороны Соединенных Штатов
и других ключевых рынков. В связи с тем, что раунд переговоров
по многосторонним торговым соглашениям в Дохе зашел в
тупик, региональные торговые соглашения представляют собой
альтернативный подход к росту торговли, стимулируют более значительный экономический рост и
снижают уровень безработицы в странах-участницах.
А. Объясните, что Фоксли имел в виду в своем утверждении.
фото
Б. Опишите состояние мировой экономики в 2008-2009 гг.
В. Как данные экономические условия могли привести Фоксли к своим выводам в 2010 г.?
Г. Приведите два преимущества регионального торгового соглашения, на которое мог бы
сослаться специалист в области экономики, и объясните почему.
Д. Приведите два недостатка регионального торгового соглашения, на которое сослался бы
экономист, и объясните почему.
Высшая школа экономики, Москва, 2012
Примеры заданий Экономика (2)
Тестовые задания:
1. Светлана является единственным производителем устройства промышленной упаковки. Ее постоянные
издержки составляют 125 000 российских рублей в год и переменные издержки для каждого производимого
устройства равны 200 рублям.
Светлана максимизирует прибыль, и спрос на ее продукцию имеет вид
фото
X = 2400 - 2P,
где
X = количество единиц продукции, и
P = цена.
Чему равна максимальная годовая прибыль?
(A)
500 000 рублей
(Б)
400 000 рублей
(В)
375 000 рублей
(Г)
330 000 рублей
фото
2. Город пытается решить, какой из двух видов электрических лампочек закупить на двухлетний период. Новая 60ватная лампочка длительного пользования служит в среднем два года и стоит 0,39 российских рублей. Обычная
60-ватная лампочка служит в среднем один год и стоит 0,21 рублей. Обе потребляют одинаковое количество
электроэнергии.
Пусть ставка процента равна 5 процентам, темп инфляции составляет 0 процентов и цены лампочек остаются
неизменными. Какова будет чистая приведенная стоимость (дисконтированная величина) сэкономленных городом
средств в случае, если сегодня будет приобретено 100 000 лампочек длительного пользования?
(A)
3000,00 рублей
(Б)
2200,00 рублей
(В)
2000,00 рублей
(Г)
1800,00 рублей
Высшая школа экономики, Москва, 2012
Инструментарий
AHELO+
Дополнительный инcтрументарий для оценки контекста результатов
обучения (AHELO+)
фото
Заполнение онлайн вопросников (15 мин.)
Экономика
-для студентов www.hse.ru/ahelo/q
-Для преподавателей www.hse.ru/ahelo/f
Инженернеы науки
-Для студентов www.hse.ru/ahelo/ce
- Для преподавателей www.hse.ru/ahelo/cef
Высшая школа экономики, Москва, 2012
фото
Инструментарий
AHELO+ (2)
Тематические блоки
студенческой анкеты:
•Характеристика программы
обучения
•Обучение в школе и поступление в
вуз
•Досуг
•Процесс обучения на факультете
•Планы по продолжению обучения и
рабочие планы
•Субъективная оценка навыков и
способностей
Высшая школа экономики, Москва, 2012
Тематические блоки
преподавательской анкеты:
фото
•Общие сведения о работе и стаже
•Научно-исследовательская работа
•Преподавательская деятельность
(стили и методики преподавания)
•Оценка навыков и способностей
студентов
фото
III. Предварительные результаты
реализации проекта в России и
перспективы дальнейшей работы
по проекту
Генеральная
совокупность и
выборка
Объем
генеральной
совокупности
Объем выборки
Объем участия
AHELO
Объем участия
AHELO +
Студенты-Эк. 3 756
2 900
2 400
фото
1940
Преподавате 1 556
ли - Эк.
714
349
335
Студенты –
Инж.
1 282
1 181
997фото
331
171
182
1 282
Преподавате 331
ли – Инж.
Высшая школа экономики, Москва, 2012
Работы 2012 (1)
1. Проведено обучение ИК, администраторов тестирования и общественных
наблюдателей методологии подготовки и проведения основного этапа
фото
исследования (в формате вебинаров);
2. Подготовлена репрезентативная стратифицированная выборка студентов и
преподавателей на основе списков, предоставленных участвующими
вузами;
3. Доработан международный инструментарий проекта AHELO;
4. Разработан дополнительный инструментарий для углубленного анализа
национального контекста компетенций студентов (дополнительные анкеты
фото
для студентов и преподавателей);
5. Проведена апробация онлайн платформы для проведения тестирования и
опроса студентов, опроса преподавателей и координаторов
6. Проведено основное полевое исследование на апробированной онлайн
платформе в соответствии с методологией проекта AHELO…
Высшая школа экономики, Москва, 2012
Работы 2012 (2)
8. Сформирована команда специалистов для оценки открытых оценочных
заданий (скореров) и проведение их обучение методологии скоринга по
проекту AHELO (в формате тренинга-семинара);
фото
9. Проведен скоринг и результаты представлены в ACER;
10. Проведен анализ дополнительного анкетирования студентов и
преподавателей, организованного НИУ ВШЭ параллельно с основным
исследованием AHELO;
11. Начат анализ данных основного исследования AHELO, предоставленных
ОЭСР и ACER в распоряжение национальных исследователей в конце
декабря 2012 года;
12. Подготовлены национальные материалы по для публикации в фото
международных отчетах по проекту. Результаты и опыт реализации
основного и дополнительного исследования представлены на
международных и национальных конференциях и семинарах;
13. Разработаны предварительные рекомендации по возможностям
использования методологии и инструментария проекта AHELO в ходе
разработки независимой комплексной системы оценки качества высшего
образования в контексте внедрения новых стандартов высшего
профессионального образования и распространения компетентностного
подхода в образовании в России.
Высшая школа экономики, Москва, 2012
Основные результаты
и эффекты проекта (1)
Устойчивый интерес и поддержка со стороны российских
вузов. Высокая мотивация и интерес со стороны студентов,
фото
преподавателей, руководителей вузов
Реализация проекта AHELO в России как крупного
межвузовского горизонтального проекта, направленного на
формирование системы независимой оценки качества
высшего образования
фото
Начало формирования экспертной сети в области новых
подходов к формированию и оценке компетенций (в
терминах результатов обучения) студентов вузов
Использование экспертной сети и наработок AHELO при
апробации Федерального экзамена для бакалавров (ФЭБ) по
направлению Экономика в 2012
Высшая школа экономики, Москва, 2012
Подробнее о проекте
AHELO
О методологии:
OECD (2011), “A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes
in Engineering”,OECD Education Working Papers, No. 60, OECD Publishing. doi:
10.1787/5kghtchn8mbn-en
фото
OECD (2011), “Tuning-AHELO Conceptual Framework of Expected and Desired Learning
Outcomes in Economics”, OECD Education Working Papers, No. 59, OECD
Publishing.doi: 10.1787/5kghtchwb3nn-en
О результатах:
OECD (2012) AHELO Feasibility Study Report.
Volume 1. Design and Implementation
(http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf)
OECD (2013) AHELO Feasibility Study Report.
Volume 2. Data analysis and national experience
(http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf)
О национальных результатах :
Результаты и перспективы международной оценки российского высшего образования (по
итогам реализации проекта AHELO в России) (готовится к публикации в Вопросах
образования)
Высшая школа экономики, Москва, 2012
Для получения дополнительной информации
Мешкова Татьяна Анатольевна – tmeshkova@hse.ru
101000, www.hse.ru/ahelo/
Россия, Москва, Мясницкая ул., д. 20
Тел.: (495) 621-7983, факс: (495) 628-7931
www.oecd.org/edu/ahelo
www.hse.ru
Документ
Категория
Презентации
Просмотров
26
Размер файла
1 350 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа