close

Вход

Забыли?

вход по аккаунту

?

Заголовок слайда отсутствует

код для вставкиСкачать
Теория и практика
мониторинга и оценки
социальных программ
Кемерово 18 – 20 мая 2006года
Коваленко Елена
Феоктистова Олеся
Фонд «Институт экономики города» (Москва)
www.urbaneconomics.ru
Фонд
«Институт экономики города»
Негосударственная некоммерческая организация, один из ведущих
аналитических центров России, созданный в Москве в 1995 году
Миссия института
- анализ и содействие решению социально-экономических проблем развития городов и
регионов;
- выработка и предложение новых решений в сфере муниципального развития;
- участие в законотворческом процессе на федеральном уровне;
- независимая оценка ситуации и организация публичного диалога по самым острым
вопросам развития страны.
Основные виды работ и услуг:
Законотворчество
Экспертиза
Мониторинг и оценка
Стратегии и программы развития городов
Демонстрационные проекты в области муниципального управления
Программы грантов
исследования
Обучение
План семинара
Мониторинг социальных программ
- Виды и уровни мониторинга
- Разработка системы индикаторов для мониторинга
Оценка социальных программ
- Подходы к формированию контрольной группы:
Экспериментальный подход (randomized method)
Квази-экспериментальные подходы:
Метод подбора пары или сравнения по подобию (matching)
Метод подбора пары по вероятности (propensity score matching)
Использование статистически невыровненной контрольной группы
Неэкспериментальные подходы: рефлексивный метод (reflexive
method)
Сбор и анализ данных, полученных в процессе мониторинга и
оценки программ
- Методы сбора данных
- Методы статистического анализа данных:
Мониторинг
социальных программ
Что такое мониторинг?
Мониторинг – это регулярное измерение
показателей функционирования
программы, ее результатов и
эффективности предоставления услуг.
Преимущества, которые можно получить в
результате мониторинга программы
• Совершенствование процесса реализации
программы
• Более эффективное использование ресурсов
• Предоставление информации всем
заинтересованным сторонам
• Управление персоналом. Оценка качества
работы исполнителей.
Виды мониторинга
• Процесс программы – фокус на основных
ресурсах и продуктах программы.
• Результативность программы - информация
о результатах программы, причем
результаты отражают качественное
изменение жизни клиента.
• Эффективность управления программой отношение использованных ресурсов к
произведенному за счет этих ресурсов
продукту
• Качество предоставляемых услуг
• Субъективная оценка качества
осуществляется с помощью
информации, полученной
непосредственно от участников
программы
• Объективная оценка качества
услуг осуществляется с помощью
оценочных форм, заполняемых
методом включенного или
исключенного наблюдения
Пример: Мониторинг программы «Горячее
питание» для остронуждающихся пенсионеров
по технологии социального ваучера
Цель проведения мониторинга
Совершенствование механизма осуществления горячего питания по модели социального ваучера (целевой
потребительской субсидии).
Задачи мониторинга
•
Получение информации о текущем ходе осуществления горячего питания.
•
Выявление проблем, препятствующих осуществлению горячего питания.
•
Выявление недостатков нормативно-методической базы, на основании которой осуществляется горячее
питание.
•
Создание рекомендаций по совершенствованию осуществления горячего питания.
Время проведения мониторинга
15-16 августа 2005 г.
Мероприятия мониторинга
•
Встречи с сотрудниками Управления социальной политики Администрации г. Владимира.
•
Встречи с сотрудниками Муниципального центра социального обслуживания г. Владимира,
осуществляющими набор клиентов для получения горячего питания.
•
Встречи с поставщиками горячего питания, допущенными к предоставлению питания пенсионерам.
•
Встречи с поставщиками горячего питания, НЕ допущенными к предоставлению питания пенсионерам.
•
Беседы с клиентами, получающими горячее питание.
•
Просмотр административной информации (месячных отчетов поставщиков горячего питания и т.д.).
•
Анализ качества жизни клиентов на основании данных анкетирования клиентов в момент обращения за
помощью.
Уровни мониторинга
• Мониторинг отдельных услуг и небольших
программ (недельные или месячные отчеты
руководителя)
• Мониторинг
муниципальных
или
региональных программ (количественные
данные, для получения которых следует
разработать стандартные формы отчетов
• Отраслевой мониторинг – сбор сведений об
общих тенденциях развития той или иной
отрасли (квартальные или годовые отчеты
отраслевых подразделений).
Модель программы
Результаты
1)
2)
3)
Продукты
4)
1)
5)
2)
3)
Ресурсы
1)
2)
3)
4)
5)
Реализация
4)
1)
5)
2)
3)
4)
5)
Прямой продукт
реализации
Программы
Каким образом используются
ресурсы Программы для
достижения ее целей
Объем ресурсов, выделенных
или использованных в ходе
программы
Блага, которые
получают участники в
ходе Программы и
после ее завершения
Виды индикаторов мониторинга
Ресурсы
Объем использованных ресурсов
Продукты
Количество предоставленных услуг
Результаты
Эффект от реализации Программы для бенефициариев
Эффективность
Соотношение результатов и ресурсов или эффектов и
ресурсов
Упражнение 1.
«Определение вида
индикаторов для
мониторинга»
Вспомогательные вопросы при
выборе индикаторов мониторинга
•
•
•
•
•
•
«Сколько?»
«Кто?»
«Что?»
«Где?»
«Когда?»
«Насколько хорошо?».
Вопрос
Описание
Назначение
Сколько?
Сколько
клиентов
обслуживаются
данным
отделом? Сколько новых клиентов было
зарегистрировано за отчетный период? Сколько
клиентов выбыло за отчетный период? Сколько
услуг каждого вида было предоставлено? Сколько
произошло контактов с клиентами?
Дает руководителям точные данные о
числе обслуженных клиентов за
определенный период времени, что
позволяет лучше определить затраты и
потребность в услугах.
Кто?
Кто получает услуги? (целевая группа)
Кому из нуждающихся было отказано в оказании
услуг?
Обеспечивает
обслуживание
предусмотренных групп населения и
помогает
выявить
группы,
получающие услуги в недостаточном
количестве.
Что?
Что (т.е., какая услуга) предоставляется?
Обеспечивает предоставление всех
услуг, на получение которых имеют
право клиенты и не допускает
предоставление услуг, на которые
клиенты права не имеют.
Где?
Где предоставляются услуги – в учреждении или
ином месте? Кроме того, данный вопрос
фиксирует место предоставления услуг для
программ,
работающих
на
нескольких
территориях.
Отслеживает место предоставления
услуг, что позволяет руководителю
программы выяснить, не следует ли
уделить большее внимание той или
иной территории.
Когда?
Какой
период
охватывает
отчет
о
результатах мониторинга – день, неделю,
или месяц? Если указывается количество
услуг, за какое время они были
предоставлены? Соответствует ли график
оказания услуг заранее разработанному
плану?
Позволяет руководителю выявить
периоды повышенного спроса на
услуги программы. Это помогает
эффективно
распределить
ресурсы
программы.
Периодичность предоставления
услуг
(разовые,
постоянные)
сказывается на устойчивости
результатов
–
длительные
результаты, как правило, требуют
регулярного оказания услуг.
Насколько Насколько хорошо предоставляются услуги?
хорошо?
Какова
стоимость
хорошо
и
неудовлетворительно
предоставляемых
услуг для бюджета?
Суть мониторинга состоит в
определении
того,
насколько
хорошо работает программа и в
чем она требует улучшения.
Важной
частью
является
сопоставление
затрат
и
результатов.
Подготовлено по материалам работы Patrick A.Corvington, Monitoring Social Assistance and
Social Services. Urban Institute. November 2002.
Пять важнейших компонентов
мониторинга
• четкая формулировка и понимание целей;
• выбор показателей, отражающих как
непосредственные текущие результаты программы, так
и ее долгосрочное воздействие на благосостояние
участников;
• рациональный уровень затрат на мониторинг, учет и
отчетность в рамках программы при сохранении
надежности получаемой информации;
• принятие решений относительно затрат на сбор и
анализ внешних данных;
• организация процесса принятия управленческих
решений на основе результатов мониторинга и оценки.
Пример: Мониторинг результативности социального
обслуживания на дому граждан пожилого возраста и
инвалидов в Саратовской области
1 этап: анализ существующей ситуации, разработка общего дизайна проекта и
собственно технологии мониторинга результативности, определение пилотной
территории
2 этап: были последовательно осуществлены следующие мероприятия:
1. Первый замер результативности деятельности 6 из 12 отделений надомного
обслуживания центра социального обслуживания населения Балашовского района
(апрель – май 2004 г.).
2. Анализ результативности по данным первого замера (июнь – август 2004 г.).
3. Разработка и реализация плана по повышению результативности работы
отделения № 10 (сентябрь 2004 г. – февраль 2005 г.).
4. Разработка компьютерной программы для автоматизированной обработки и
анализа данных и коррекция технологии (февраль – март 2005 г.).
5. Второй замер результативности деятельности отделения надомного
обслуживания № 10 центра социального обслуживания населения Балашовского
района (март 2005 г.).
6. Анализ данных второго замера результативности надомного обслуживания в
Балашовском районе и замера результативности надомного обслуживания в
Романовском районе (март 2005 г.).
3 этап: подготовка методического руководства, проведение обучения работе по
созданной технологии сотрудников территориальных ЦСО Саратовской области,
которые занимаются методическим обеспечением социального обслуживания.
Ограничения на использование
мониторинга
• Данные, полученные в ходе мониторинга, не
объясняют, за счет чего достигнут тот или
иной результат.
• Некоторые результаты нельзя измерить
напрямую.
• Информация, полученная в ходе
мониторинга составляет только часть
сведений, необходимых руководителям для
принятия решений.
Мониторинг и оценка: в чем
различия?
Мониторинг
Отвечает на вопросы «Сколько?
Когда? Где? и Что?»
Описывает процесс реализации
программы (на сколько хорошо
выполняется программа).
Является регулярной процедурой в
процессе реализации программы.
Основание для проведения
мониторинга – реализация
программы
Проводить мониторинг можно без
данных оценки
Результаты мониторинга
используются для улучшения
реализации программы
Оценка
Отвечает на вопрос «Почему?»
Объясняет процесс реализации
программы (хороша ли
программа)
Является разовой процедурой,
имеющей конкретный,
ограниченный срок проведения
на самых важных этапах
реализации программы
Основание для проведения оценки –
данные мониторинга
Проводить оценку очень трудно без
данных мониторинга
Результаты оценки используются как
для улучшения выполнения
программы, так и для улучшения
самой программы (изменение
содержания, приоритетов,
прекращение программы)
Оценка влияния
социальных программ
Предмет оценки влияния
программы
- воздействие, оказанное мероприятиями
программы на ее участников (насколько
изменения характеристик домохозяйств и
индивидуумов, принимавших участие в
программе обусловлены воздействием
программы, а насколько – являются
результатом влияния внешних факторов)
Влияние (чистый
результат программы)
Совокупный
результат
Последствия
влияния
внешних
факторов
Вопросы оценки
Вопросы должны:
– быть четко сформулированы
– давать возможность получить полезную
информацию
– допускать возможность получения ответа
Вопросы оценки должны быть согласованы со всеми
основными заинтересованными сторонами
Необходимость формирования
контрольной группы
(внешние искажения)
• Смещение выборки
• Наличие долговременных тенденций
• Обстоятельства, вмешивающиеся в ход
процесса
• Хоторнский эффект
Базовые определения
Экспериментальная группа – группа
граждан или домохозяйств, участвующих в
программе.
Контрольная группа – группа граждан или
домохозяйств сходных по своим основным
социально-экономическим характеристикам
с реальными участниками программы.
Экспериментальный (рандомизированный)
подход (randomized method).
• потенциальные участники случайным образом
причисляются к экспериментальной или
контрольной группе.
• если выборка подобрана правильно, эти две
группы будут иметь:
- идентичный состав,
- идентичную предрасположенность к участию в
проекте/эксперименте
- идентичные условия с точки зрения внешних
искажающих факторов.
Построение выборки
Выборочная совокупность (выборка) – часть
наблюдений,
взятых
из
генеральной
совокупности всех имеющихся наблюдений
согласно некоторому правилу (процедуре)
отбора.
•
•
•
•
Метод случайного отбора
Механический метод отбора
Стратифицированный метод отбора
Многоступенчатый или кластерный метод
Способы получения «почти
случайной» выборки
• использование нумерованных
списков
• формирование контрольной группы
из «отказников»
Сложности в использовании
экспериментального подхода
• Если ожидается, что различие между контрольной и
экспериментальной группой окажется небольшим, то размер
выборки должен быть достаточно большим, чтобы позволить
корректно оценить значимость этих различий
• Трудоемкие и требуют высоких административных и
материальных затрат, в ряде случаев использовать его
нерационально
• Могут возникнуть затруднения этического свойства – приходится
отказывать в участии в программе людям, имеющим на это
полное право
• Для общенациональных программ, охватывающих все население
(например, программы вакцинации), контрольная группа
малочисленна и значительно отличается от экспериментальной по
своим базовым характеристикам
• Контрольная и экспериментальная группы могут претерпевать
изменения во время действия программы
• Случайность включения в контрольную группу может быть под
вопросом
Квази-экспериментальные подходы:
метод подбора пары или
сравнения по подобию (matching)
-
подбор для каждого наблюдения из
экспериментальной группы наблюдения
со сходными характеристиками из
группы лиц или организаций, не
участвующих в данной программе
Квази-экспериментальные подходы:
метод подбора пары по вероятности
(propensity score matching)
• В качестве пары для индивидуума или
домохозяйства из экспериментальной группы
подбирается
наблюдение
из
группы
неучаствующих в программе, обладающее
сходной ожидаемой вероятностью участия в
программе
• Ожидаемая вероятность участия в программе
оценивается с помощью регрессионной модели
бинарного выбора (Логит- или Пробит-).
Построение контрольной группы с помощью
метода подбора пары
по вероятности (склонности)
• Шаг
1.
социологическое
обследование
участников и НЕ участников программы,
причем объем выборки неучастников должен
быть значительно больше.
• Шаг 2. Необходимо совместить выборки и
построить Пробит- или Логит-регрессию для
вероятности участвовать в программе
• Шаг 3. Вычислить ожидаемые вероятности
участия в программе (для обеих групп).
Построение контрольной группы с
помощью метода подбора пары
по вероятности (склонности)
• Шаг 4. Из подвыборки неучастников программы
необходимо исключить наблюдения с низкими
значениями ожидаемой вероятности участия (как
правило, близкими к нулю).
• Шаг 5. Для каждого наблюдения из группы
участников подобрать пару с наиболее близким
значением ожидаемой вероятности участия и
похожими
социально-экономическими
характеристиками.
Квази-экспериментальные подходы:
использование статистически невыровненной
контрольной группы
• в контрольную группу включаются все неучастники
Вариант 1: использование регрессии - статистическое
выравнивание группы производится с помощью
регрессионной модели, примененной к объединенной
выборке (участники и неучастники):
y i a 0 a1 Pi b1 X 1i b 2 X 2 i ... b n X ni u i .
Где y – результат после программы, P – участие в программе
Вариант 2: метод инструментальных переменных
Метод инструментальных
переменных
• Используется в тех случаях, когда существует один или
несколько факторов, влияющих не на результат
программы, а на участие в ней
• Эти
факторы,
называемые
инструментами,
используются
для
прогнозирования
участия
респондентов в программе (1 шаг)
• Прогнозируемые значения участия в программе,
наряду с другими факторами, оказывающими влияние
на результат программы, выступают в качестве
независимых переменных в регрессионной модели,
оценивающей результаты программы (2 шаг)
• Основная сложность применения данного метода
заключается в подборе «правильных» инструментов.
Применение
квазиэкспериментальной
методики оценки
На примере оценки влияния программы «От
пособия к зарплате» (Пермская область, 2004)
Цели и задачи программы
Цель
Снижение глубины бедности малоимущих семей с
несовершеннолетними детьми, имеющих в своем
составе безработных членов семьи.
Задачи
• Преодоление социального иждивенчества.
• Устранение барьеров к трудоустройству.
• Трудоустройство безработных членов семьи.
Ожидаемые
результаты программы
Краткосрочные ожидаемые результаты
• Трудоустройство безработных трудоспособных членов
малоимущей семьи на постоянном месте работы.
• Повышение среднедушевого дохода семьи за счет
появления дополнительного трудового дохода.
Долгосрочные ожидаемые результаты
• Продолжение трудовой деятельности трудоустроившимися
членами семьи.
• Дальнейшее повышение среднедушевого дохода семьи за
счет увеличения трудового дохода.
• Снижение зависимости семьи от государственной и
муниципальной социальной помощи.
Высокие удельные затраты.
Вопросы Администрации Пермской области:
1) Результативна ли программа?
2) Каково влияние программы на результат?
3) В чем и каков экономический эффект программы?
Вопросы оценки
• Какую
роль
сыграла
программа
в
трудоустройстве участников, которые сумели
найти работу?
• Помогли ли услуги, оказанные в рамках
программы, ее участникам выйти из “тяжелой
жизненной ситуации”?
• Есть ли экономическое преимущество данной
программы для муниципального бюджета по
сравнению с традиционными программами
адресной социальной помощи?
Квазиэкспериментальная
контрольная группа для опроса
• Первый вариант – заявители с небольшим превышением
установленного порога дохода, которых по этой причине не приняли в
программу. Не прошел – таких оказалось мало.
• Второй вариант – семьи, получавшие услуги службы занятости, но не
участвовавшие в программе. При этом такие семьи имеют
социальные, демографические и экономические характеристики,
аналогичные характеристикам участников программы.
• При отборе членов контрольной группы использовалась база данных
службы занятости. При опросе потребовался больший охват
респондентов и последующее фильтрование их по среднедушевому
доходу и имущественному статусу на момент начала получения услуг
службы занятости, так как база данных службы занятости содержала
информацию только о зарплате безработного члена семьи на
последнем месте работы.
Источники информации
• Сведения,
предоставленные
участниками
программы и клиентами службы занятости в
ходе надомного опроса (в среднем удалось
опросить ¾ участников программы и клиентов
службы занятости).
• Административная статистика программы и
службы занятости.
Экономическая эффективность
программы социальной помощи
• Получатели помощи переходят порог бедности
и снимают нагрузку с бюджета?
• Увеличиваются налоговые доходы бюджета от
трудоустроившихся и работающих участников
программы?
• Сравнительная стоимость улучшения жизни
получателя помощи – стоимость достижения
социального эффекта.
Социальный эффект
• Единица эффекта – семья (получатель
помощи), в которой:
– Трудоустроившийся работает.
– Считают, что трудоустройству
содействовало получение помощи.
– Повысился среднедушевой доход (с
учетом инфляции).
Итоги оценки влияния
Доля единиц социального эффекта
35%
30%
25%
20%
15%
10%
5%
0%
Служба
занятости
Программа
"От
пособия к
зарплате"
Экономическая эффективность
Стоимость единицы социального эффекта
35 000р.
30 000р.
25 000р.
20 000р.
15 000р.
10 000р.
5 000р.
0р.
Служба
занятости
Программа
"От
пособия к
зарплате"
Бюджетное финансирование
программы «От пособия
к зарплате» увеличено
в 10 раз:
7 млн. руб. 70 млн. руб.
Однако отсутствие стандартов по административным расходам и учета
специфики и возможностей выполнения программы в муниципальных
образованиях представляет серьезный риск для результативности и
эффективности реализации программы.
Неэкспериментальные подходы:
метод последовательных сравнений
(reflexive comparison)
• В качестве контрольной группы выступают
сами
участники
программы
(до
ее
прохождения)
• Серьезной внешней помехой могут стать
долговременные тенденции в обществе. Чем
дольше период наблюдения, тем выше
вероятность того, что эти помехи сделают
результаты оценки недействительными.
Применение
неэкспериментальной
методики оценки
На примере оценки результативности программы
«Самообеспечение»
(Пермская область, 2004-2006)
Вопросы оценки
•
•
•
•
•
•
•
В какой степени достигаются ожидаемые результаты программы
«Самообеспечение» - повышение качества жизни малоимущих сельских
семей, участвующих в программе?
Какой доход получили участники программы «Самообеспечение» в ходе
реализации индивидуальных семейных планов по выходу на
«Самообеспечение»?
Насколько полезным считают участники программы «Самообеспечение»
свое участие в программе?
Собираются ли участники программы «Самообеспечение» продолжать
развивать личное подсобное хозяйство или заниматься индивидуальной
трудовой деятельностью после завершения участия в программе?
Что препятствует успешной реализации программы «Самообеспечение»?
Как изменяет участие в программе «Самообеспечение» зависимость
участников программы от государственной социальной помощи?
Каковы рекомендации по дальнейшей реализации программы
«Самообеспечение»?
Мероприятия оценки
1. Опрос участников программы «Самообеспечение» при
принятии в программу в 2004 г. (август-декабрь). Опрошено
830 человек.
2. 2 раунд опроса по окончании участия в программе в декабре
2005 года. Из 830 участников программы было опрошено
800 участников, остальных участников не удалось опросить
в связи с их смертью, переездом в другой район, сезонной
недоступностью населенных пунктов.
3. Интервью с сотрудниками управлений социальной защиты
населения 4 районов Пермского края, занимающихся
реализацией программы «Самообеспечение».
4. Анализ административных данных программы (заявленийпланов участников и т.д.).
Интересные аспекты
• Целенаправленное анкетирование при входе в
программу (1 раунд) - замер качества жизни в
момент вступления (т.е. до программы) – после
того как их приняли, чтобы не было мотивации
«прибедняться» - самостоятельное заполнение
участниками анкет
• Выбор разумного времени для 2 раунда
• Анкета более длинная и сложная – необходим
интервьюер. КТО?
Участники программы стали лучше питаться
80%
70%
60%
50%
40%
30%
20%
10%
0%
Мясо и
рыба
Ограничивали ДО
программы из-за нехватки
средств
Ограничивали ПОСЛЕ
программы из-за нехватки
средств
Сладости
для
детей
Молоко
Участники программы повысили самооценку своего
благосостояния
100%
90%
80%
70%
ДО программы
60%
50%
40%
ПОСЛЕ программы
30%
20%
10%
0%
Негативная
самооценка
благосостояния
Самооценка
благосостояния
"ниже среднего"
Наличие и типы дохода
Только
денежный
доход; 3%
Нет дохода;
3%
Только
натуральный
доход; 30%
Натуральный
и денежный
доход; 64%
Оценка участниками выполнения своих
планов
Не удалось;
2%
Удалось
только
частично; 24%
В целом
удалось; 34%
Затруднились
ответить; 1%
Удалось
полностью;
39%
Положительные изменения от
программы, отмеченные участниками
Положительные изменения в жизни семьи,
произошедшие благодаря участию в программе
Доля участников,
отметивших данное
положительное
изменение
Получили или укрепили уверенность в собственных силах
87 %
Стали качественнее и регулярнее питаться
83 %
Получили хороший опыт ведения подсобного хозяйства или индивидуальной
трудовой деятельности
80 %
Стали регулярнее/больше покупать предметов повседневного пользования
(одежда, обувь и т.д.)
50 %
Смогли или планируют приобрести товары долговременного пользования
(телевизор, стиральная машина и т.п.)
38 %
Получили больше возможностей для покупки лекарств и медицинских услуг
37 %
Завели знакомства, которые полезны для развития подсобного хозяйства или
индивидуальной трудовой деятельности
35 %
Смогли обеспечить (или лучше обеспечить) получение образования членом
(членами) семьи
15 %
Смогли переехать на новое место жительство
4%
Дальнейшие планы участников по
развитию ЛПХ и занятию ИТД
Развитие ЛПХ
и занятие ИТД;
1%
Планов нет;
3%
Затруднились
ответить; 3%
Занятие ИТД;
2%
Развитие ЛПХ;
91%
Планы участников по использованию
кредитных программ
(среди участников, имеющих планы по развитию)
Планируют
взять кредит;
13%
Затруднились
ответить; 33%
Хотят взять
кредит, но не
знают где;
14%
Не будут
брать кредит;
40%
Кроме того…
• Оценка
продемонстрировала
недостаточную
информированность
участников
программы
о
предоставляемых ею возможностях и важнейших
правилах реализации, что может препятствовать
максимизации результативности программы
• Программа не может рассматриваться как средство
вывода среднедушевых денежных доходов своих
участников за пределы прожиточного минимума.
Упражнение 2.
«Использование различных
подходов при формировании
контрольной группы»
Сбор и обработка информации для
оценки социальных программ
• определение источников информации,
• выбор метода/методов получения информации,
• разработка необходимого социологического
инструментария,
• полевые работы,
• обработка и анализ данных,
• выработка рекомендаций по улучшению
работы программы.
Источники данных и организация сбора
I этап:
• определить, какие источники содержат наибольшее
количество необходимой информации;
• установить взаимодействие с организациями,
ответственными за сбор этих данных;
• разработать механизмы для сбора, обработки,
интерпретации и презентации данных.
II этап:
• выявление потребности в дополнительных данных
Выявление существующих источников
информации
• Административные отчеты по Программе
– Предоставление услуг
• кто является благополучателем
(бенефициарием) Программы?
– Реализация программы и ее мероприятий
• жалобы
• уровень затрат
• Отчеты о работе и статистика из других программ и
учреждений
Потенциальные источники
дополнительных данных включают:
• персонал организаций, цели или деятельность которых
имеют отношение к программе.
• получателей услуги или их представители (родители,
учителя и т.д.) в случае, если программа имеет
конкретных клиентов;
• аналитические центры, которые часто публикуют
отчеты или статьи по актуальным проблемам.
• население в целом (если программа не имеет
конкретных клиентов, например, программа
обустройства территории, информационная кампания и
т.д.);
• данные государственной статистики;
• данные СМИ.
Методы сбора информации
•
•
•
•
•
•
•
•
Глубинное интервью
Структурированное интервью
Фокус-группа
Опросы на выходе (экзит-пулы от английского
exit-polls) или экспресс-интервью
Экспертный опрос/интервью
Письменный опрос
Включенное наблюдение
Сбор административных данных
Факторы, определяющие выбор методов
сбора информации
• Затраты
• Потребность в обучении
• Срок завершения работ
• Вероятность получения ответов
• (Предполагаемая) объективность
результатов
Упражнение 3.
«Сравнение качественных и
количественных методов сбора
информации»
Основные правила составления анкеты
•
•
•
•
•
•
•
•
•
•
•
•
•
Каждый пункт опросного листа (анкеты) должен содержать только один вопрос.
Используйте только понятные для клиентов понятия и термины.
Избегайте наводящих вопросов, поскольку формулировка вопроса влияет на
ответ респондента.
Снабжайте вопросы необходимыми временными ссылками.
По возможности избегайте заставлять респондентов выполнять какие-либо
вычисления, отвечая на вопрос.
Не используйте отрицательных предложений, формулируя вопрос.
Удостоверьтесь в том, что варианты ответов не пересекаются.
Предложите все возможные варианты ответов.
Используйте равное количество положительных и отрицательных вариантов
ответов.
По-возможности, используйте одни и те же варианты ответов для разных
вопросов.
Соблюдайте логическую последовательность вопросов.
Группируйте вопросы по темам.
Сначала задавайте более простые и удобные вопросы, которые не могут вызвать
отторжения у собеседника. К середине анкеты (основная часть)_ сложность
вопросов должна достигнуть максимума, а потом постепенно снижаться,
учитывая, что респондент начинает уставать и ему сложнее сосредоточиться.
Проверка данных
• Резко выделяющиеся значения
экспериментальных величин
• Контроль выборки по заданным
интервалам
• Отсутствующие данные
• Логическая проверка
• Однозначность определения понятий
Стоимость работ по проведению
социологического опроса
• Прямо пропорциональна стоимости единицы опроса и
размеру выборки.
• Стоимость единицы опроса включает в себя печать
опросных листов; стоимость подарка респонденту;
зарплату интервьюера; суточные, а также стоимость
проезда и проживания при необходимости
командировок; внесение информации в базу данных.
Факторы, влияющие на стоимость опроса:
• размер анкеты;
• сложность анкеты;
• присутствие в выборке отдаленных и труднодоступных
районов.
Методы статистического анализа
данных
•
•
•
•
•
•
Частотные таблицы
Таблицы сопряженности
Сравнение средних (t-критерий)
Метод двойных различий
Регрессионный анализ
Сравнение результатов исследования с
контрольными показателями или целями
программы
Частотные таблицы –
показывают частоту
встречаемости различных
значений, принимаемых
исследуемой переменной
Частотная таблица распределения
продолжительности сохранения
рабочих мест
Продолжительность сохранения
рабочих мест
Количество
участников
%
Менее 3х месяце
87
27,3
3 месяца – 1 год
121
37,9
Более 1 года – 2 года
63
19,7
2 года и более
48
15
Всего
319
100
Таблица сопряженности
Продолжит. Низкий
уровень
сохранения
рабочих мест образования,
чел.
Низкий
уровень
образования,
%
Образование Образование
не ниже
не ниже
среднего,
среднего, %
чел.
Менее 3х
месяце
63
31,5
24
20,2
3 месяца – 1
год
111
55,5
10
8,4
Более 1 года
– 2 года
23
11,5
40
33,6
2 года и
более
3
1,5
45
37,8
Всего
200
100
119
100
Сравнение средних (t-критерий)
С
помощью
t-критерия
можно
подтвердить или опровергнуть гипотезу
о равенстве средних значений двух
выборок (например, контрольной и
экспериментальной группы)
Метод двойных различий
• Шаг 1. Базисное обследование участников
экспериментальной и контрольной групп до
внедрение программы.
• Шаг 2. После завершения программы провести
одно или несколько повторных обследований
близких к до-программному.
• Шаг 3. Рассчитать 1) среднее значение разности
итоговых показателей для ЭГ и КГ до программы
(первая разность) и 2) среднее значение разности
этих показателей после программы (вторая
разность).
• Шаг 4. Разность полученных средних представляет
собой оценку влияния программы. Чем больше эта
разность, тем сильнее влияние программы.
Регрессионный анализ
С помощью регрессии можно оценить
характер зависимости между зависимой
переменной (например, результат программы)
и наблюдаемыми показателями (например,
социально-экономические
характеристики
участников)
Сравнение результатов исследования
с контрольными показателями
•
•
•
•
•
Основные виды контрольных
показателей:
Показатели предыдущих периодов.
Предварительно установленные целевые
индикаторы.
Данные из других регионов.
Данные аналогичных программ.
Различные механизмы предоставления
услуг.
Упражнение 4.
«Анализ количественных
данных»
Анализ данных
оценки
на примере проекта «Оценка социальных последствий
монетизации льгот на региональном уровне»
(Саратовская область, 2005 год)
Задачи проведения оценки
• Определение последствий реформы системы
натуральных льгот для льготополучателей
(ветераны
труда,
труженики
тыла,
реабилитированные
граждане,
граждане,
пострадавшие от политических репрессий).
• Определение различных факторов, влияющих
на достижение заявленных целей реформы
Вопросы оценки[1]
1. В какой степени сохраняется после монетизации натуральных
льгот ранее достигнутый уровень социальной защиты граждан (с
учетом среды проживания «город – село»)?
2. В какой степени улучшается после монетизации натуральных
льгот положение граждан?
3. Каков социально-экономический портрет получателей денежных
выплат, проигравших от монетизации?
4. Каков социально-экономический портрет получателей денежных
выплат, выигравших от монетизации?
5. Каковы различия в выигрыше или проигрыше от монетизации у
различных категорий получателей денежных выплат?
[1] Вопросы мониторинга 1-2 сформулированы на основе
преамбулы Федерального закона от 22 августа 2004 г. № 122-ФЗ
Вопросы оценки
продолжение
6. Каков социально-экономический портрет получателей денежных
выплат, принимавших или принимающих участие в активных
протестных действиях против монетизации?
7. Как влияет монетизация льгот на административную нагрузку на
органы управления и учреждения социального обслуживания?
8. Какова готовность получателей денежных выплат к введению
адресности при назначении денежных выплат?
9. Какова готовность органов управления к введению адресности при
назначении денежных выплат?
10. Каково отношение получателей денежных выплат к дальнейшей
монетизации натуральных льгот?
11. Какова степень влияния изменения жилищно-коммунальных
тарифов на последствия монетизации и достижение ее целей?
Разработка показателей
• Измеряемость – показатель поддается
количественному измерению в неизменных единицах
• Обоснованность – показатель отражает действительно
то, что необходимо оценить
• Однозначность – показатель имеет четкое,
общепринятое определение и единицы измерения
• Устойчивость – возможность сделать временные
(динамические) срезы данных
• Доступность – данные, необходимые для расчета
показателя, доступны в источниках информации
Важность пилотного опроса
• Выявлено, что разбивку в основной
таблице необходимо укрупнить
• Исключены лишние варианты ответов
• Изменена шкала размера пенсии и дохода
Сбор информации
• Социологический опрос среди ветеранов труда,
тружеников тыла, реабилитированных граждан
и граждан, пострадавших от политических
репрессий, в 1 среднем городе и 1 сельском
районе
• Опрос проводили
(ЦСОН)
социальные
работники
• Репрезентативную выборку для опроса сделали
по регистру получателей ЕДВ
Пример – таблица сопряженности
Частота покупки льготных лекарств
Город
Село
Раз в неделю и чаще
2%
2,8%
Несколько раз в месяц
14,8%
20,2%
Раз в месяц и реже
8,1%
29,4%
Не покупают
75,1%
47,7%
Затраты на льготные лекарства в месяц
Город
Село
До 100 р
12%
21,1%
От 101 р до 250 р.
26,7%
38,6%
От 251 р до 500 р
46,7%
35,1%
Более 500 р.
14,7%
5,3%
Административная информация
• Проведение
анкетирования
руководителей
территориальных
органов
социальной
защиты
населения и центров социального обслуживания
населения. (31 орган социальной защиты и 33 центра).
• Сбор административной информации в Министерстве
здравоохранения и социальной поддержки и
Министерстве финансов области.
Пример - T-Test
Бедные
Не бедные
Базовые
Продукты4**
7,1%
3,8%
Мясо4
23,5%
24,8%
Медицина4
8,1%
7,1%
Одежда4
23,3%
21,4%
Книги4
12,5%
13,7%
Мясо5
6,9%
5%
Медицина5***
2,9%
1,4%
Одежда5***
13,1%
9,6%
Уровень значимости *<0.01 ** <0.05 *** <0.1
Пример – сравнение средних
Проигравшие
Процентное увеличение расходов 55,9%
на ЖКХ в 2005 году
Есть ощущение
отрицательных
изменений
Процентное увеличение расходов 62,2%
на ЖКХ в 2005 году
Участвовали в
протестах
Процентное увеличение расходов 71%
на ЖКХ в 2005 году
Не проигравшие
43,4%
Нет ощущения
отрицательных
изменений
45%
Не участвовали в
протестах
51,8%
Применение регрессионного анализа (logit)
для объяснения вероятности «проиграть»
или «выиграть» от монетизации
транспортных льгот
• Отдельный анализ для города и села
• Зависимые переменные: Выигрыш, Проигрыш
• Независимые переменные: доход, получение
социальной
помощи,
наличие
товаров
длительного пользования, жилищные условия,
наличие хронических заболеваний, льготная
категория, резкий рост тарифов ЖКХ (более
30%), самооценка реформы
Результаты регрессионного анализа
• Наличие таких предметов как стиральная машина или
автомобиль уменьшают вероятность проигрыша
• Наличие хронических заболеваний (особенно для
льготников села) увеличивает вероятность проигрыша
• Для городских льготников резкий рост тарифов ЖКХ
имеет значимое влияние как на уменьшение
вероятности выиграть, так и на увеличение
вероятности проиграть, а также на негативную
самооценку результатов монетизации
Риски оценки
•
•
•
•
Из-за заказчика
Из-за исполнителя оценки
Организационные проблемы
Внешние факторы
Основные источники, использованные
при подготовке семинара
• Александрова А.Л. и др. Мониторинг социальных
программ: практические примеры М. ФИЭГ, 2005
• Бейкер Дж. Л. Оценка воздействия проектов на
бедность: практическое руководство. Всемирный банк,
2000
• Визгалов Д.В. Методы оценки муниципальных
программ М. ФИЭГ, 2005
• Хатри Г.П. Мониторинг результативности в
общественном секторе М. ФИЭГ, 2005
• Отчеты ФИЭГ о проведенных оценках
Документ
Категория
Презентации
Просмотров
9
Размер файла
748 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа