Мониторинг и оценка программ



Скачать 348.76 Kb.
Дата18.10.2016
Размер348.76 Kb.
ТипПрограмма


СЕМИНАР ПО ПРОВЕДЕНИЮ ОЦЕНКИ ПРОГРАММ
НОВОСИБИРСК, РОССИЙСКАЯ ФЕДЕРАЦИЯ

18-20 ФЕВРАЛЯ 2008 г.

СПРАВОЧНАЯ ИНФОРМАЦИЯ НА ТЕМУ:
МОНИТОРИНГ И ОЦЕНКА ПРОГРАММ

Средства и меры оценки эффективности работы организации и содействия в разработке политики и ее воплощения в жизнь
Дейл E. Tомпсон и Т. Расселл Робинсон

Оттава, Канада 2007 г.

Программа “Реформа государственной службы в Российской Федерации”
Канадская школа государственной службы

Оттава, Канада



МОНИТОРИНГ И ОЦЕНКА ПРОГРАММ

Средства и меры оценки эффективности работы организации и содействия в разработке политики и ее воплощения в жизнь

1. Цели и задачи 1

1.1 Заметки о терминологии, используемой при работе с «Оценкой на основе результатов» 2

1.2 Согласование терминологии 3

2. Аудит, оценка и мониторинг – три метода оценки эффективности работы организации 5

2.1 Взаимосвязь оценки эффективности работы организации и разработки политики 5

2.2 Аудит 6

2.3 Оценка 6

2.4 Mониторинг (отслеживание) 9

3. Часть 3. Предварительные условия внедрения мониторинга и оценки 15

3.1 Модели планирования на основе результатов 15

3.2 Эффективные национальные или областные контрольно-счетные органы и национальные или областные бюро статистки 18

3.3 Наличие выявленной потребности 19

3.4 Человеческий потенциал как предварительное условие 19

4. Индикаторы эффективности работы 20

4.1 Набор индикаторов – пример 21

5. Заключение 23




Цели и задачи


Данный документ является дополнением к материалу, который был предоставлен стажерам, изучавшим в Канаде в июне 2006 года проблемы мониторинга и оценки. Во время этой стажировки управленцы канадской государственной службы провели брифинги и предоставили сопутствующие материалы, в которых объяснялась методика осуществления этих двух важнейших управленческих функций, принятая на канадской федеральной государственной службе. Основной целью этого документа является ознакомление более широкого круга должностных лиц Российской Федерации (включая и тех, кто, возможно, еще не прошел стажировку) с материалами и обзором того,

как объединяются некоторые функции при создания условий для оценки, внесении корректив и отчетности по эффективности работы организации.

Двумя наиболее важными такими функциями являются мониторинг и оценка.

Обращаем ваше внимание на то, что необходимо четко понимать разницу между этими двумя управленческими функциями, поскольку они коренным образом отличаются друг от друга. К сожалению, очень часто в развивающимся лексиконе терминов, которые используются для описания процесса модернизации государственного сектора, эти два слова объединяют в единую аббревиатуру - M&E , что отчасти объясняется небрежным отношением к использованию терминологии.

Данный документ состоит их двух основных частей:

В первой части объясняется разница между тремя основными методами оценки эффективности работы организации государственного сектора: аудитом, мониторингом и оценкой. Здесь, в частности, будут рассматриваться такие сложные вопросы, как разработка соответствующих, чутко учитывающих все условия, подходов к мониторингу и оценке; будет освещено взаимоотношение между этими двумя функциями, а также предложена методика определения и внедрения в жизнь необходимых стратегий для учреждений государственного сектора.

Во второй части этой работы будут представлены некоторые фундаментальные понятия, необходимые для лучшего уяснения функций мониторинга и оценки.

Однако с самого начала необходимо отчетливо и ясно понимать, что этот документ не следует рассматривать ни как своего рода «руководство по мониторингу и оценке», ни как краткий учебник, на основе которого читатели могут начать воплощать в жизнь нечто называемое «Мониторингом и Оценкой». Эта работа скорее является установочным материалом, разработанным для первоначального ознакомления и обзора, который (как мы надеемся) поможет разъяснить терминологию, которой необходимо владеть, прежде чем приступить к углубленному изучению и разработке системы.

Заметки о терминологии, используемой при работе с «Оценкой на основе результатов»


Одной из проблем, с которой наиболее часто приходится сталкиваться при работе над усовершенствованием государственного сектора во всем мире, является путаница в базовой терминологии среди специалистов, работающих в этой области. Эти недопонимания, возможно, чаще всего возникают, когда ведется речь о точном значении терминов, используемых для описания оценки результатов работы организации.

В одном из исследований, проведенных по заказу ЮНЕСКО в 2001 году при внедрении в работу Метода управления на основе результатов, было обнаружено, что даже среди организаций ООН не существует единых базовых терминов. Вернее, у каждого отдельного агентства имелись свои собственные термины для описания различных функций. Таким образом, в лексиконе развитых стран, несмотря на все усилия, до сих пор нет общего набора терминов для определения ключевых функций, охватывающих оценку результатов организационной деятельности. Так, например, «результат» у одних может быть «промежуточным итогом» у других или даже «их продуктом».

У развивающихся стран путаница с терминологией принимает еще большие масштабы в связи с тем, что многие Международные финансовые организации, такие как Всемирный банк и Азиатский банк развития, и многие двусторонние доноры, такие как Министерство международного развития Великобритании, Канадское агентство международного развития, Агентство международного развития США и Австралийское агентство по международному развитию, разработали собственные программные логические модели для создания, внедрения и оценки результатов своих программ содействия развитию. Большей частью эти системы основаны на принципах логической модели анализа, впервые разработанной Агентством международного развития США почти тридцать лет назад. Тем не менее, во многих случаях используется различная терминология.
При внимательном рассмотрении кажущейся путаницы с терминологией можно придти к одному выводу - различные организации и правительства выработали свой собственный подход к оценке эффективности работы организации, опираясь на историю и внутрикорпоративную культуру своей организации или госслужбы. Таким образом, в организации могут использоваться термины, которые понимают и которыми пользуются работники лишь этой конкретной организации.

В данной работе авторы, руководствуясь здравым смыслом и простотой формулировок, используют термины, которые позволяют рассматривать функции мониторинга (отлеживания) и оценки в совокупности с общей оценкой эффективности работы всей организации. Предлагаем следующую терминологию:



Использованные ресурсы – ресурсы (человеческие, материальные и финансовые), используемые для осуществления деятельности, создания осязаемых результатов (непосредственных результатов деятельности) и достижения целей той или иной стратегии.

Непосредственный результат деятельности1непосредственные продукция и услуги, создаваемые в результате той или иной стратегии, программы или стратегии, которые предоставляются всем гражданам или какой-либо целевой группе или части населения.

Итог внешнее выражение последствий предоставления непосредственных результатов деятельности (что изменилось или улучшилось для целевой или потребительской группы в результате предоставления им данных результатов деятельности). Итоги могут быть подразделены на ближайшие (краткосрочные изменения, произошедшие в результате предоставления непосредственных результатов), среднесрочные (изменения в социально-экономических условиях, произошедшие за более длительные сроки, и которые часто имеют отношение к целям стратегии), или долгосрочные (наиболее широкомасштабные социальные перемены, для достижения которых и была разработана та или иная стратегия). В некоторых случаях долгосрочный итог называется стратегической целью (в отличии от просто итога), чтобы подчеркнуть тот факт, что для ее достижения может потребоваться использование нескольких стратегий и программ (ряд источников непосредственных результатов деятельности).

Результат – синоним термина итог.

Следующий пример иллюстрирует, как совокупность данных терминов используются для характеристики отношения между какой-либо стратегией, программой, созданной для ее реализации, исполнением этой программы и целями, которые она стремится достичь. Данный пример в силу необходимости является упрощенным и гипотетическим.



Согласование терминологии


Предположим, что правительство какой-либо Области обнаружило, что перед ним стоит социальная проблема - некоторые граждане этой Области не имеют жилья, т.е., говоря обычным языком, являются «бездомными».

Стратегическая цель (долгосрочные ожидаемые итоги) политики, направленной на ликвидацию бездомности, могла бы быть выражена следующим образом: «Обеспечить лица без постоянного места жительства постоянным жильем». Стратегическая цель будет сформулирована в заявлении об общей политике, основанной на комплексном и многостороннем анализе и исследовании этой политики (см. описание в сопроводительном документе).

Это общая формулировка долгосрочной политики затем уточняется и излагается более конкретно в определении среднесрочных [ожидаемых] итогов. Некоторые из них могут звучать так: «мобилизация государственных ресурсов для развития жилищного фонда с целью удовлетворения нужд граждан без постоянного места жительства», «привлечение частного сектора для строительства доступного жилья» и т.д.

Затем, при разработке каждой среднесрочной задачи, определяются ближайшие [ожидаемые] итоги, которые носят более практический характер. Каждый их этих ближайших итогов напрямую связан со среднесрочным итогом. Например, среднесрочный ожидаемый итог, касающийся привлечения частного сектора для строительства доступного жилья, может выглядеть следующим образом: «создание новых финансовых партнерств с частным сектором».

На следующем уровне акцент перемещается с того, почему правительство желает изменить существующую ситуацию на то, каким образом оно этого добьется. Так, (используя тот же пример) среднесрочным итогом в области создания новых партнерств с частным сектором могут быть следующие непосредственные результаты: программы по гарантированию займов на приобретение жилья, субсидии для получения целевых строительных займов, смешанная государственно-частная венчурная компания по строительству нового жилья, предоставление земельных участков и обеспечение новыми муниципальными службами (водой, электричеством, канализацией), т.е. тем, что обеспечивается государственным сектором; услугами, предоставляемыми государством.


И, наконец, под вложениями в данном случае подразумеваются финансовые, физические и человеческие ресурсы, необходимые для реализации программы предоставления займов, создания новых муниципальных услуг и т.д. Аудит, оценка и мониторинг – три метода оценки эффективности работы организации

Взаимосвязь оценки эффективности работы организации и разработки политики


Настоящий документ будет использоваться в качестве установочной информации, которая потребуется для участия в ряде семинаров, намеченных на октябрь 2006 года в России. Он также является дополнением к уже предоставленному ранее материалу по вопросу формулирования политики. Этот документ - важная составляющая системы общих принципов управления (планирование, составление бюджета, руководство и отчетность), с которыми российские государственные служащие уже ознакомились в конце 2005 – первой половине 2006 года.

На этой иллюстрации (см. ниже) отражены основные составляющие цикла формулирования политики и ее реализации.




Формулирование политики

Реализация политики
ФОРМУЛИРОВАНИЕ СТРАТЕГИИ И ВОПЛОЩЕНИЕ ЕЕ В ЖИЗНЬ


Традиционные измерения эффективности работы

(Aудит)




Планирование реализации:

структуры, руководство, HR, подготовка, финансы




Процесс принятия решений в отношении политики: министерство, кабинет, законодательные

органы и т.п.






Реализация программы

  • использованные ресурсы

  • мероприятия

  • непосредственный результат деятельности




  • Итоги/Результаты (соотнесенные с целями политики и целями программы)

Современный метод мониторинга и

оценки результатов




Анализ политики: стратегии + разработка и формулирование альтернатив


Изучение политики





Выявление узких мест

Социальные и экономические условия


Аудит


Аудит

Во многих странах мира в течение длительного времени целью оценки эффективности работы организаций государственного сектора было выявление любых нарушений и отклонений в работе, а также контроль над целевым использованием вложенных или выделенных средств (финансовое положение организации).

Это классическая функция аудита, основанная большей частью на принципах и технике бухгалтерского учета, создана как раз для проверки правильности работы организации и выяснения эффективности использования вложений для получения непосредственного результата (рассмотрение экономической эффективности).

Определение функции аудита, разработанное ОЭСР для использования в программах помощи в области развития, звучит так:

“Это - независимые и объективные действия по подтверждению соответствия деятельности организации ее установкам и

“Это - независимые и объективные действия по подтверждению соответствия деятельности организации ее установкам и направленные на повышение эффективности этой деятельности. Они помогают работе организации путем использования совокупности систематического и методичного подхода к оценке и повышению эффективности процессов управления рисками, контроля и управления. Внутренний аудит обеспечивает оценку системы внутреннего контроля в подразделении, и подотчетен руководству, тогда как внешний аудит проводится независимой организацией (такой, как Национальный контрольно-счетный орган)".

Таким образом, аудит является в основном ретроспективным действием (проверкой уже сделанного), которое должно установить достоверность и соответствие правилам. Он также отчасти направлен и в будущее, поскольку должен продемонстрировать, как повысить эффективность превращения вложений в непосредственные результаты в соответствии с решениями финансовых органов, административными правилами и т.д. Для обеспечения правильного использования государственных средств и сохранения прозрачности, аудит часто выполняется, как мы уже говорили, внешним органом (Национальным контрольно-счетным органом, министерством или независимым подразделением, которое следит за работой оперативных подразделений).

Оценка


Как было сказано выше, отсутствие общей терминологии представляет собой одну из наиболее сложных проблем, которые возникают при рассмотрении управленческих функций такого рода. Возможно, термин «оценка программы» используется чрезмерно часто, и почти всегда его неверно истолковывают. Известные международные эксперты отмечают, что фраза «оценка программы» означает «все что угодно для кого угодно», а корневой глагол оценивать используется без разбора для обозначения любого рационального процесса исследования и анализа.

На самом деле, существует общепризнанное определение функции оценки, как отдельного элемента оценки эффективности работы организации. Возможно, самым лучшим, и самым простым определением является то, которое дал в 1998 году Адил Хан из Австралии. Он писал:

«Оценка – это ...деятельность, осуществляемая администрацией для выяснения (оценки): соответствия принципов программы и ее реализации для достижения целей (итогов); результатов осуществления программы, как целевых, так и нецелевых; а также факторов, влияющих на уровень и распределение благ, полученных от реализации программы».

Всемирный банк использует следующее определение функции оценки:

«Периодическая оценка значимости, эффективности работы, результативности и влияния (как запланированного, так и неожиданного) в сравнении со сформулированными задачами».

Эти определения явно показывают, что функция оценки сосредоточена на итогах реализации политики и сопутствующих ей программ.Таким образом, функция оценки (по самому своему замыслу) не нацелена на выявление соотношения использованные ресурсы/непосредственный итог. Скорее можно сказать, что она нацелена на три фактора:



  • итог – были ли достигнуты итоги (см. общее определение выше) и каким образом;

  • влияние – польза (и ее степень), полученная целевой группой (запланированная и непредвиденная);

  • альтернатива – оценка того, было ли возможно изыскать «лучшие» (в том числе, менее затратные) пути к достижению желаемых результатов.

Критерий итог/влияние/альтернатива ясно показывает, что главной целью осуществления функции оценки является отнюдь не выявление соблюдений правил и процедур, как это делается при проведения аудита. В данном случае скорее рассматриваются перспективы на будущее. По сути, в процессе и результате оценки организация делает систематизированные выводы, которые непосредственно связаны с повышением качества принимаемых управленческим звеном решений касательно разработки и реализации политики и программ.

Говоря простым языком и используя пример гипотетической ситуации, описанной выше, при проведении оценки эффективности политики/программы по строительству жилого фонда все внимание будет нацелено не на то, сколько займов было предоставлено частным строительным организациям (непосредственный результат), а сколько человек теперь обеспечены жилой площадью в результате предоставленных займов (итоги); каким образом это способствует выполнению таких целей политики, как предоставление услуг целевой группе населения; каков период времени, за который это было выполнено и т.п.

В таблице, расположенной ниже (автор - американский комментатор Джером Вильсон), прекрасно продемонстрирована разница между функцией оценки и функцией аудита.


Функция аудита

Функция оценки

Внимание заостряется на ответственности агента или стороннего лица за распоряжение финансовыми средствами и/или проведение определенного вида деятельности

Все внимание на соответствии и эффективности программы и проводимых мероприятий

Оценка эффективности работы дается на основе заранее определенных стандартов (за основу берутся использованные ресурсы/непосредственный результат деятельности)

Оценка эффективности работы основана на объеме влияния программы (политики), которое было сформулировано в итогах ее проведения


Все внимание на эффективности работы управленцев в организации и процессах управления

Все внимание сосредоточено на анализе значимости и результативности проводимой политики и соответствующих программных мероприятий для целевых групп населения

Решения в отношении политики и связанные с ней программы рассматриваются как константы, а рекомендации о внесении корректив в работу организации нацелены на повышение эффективности выполнения решений и программ

Ведется оценка соответствия и значимости разработанных политических стратегий и соответствующих программных мероприятий

Пристальное внимание к тому, что уже было сделано (ретроспективный характер)

Стремление усовершенствовать политику и программу (нацеленность на будущее и на устранение проблем)

С точки зрения методологии, сильной стороной функции оценки является то, что она основана на исследовательской методологии прикладных социальных наук, которые в свою очередь используют факты, подтвержденные внешними исследователями. Оценка проводится не для того, чтобы рассказать о том, что происходит, а чтобы выявить данные, на основе которых можно было бы оценить влияние проводимой программы. Для их сбора используются добросовестные источники информации, которые легко поддаются проверке. Применяются общепризнанные статистические и прочие виды аналитических методов.

Поскольку многие области России начинают внедрять или развивать функцию оценки в различных министерствах, важно отметить, что внедрение функции оценки не «дешевый» и не «легкий» процесс. Процесс сбора и оценки данных, получивших подтверждение сторонних исследователей, занимает много времени и требует особых навыков и знаний в области социальных наук, подобных тем, которые необходимы для разработки гибкой политики.

Также следует учитывать, что функцию оценки можно использовать лишь в тех случаях, когда уже заложены определенные концептуальные принципы и в данной организации уже ведется планирование. Мы к этому еще вернемся во второй части этой работы.

Mониторинг (отслеживание)


Принцип мониторинга лишь относительно недавно пополнил число управленческих функций, которые используются для оценки всех аспектов работы организации.

Как уже говорилось ранее, даже в развитых странах проведение оценки с акцентом на непосредственный результат деятельности/влияние и альтернатив может стать дорогостоящим мероприятием. Однако гораздо важнее то, что подобный анализ непосредственного результата деятельности/влияния и альтернатив на основе функции оценки не всегда возможен из-за уже реально существующей, созданной ранее структуры политики и уже действующих программ. Чтобы понять, каким образом возникла функция мониторинга, следует вкратце напомнить, по каким принципам многие страны-члены ОЭСР (Организации экономического сотрудничества и развития ) создали свои базовые системы планирования политики и программ.

Почти сорок лет назад большинство стран-членов ОЭСР перешло к многолетнему циклическому планированию политики и соответствующих программ для государственного сектора. Наибольшую известность среди разработок таких многолетних планов приобрела Система оптимального планирования, программирования и финансирования (PPBS). Впервые эта система была использована в США в начале 1960-х годов, а затем и большинство стран ОЭСР переняли этот подход. Суть концепции PPBS заключается в том, что для достижения необходимых изменений и получения пользы от проводимой политики (это то, что мы сейчас называем итоги) требуется стабильное и рациональное планирования в расчете на несколько лет. Если же при этом с перспективой на несколько лет будут рассматриваться и государственная политика и программы, то это положительно скажется на планировании государственного бюджета в целом.

На расположенной далее иллюстрации в несколько упрощенном виде показан процесс PPBS. Хочется отметить, что аудиты, целью которых была проверка выполнения плана и целевого расхода средств, являлись ключевыми элементами во время всего процесса реализации. Особенно важно отметить, что эта система PPBS была основана на учете, так сказать, цикличных итогов - по завершению каждого цикла программы предполагалось проводить оценку непосредственных результатов /влияния/альтернатив и ее результаты использовать для разработки следующего цикла программ и политики. Таким образом, с современной точки зрения, оценка эффективности работы организации на этапе реализации программы зависила главным образом от аудитов, т.е. в основном от соотношения использованных ресурсов/ непосредственных результатов деятельности. Однако при таком подходе отсутствовала оценка ожидаемых итогов политики и сопутствующих программ. Эта «оценка» обычно осуществлялась в конце цикла.



Разработка и утверждение политики и программ

Ежегодная реализация

1-4 года




Периодические аудиты - проверки выполнения программ и целевого расхода средств









Скорректированная разработка политики и программ на основе результатов оценки (для следующего цикла)











Оценка итога/ и влияния программы (обычно делается в конце программного цикла)

Структурные недостатки циклического подхода к разработке программ и оценке эффективности работы очевидны.

Оценка работы организации: Поскольку оценка реального выполнения поставленных перед организацией задач (ожидаемых итогов) проводилась лишь в конце многолетнего цикла планирования, посередине цикла (в процессе деятельности) было практически невозможно подбирать точные решения, которые способствовали бы достижению ожидаемых результатов на деле. При этом немаловажно учитывать, что разработка способов оценки достижения ожидаемых результатов также требует больших финансовых затрат. Именно поэтому, даже в циклических системах планирования, многие программы (а, следовательно, и ключевые стратегии) не подвергались оценке.

К концу 1980-х годов многие страны ОЭСР взяли на вооружение новый подход к управлению, который во многом использовал принципы частного сектора, основанные на методах частного предпринимательства, такие как: приватизация, использование распорядительных органов для реализации программ, внедрение рыночных механизмов, а потому и многие термины тоже были позаимствованы из лексикона частного сектора (например: «бизнес-план», «бизнес-специализация»). Точно также и функция оценки претерпела коренные изменения.

Ее значение и содержание были переосмыслены целым рядом стран (Канадой, Соединенными Штатами и Великобританией). По-новому был поставлен вопрос о подборе методов измерения «результативности» - теперь особое внимание было уделено более точной оценке соотношения использованных ресурсов/непосредственного результата деятельности. Для этого за основу брались модели, используемые частным сектором. Однако когда целевые группы экспертов, назначаемые премьер-министрами и президентами, стали искать среди таких моделей принципы оценки эффективности работы организаций, оказалось, что необходимо уделять столь же большое внимание учету требования (которое приобрело особую важность в конце 1980-х – начале1990-х годов) сокращения правительственных расходов в процентном отношении к ВВП.

Для сокращения расходов правительствам, большим и малым, приходилось принимать непопулярные решения, касательно программ и стратегий, причем они вынуждены были делать это гораздо оперативнее, чем позволяли вышеуказанные модели многолетних циклов планирования. В конце концов, правительства (вынужденные брать на себя малопопулярные решения в отношении программ) пришли к выводу, что влияние планирования (то, что мы сейчас считаем итогами или результатами), быть может, гораздо важнее, чем конкретные мероприятия (взаимоотношение использованныз ресурсов/непосредственного результата деятельности). Говоря доступным языком, планирование должно было продемонстрировать свою эффективность – какие изменения были достигнуты в результате, и эти изменения необходимо было осуществлять быстрее и с меньшими затратами.

Таким образом, для создания первоначальной связи между тем, что правительство сделало (непосредственный результат деятельности) и тем, что оно стремилось улучшить или скорректировать (итоги или результаты), возникла функция, которую стали называть мониторинг (отслеживание).

Существует несколько подобных определений для описания функции мониторинга.

Согласно определению Всемирного банка мониторинг - это:

постоянная оценка реализации проекта в соответствии с утвержденным графиком реализации и использования вложений в инфраструктуру и услуги потребителями услуг . Мониторинг позволяет управленческому звену и заинтересованным сторонам постоянно получать информацию о ходе претворения проекта в жизнь.

ОЭСР дает немного отличное определение, хотя в нем отмечаются те же основные черты мониторинга:

постоянная внутренняя управленческая функция, которая призвана гарантировать достижение намеченных целей программы (ожидаемые итоги) за определенный период времени и в пределах выделенного бюджета (использованных ресурсов и непосредственных результатов деятельности).

Таким образом, мониторинг – это постоянная управленческая функция, которая исследует соотношение вложений, непосредственных результатов деятельности и целей первичного уровня с упором на конкретные достижения – ближайшие итоги. Это мероприятие осуществляется работниками министерств и ведомств. Оно проводится для своевременного предоставления информации управленческому звену, чтобы руководители могли соответственным образом корректировать планы с учетом изменений в потребностях. Полученные данные собираются в Управленческих информационных системах (MIS), которые затем используются для выработки регулярных отчетах для управленцев среднего и высшего звена.

На следующем примере можно увидеть разницу между функцией мониторинга и простой отчетностью по непосредственным результатам деятельности.

Предположим, что правительство решило создать национальную программу по созданию рабочих мест. В соответствии с этой программой, целью которой является понижение уровня безработицы среди молодежи, работодатели (частные компании) получают гранты для найма выпускников средней школы на работу. Эти гранты (получаемые частными компаниями) являются непосредственным результатом программы. При проведении мониторинга потребуется подсчитать количество выпускников средней школы, которые устроились на работу благодаря этим грантам (ближайший итог). Помимо этого, при мониторинге ведется анализ вложений/ непосредственного результата, чтобы выяснить, каким образом распределяются займы и какой подход, разработанный на основе наиболее общих принципов, наилучшим образом способствует росту эффективности и действенности данной программы.

Как правило, в странах-членах ОЭСР оценка носит более долгосрочный характер, что позволяет дополнительно проверить, используя внешние методы проверки, данные о получаемых итогах. В отличие от оценки, мониторинг проводится наменее часто и осуществляется на основе внутренних отчетов по полученным данным, которые составляются работниками и руководителями программы.

Что же касается выводов, сделанных на основе полученного опыта, Российской Федерации, возможно, полезно будет узнать, что большинство стран-членов ОЭСР начали внедрять функцию мониторинга с систематического сбора данных о непосредственном результате деятельности, а не об итоге. Следует отметить, что за последнее десятилетие развитые страны, использующие различные методы повышения качества оценки эффективности работы организации, пришли к выводу, что им пришлось затратить большие усилия для упорядочения и систематизации метода сбора данных о непосредственном результате деятельности, а также для использования этих данных при принятии решений руководством. Чтобы яснее понять, каким образом взаимодействуют все три аспекта оценки эффективности работы организации, давайте еще раз обратимся к уже знакомой нам схеме, которая дает представление о традиционном циклическом подходе к планированию.

Разработка и утверждение политики и программ

Ежегодная реализация

1-4 годы















Циклические аудит(ы) - проверка выполнения программ и целевого расхода средств













Оценка итога/ и влияния программы (обычно делается в конце программного цикла)

Скорректированная разработка политики и программ на основе результатов оценки (для следующего цикла)

Мониторинг, по существу, стал неотъемлемой частью каждодневной работы организаций и ведомств государственного сектора. Хотя мониторинг без сомнения является методом оценки эффективности работы организации, он прежде всего представляет собой регулярную функцию, осуществляемую непосредственно руководителями. Эту функцию невозможно передать для осуществления «со стороны» (за пределы организации). Это также относится к функции аудита и к оценке.



Часть 3. Предварительные условия внедрения мониторинга и оценки


Что касается оценки эффективного проведения программ, осуществляемых с помощью внешних кредитов или помощи - для успешного внедрения эффективных систем мониторинга и оценки в масштабах всей государственной службы (в отличие от отдельных организаций) необходимо наличие ряда предварительных условий.

Модели планирования на основе результатов


Две функции – мониторинг и оценка – используются главным образом для определения эффективности работы организации на основе итогов ее работы (в отличии от непосредственных результатов ее работы). Именно поэтому значимость и полезность этих двух функций для оценки эффективности работы всей госслужбы зависит напрямую от того, насколько планирование, осуществляемое самим государственным сектором, соответствует итогам стратегий и политики. Иначе говоря, эти функции приобретают значимость и становятся полезными только тогда, когда государственные стратегии и соответствующие им программы определяются не только тем, что будет сделано (непосредственный результат), но и тем, почему это будет сделано (итоги). Причем, по системе Стратегического планирования и первое, и второе должны быть увязаны с целями и задачами программы, а также и с бюджетами.

В 1980-е и 1990-е годы во всем мире страны начали подходить по-новому к методу разработки и к планированию стратегий и программ государственного сектора. Если раньше основное внимание уделялось использованным ресурсам/непосредственным результатам деятельности, то теперь все внимание переместилось на итоги (или результаты). Это всемирное движение стало известно под названием «Управление на основе результатов». В данной короткой работе мы не можем обсудить столь важное изменение в системе управления государственным сектором, мы лишь поверхностно коснемся этого вопроса.

Для российских читателей полезно будет отметить, что среди различных правительств не существует единого стандартного или «классического» подхода к Управлению на основе результатов, или «единственно правильного метода» его реализации. Например, в Австралии процесс осуществления Управления на основе результатов начался «наверху»: отдельные министерства сначала определили самый высокий для них уровень итогов (то, что мы ранее упоминали как стратегические итоги). Затем, работая по вертикали сверху вниз, каждое министерство разработало логически последовательную цепочку целей, основанных на итогах по каждому последующему уровню организации. А в Канаде, в соответствии с обычной методикой разработки политики и стратегий государства (основными элементами которой является то, что мы называем стратегические итоги/задачи), этот процесс начался на уровне отдельных программ и распространялся с более низкого на все более высокий уровень. По сути, в ходе этого процесса заполнялись пробелы между различными итогами высокого уровня, которые являлись составной частью государственной политики и стратегий, и сразу же планировалось выполнение возникших новых

обязательств.

Хотелось бы также привлечь внимание российских читателей к тому, что системы планирования на основе результатов невозможно внедрить в одночасье или даже за период нескольких годовых бюджетных циклов. Даже в таких развитых странах, как Канада, Австралия и Соединенные Штаты, потребовалось много лет для его воплощения в жизнь, а в некоторых случаях его внедрение еще полностью не закончено.

Однако следует отметить, что работники «Универсалии» (они работают с программой GAEP2 в Саратове) имели возможность изучить образцы областных планов. Эти документы по планированию, которые используются в Саратове (разговор идет только об образцах), в общем и целом соответствовали основным принципам Управления на основе результатов. Однако в них были некоторые недостатки, касавшиеся вопросов определения эффективности работы (осенью 2006 года миссия технической поддержки будет вести по этому вопросу дальнейшую работу).

Метод Управления на основе результатов зиждется на трех, на первый взгляд, простых вопросах:


  • что мы хотим улучшить или изменить, проводя конкретные правительственные мероприятия (итоги или результаты)?

  • что мы собираемся делать для осуществления своих планов (какие мероприятия или программы мы будем проводить, чтобы достичь своих целей – т.е. какие будут непосредственные результаты нашей деятельности)?

  • на основании чего мы сможем судить, продвигаемся ли мы к нашей цели (какие системы мониторинга и оценки мы будем использовать, чтобы получить такую информацию)?

Метод Управления на основе результатов также базируется на фундаментальных принципах логики планирования, целью которой является создание последовательных логичных отношений между уровнями (в последовательном порядке) организаций государственного сектора

Диаграмма ниже демонстрирует упрощенный подход к логике составления программ на основе результатов:




Обе функции, мониторинг и оценка, напрямую связаны со существованием и измерением итогов. Поэтому отсутствие четкого определения ожидаемых итогов при формулировании политики и разработке соответствующих программ негативно сказывается на эффективности использования обоих функций. Таким образом, говоря о методах планирования и предоставления услуг населению правительством, следует отметить, что для того, чтобы критически важные управленческие функции мониторинга и оценки приобрели непосредственную значимость, необходимо определить по крайне мере один или два уровня итогов.

В тех случаях, когда ожидаемые итоги не разработаны, работа организации оценивается лишь на основе анализа соотношения использованные ресурсы/непосредственные результаты. Таким образом, оценка сводится к рассмотрению эффективности затрат и выполнению намеченных мероприятий. Это отнюдь не означает, что страны не должны заниматься оценкой использованных ресурсов/ непосредственных результатов. Наоборот, это является краеугольным камнем всей оценки эффективности работы учреждения, однако не надо забывать, такая оценка лишь отправная точка.

Иногда, используя механизм «обратного проектирования», функцию оценки включают в те системы планирования, у которых (при их разработке ) отсутствовало определение итогов. В таких случаях процесс оценки начинается, по сути дела, с того, что в оставленный для итога пробел вписывают существующие итоги.
Для осуществления функции мониторинга необходимо с самого начало определить ближайшие ожидаемые итоги, поскольку ответственность работников учреждения и его руководства за регулярное проведение мониторинга является неотъемлемой частью этой функции, а также потому что она предназначена для регулярного преодоставлении информации о соотношении использованных ресурсов / непосредственных результатов деятельности/ ближайших итогов.

Эффективные национальные или областные контрольно-счетные органы и национальные или областные бюро статистки


Мониторинг и оценка – это лишь две из трех функций, необходимых для комплексной оценки работы учреждения/ организации. Ничуть не менее важной функцией, если даже не самой важной, является аудит. Действительно, как уже отмечалось ранее, оценка использованных ресурсов/ непосредственных результатов – это фундамент, на который строятся все остальные аспекты оценки работы организации. Следовательно, действенные системы аудита являются необходимой предпосылкой для эффективного проведения Мониторинга и Оценки.

Безусловно, контрольно-счетные органы национального уровня являются наиболее важными элементами, гарантирующими проведение оценки соотношения использованные ресурсы/непосредственные результаты. Действительно, ведь благодаря им не только обеспечивается целевой расход средств в соответствии с процедурными нормами. Они также являются основными гарантами «отрытого управления», т.е. они способствуют осуществлению принципа прозрачности управления.

Известно, что хорошо отлаженные и эффективно работающие национальные органы статистики - это основополагающие элементы как для разработки гибкой, чутко реагирующей на изменяющиеся условия политики, так и для проведения эффективного мониторинга и оценки. Что касается функций мониторинга и оценки, то национальные статистические бюро играют более важную роль в проведении функции оценки, чем мониторинга. Очень часто для проведения оценки (посколько здесь в центре внимания итоги/влияние/альтернативы) и получения обоснованных заключений о достигнутых итогах крайне важно иметь доступ к подробным статистическим данным высокого уровня.

Например, ранее в этой работе обсуждалась гипотетическая программа по созданию рабочих мест для выпускников средней школы. Для проведения мониторинга сотрудники программы могут почерпнуть необходимые сведения из самой программы - сколько молодых людей было трудоустроено на новые рабочие места благодаря полученным частными предпринимателями займам/грантам. Однако для того, чтобы произвести высокоточный и углубленный анализ такого проекта, потребуются более подробные данные. Например, для дополнительной оценки влияния программы можно прибегнуть к данным о полученном образовании, а именно – способствовала ли программа тому, чтобы молодежь продолжала обучение с целью получения более высокооплачиваемой работы. Точно также данные, полученные Национальном статистическим бюро от учебных заведений, могут продемонстрировать соотношение спроса и предложения, Кроме того, данные о долгосрочной занятости могут подтвердить, что программа грантов способствовала (или же не способствовала) созданию долгосрочных устойчивых рабочих мест. Или же данные помогут выявить тот факт, что появилась краткосрочная занятость лишь за счет средств, выделенных на гранты.


Наличие выявленной потребности


В период с 1999 по 2001 год Всемирный банк и Азиатский банк развития провели ряд исследований с целью определения уровня эффективности их предыдущих проектов по повышению качества управления и модернизации государственного сектора.

Один из выводов, к которому они пришли, заключался в том, что слишком многие проекты по модернизации носили чрезмерно широкомасштабный характер – на основе этих проектов пытались сделать все сразу, видимо позабыв об очевидном факте, что потенциал организации наращивается постепенно. Например, для проведения широкомасштабного мониторинга и оценки необходимо существование предварительных условий. Этими условиями являются системы планирования программ и политики. На их основе начинается разработка правительственных мероприятий, где прежде всего формулируются ожидаемые итоги. В них закладываются самые начальные элементы эффективного аудита. Навыки, полученные при обучении пользованию (или на хотя бы начальных этапах овладения этими умениями) этими двумя функциями, станут основой работы тех, кому предстоит преодолеть сложности внедрения мониторинга и оценки на всех уровнях правительства.


Человеческий потенциал как предварительное условие


Для успешного внедрения функций мониторинга и оценки в работу правительства –будь то развивающаяся или развитая страна – необходим набор умений и навыков и человеческих потенциал, который, возможно, там ранее не существовал. Одной декларации руководства недостаточно для внедрения мониторинга и оценки. Действительно, для осуществления функций мониторинга и оценки требуется набор умений и навыков, который отличается от тех, которые используются для проведения аудита в системе государственной администрации.

Навыки, необходимые для успешного проведения мониторинга и оценки, теснейшим образом связаны с навыками, необходимыми для разработки гибкой политики. Они также имеют прямое отношение к социальным наукам – экономике, политологии и социологии. Как показывает мировой опыт, сотрудники, которые обычно отвечают за реализацию программ, редко обладают такими навыками. Как правило, для этого требуются специализированные навыки и отдельная организация.

Даже в развитых странах для успешного внедрения современного подхода к мониторингу и оценке невозможно было обойтись без обширного проведения программ обучения. К примеру, в конце 1990-х годов управленцы государственного сектора получили углубленную подготовку по методам создания своего рода логических моделей по составлению программ на основе результатов (итогов), наподобие тех, о которых мы говорили выше.

Индикаторы эффективности работы


Читатели уже, возможно, заметили, что в этой работе совсем не обсуждается понятие индикаторов эффективности работы. Это не было случайным упущением, посколько мы хотели заострить все внимание читателей на основных идеях, лежащих в основе функций мониторинга и оценки и развить понимание того, как они используются и какие предпосылки необходимы для их осуществления. Тем не менее, очевидно, что любое обсуждение мониторинга и оценки будет неполным, если мы не коснемся вопроса применения индикаторов эффективности работы.

Понятие «индикаторов эффективности работы» не новинка. Оно также старо как и сами правительства.

Например, для анализа базовой стоимости производства какого-либо продукта требуется своего рода индикатор эффективности работы. При строительстве новой дороги с твердым покрытием за основной индикатор берется средняя стоимость покрытия одного километра. Этот индикатор связан с вложениями и с непосредственным результатом работы –эффективностью затрат, но тем не менее это все же показатель. Точно также, среднее количество дел, которые обрабатываются служащим за день, тоже является индикатором действия соотношения использованных ресурсов/непосредственного результата. В обоих случаях, можно вывести среднее число – это то, что иногда называют базовой эталоном, а в других случаях стандартом обслуживания .

При современном подходе к оценке эффективности работы организации, анализ начинается с урегулирования этих довольно элементарных показателей, где за основу берутся использованные ресурсы/непосредственные результаты. Следует признать, что на деле для многих стран этот «первый шаг» уже сам по себе является крупным достижением. Не следует недооценивать время и ресурсы, которые необходимы для его осуществления. Набор индикаторов – пример


Давайте вернемся к гипотетической программе по созданию рабочих мест для молодежи, о которой мы говорили ранее, чтобы в упрощенном и (в силу необходимости) сокращенном виде проиллюстрировать набор индикаторов эффективности работы и требований к данным по всем трем функциям – аудиту (действие взаимоотношения использованных ресурсов/непосредственного результата), мониторингу (между использованными ресурсами, непосредственными результатами и первым уровнем ближаших итогов) и оценке (более долгосрочный анализ итога/влияния/альтернатив). Также следует напомнить, что хотя мониторинг и связан со взаимоотношением непосредственные результаты /итоги, он также содержит довольно много аспектов, связанных с анализом действия взаимоотношения использованные ресурсы /непосредственные результаты.
Использованные ресурсы/непосредственные результаты деятельности (для аудита и мониторинга)

  • Количество полученных заявок на гранты ежегодно

  • Вид рабочих мест, на создание которых будет выделен грант

  • Ежегодное количество полученных и обработанных грантов

  • Средний размер гранта

  • Затраты программы на обработку грантов в финансовом выражении и в человеческих затратах

  • Уровень погрешностей при обработке (если таковые вообще имелись)

  • Количество жалоб, полученное от соискателей грантов (и количество жалоб, которые были признаны обоснованными)

  • Географическое распределение грантов

Действие взаимоотношения непосредственный результат/ближайший итог (для функции мониторинга)



  • Количество молодежи, нанятых работодателями - получателями грантов

  • Пол трудоустроившейся молодежи

Количество работодателей, подававших заявки на получение грантов в течение ряда летОчевидно, что до сих пор у самой программы грантов был/должен был быть беспрепятственный доступ ко всем данным, необходимым для ответа на вышепоставленные вопросы. Или же, если это не так, то получение таких данных от получателей грантов может явиться предварительным условиями выдачи гранта. Таким образом, сбор такой информации и объединение ее в надежные системы управления информацией (ее можно будет использовать для периодической отчетности) становится обязанностью самой программы.

Программа грантов может использовать все эти данные для проведения мониторинга. Они также могут подвергаться обработке в рамках программы для определения базовых отношений использованных ресурсов/непосредственного результата. Кроме того, благодаря данным о использованных ресурсах /непосредственном результате/ближайшем итоге управленцы среднего и высшего звена практически постоянно получают информацию, дающую представление о том, насколько программа грантов выполняет свое основное предназначение – трудоустройство выпускников средней школы. Более того, можно также начать разработывать стандарты обслуживания – точность, своевременность, уровнь удовлетворенности клиентуры программы.

Однако, как уже отмечалось ранее в этой работе, для того, чтобы при осуществлении функции оценки можно было провести более полный анализ итогов/влияния/альтернатив требуется больший объем самых детальных данных. Вполне возможно, что такие данные не могут быть собраны непосредственно самой программой грантов.

Ниже указаны лишь некоторые из данных, необходимых для проведения оценки этой программы грантов:



  • Изменение удельного веса выпускников средней школы

  • Глобальные изменения в общей структуре трудоустройства молодежи

  • Изменение уровней личного дохода и дохода домохозяйства

  • Изменения уровня преступности целевой группы населения

  • Изменения общего уровня трудоустройства по определенным категориям работы населения всех возрастов

  • Уровни общей продуктивности отдельных видов промышленности (уровень роста производительности труда)

  • Уровни инвестиций частного сектора в отдельные категории работы/промышленности

На основе вышеуказанных факторов ( а также и других) начинается вестись изучение отношений Итогов/Влияния/Альтернатив (то, что является стержнем функции оценки), посколько определяется степень влияния программы грантов на структуру занятости молодежи и на потенциальный рост доходов. Учет этих факторов также помогает определить, был ли один вид промышленности более «выгоден», чем остальные; а также, явились ли рабочие места, появившиеся благодаря грантам, долгосрочными и устойчивыми. В более общем плане, анализ вышеуказанных факторов поможет ответить на вопрос о влиянии программы грантов на инвестиционные решения частного сектора, на определении в какой сфере были сделаны эти инвестиции, и каким образом и отразилось ли это на создании новых рабочих мест. Используя эти факторы, можно определить степень влияния программы грантов на такие социальные факторы, как уровень преступности и прочие.

Заключение


На этом этапе обсуждение Мониторинга и Оценки возращает нас к тому, с чего мы начали и заходит в сферу формулирования политики и ее реализации.

Кажется очевидным, что оценка программы грантов для содействия трудоустройству молодежи (как это было описано в гипотетическом примере выше) будет чрезвычайно важна для тех представителей правительства, которые отвечают за определение национальной политики социального развития. Подобная оценка, предоставит лицам, ответственным за разработку политики, информацию о влиянии программ прямой поддержки работозанятости (гранты) для сравнения с опосредованными мерами по стимуляции роста занятости/промышленности и снижению уровня бедности (например, налоговые скидки и поддержка отдельным отраслям для осуществления капитальных покупок, и т.д.)



Таким образом, правительство учится и делает выводы на основе функции оценки. Оценка становится основой формулирования политики с основой на проверенные данные.

1 Терминология документов Всемирного банка на русском языке

2 Программа консультаций и обменов в области управления


Каталог: files -> materials -> 158
materials -> Вопросы радиоэлектроники серия техника телевидения 2015 вып. 6 Аннотации
materials -> Информация о программе Забайкальский край
materials -> 17. Подготовка кадров высшей квалификации 17-а. Защита диссертаций
materials -> Государственные строительные нормы украины проектирование
materials -> Информация о программе
materials -> Содействие реформированию
materials -> О. А. Лесникова Начальник отдела архитектуры, художественного оформления и рекламы департамента архитектуры и градостроительства
158 -> Темы рефератов по курсу: «История и философия науки»


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©grazit.ru 2019
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал