Модели оценки результатов обучения

Модели оценки результатов обучения

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

. ОБЗОР ЛИТЕРАТУРЫ

.1 Результаты обучения по образовательной программе как ключевой элемент системы конструктивного выравнивания

.2 Оценивание результатов обучения по образовательной программе: подходы, проблемы, тенденции

.2.1 Оценивание результатов обучения по образовательной программе в рамках идеи конструктивного выравнивания

.2.2 Проблемы и тенденции развития подходов к оцениванию результатов обучения по образовательной программе

.3 Выводы по обзору литературы

. МЕТОДОЛОГИЯ РАБОТЫ

.1 Обоснование подбора подходов к разработке моделей оценивания результатов обучения по образовательной программе

.2 Описание подходов к разработке моделей оценивания результатов обучения по образовательной программе

.2.1 Технология проектирования образовательных программ ТПУ

.2.2 7-ми шаговая методика оценивания результатов обучения по образовательной программе (UTEP)

.2.3 4-х стадийный цикл оценивания результатов обучения по образовательной программе (HEQCO)

.2.4 Подход All-in-One

.3 Обоснование критериев выбора модели оценивания результатов обучения по образовательной программе

. РЕЗУЛЬТАТЫ

.1 Характеристики действующей модели оценивания результатов обучения по магистерской программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера (ГМУСЭРСТС)»

.2 Сравнительный анализ предлагаемых вариантов моделей оценивания результатов обучения по образовательной программе и выбор модели для магистерской программы «ГМУСЭРСТС»

.3 Проект модели оценивания результатов обучения по образовательной программе «ГМУСЭРСТС», разработанный с применением адаптированного подхода All-in-One

. ВЫВОДЫ И ОБСУЖДЕНИЯ

БИБЛИОГРАФИЯ

ПРИЛОЖЕНИЯ

ВВЕДЕНИЕ

Как показала практика, разработки образовательной программы в компетентностном формате недостаточно для того, чтобы переориентировать процесс обучения на формирование компетенций. Необходима перестройка и систем оценивания, которые должны быть информативными, объективными, простыми и удобными, и при этом мотивировать студентов и отражать их достижения, в первую очередь, в части освоения компетенций. Особенно остро эта проблема стоит для узконаправленных программ магистратуры, которые, как правило, имеют короткий срок освоения и ограниченные ресурсы (временные, кадровые, финансовые) для разработки оценочных средств.

Для определения и оценивания результатов обучения за рубежом и в России предлагаются разные методы. Однако, учитывая то, что в нашей стране компетентностный подход внедряется относительно недавно (с 2011 года), исследователи продолжают отмечать, что «важнейшей задачей профессионального преподавательского и методического сообщества в ближайшее время станет выработка критериев и процедур оценивания результатов обучения и создание фондов оценочных средств» [8, С.19].

Несмотря на многообразие подходов к оцениванию результатов обучения, не все из них можно применить для магистерских программ. Некоторые подходы либо очень трудоемки, либо требуют значительных инвестиций, либо не учитывают узкую направленность образовательной программы, либо все еще находятся на стадиях обсуждения или апробации.

В связи с этим в рамках данной работы предпринята попытка выбора метода разработки модели оценивания результатов обучения по образовательной программе, который позволил бы перестроить уже действующую модель оценивания, сделать её целенаправленной, информативной, отражающей достижения обучающихся, и при этом не создать «двойную бухгалтерию» по образовательной программе.

Целью работы является выбор метода разработки модели оценивания результатов обучения по образовательной программе на примере магистерской программы «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее «ГМУСЭРСТС»).

Задачи:

)        Изучить современные подходы к определению и оцениванию результатов обучения по образовательной программе (РО по ОП).

)        Определить и описать подходы к определению и оцениванию результатов обучения по образовательной программе, соответствующие современным требованиям к организации оценивания результатов обучения по образовательной программе, и модели оценивания РО по ОП, которые можно получить при их применении.

)        Обосновать критерии выбора модели оценивания результатов обучения по образовательной программе, соответствующей современным требованиям к организации оценивания результатов обучения по образовательной программе и учитывающей особенности образовательной программы, для которой ведется проектирование.

)        Выявить модель оценивания результатов обучения по образовательной программе в соответствии с критериями выбора и определить необходимость её адаптации с учетом особенностей методики разработки и образовательной программы, для которой ведется проектирование.

)        Разработать модель оценивания результатов обучения по образовательной программе для магистерской программы «ГМУСЭРСТС» с применением выбранного метода, определить возможности и ограничения разработанной модели, сформулировать выводы и рекомендации.

Критерии выбора методического подхода к разработке модели оценивания результатов обучения по образовательной программе:

)        наличие унифицированной формы для сбора данных результатов оценивания;

)        возможность проведения нескольких циклов оценивания в ходе освоения ОП одновременно по всем РО по ОП;

)        возможность «встраивания» процесса оценивания РО по ОП в процесс оценивания по всем элементам учебного плана.

Общие требования к модели: актуальность (учет особенностей учебного плана и срока освоения образовательной программы), результативность (переориентация содержания и логики процесса оценивания на достижение планируемых результатов обучения), достоверность (документирование процессов оценивания), экономичность (учет действующей системы учебно-методической документации образовательной программы).

В рамках настоящего проекта предполагается осуществить поиск и выбор подхода к разработке модели оценивания результатов обучения по образовательной программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» по направлению подготовки 38.04.04 Государственное и муниципальное управление, а также описание разработанной модели. Апробация разработанной модели не предусмотрена.

Диссертация включает аннотацию, введение, обзор литературы, описание методологии работы, результаты, выводы и обсуждение, библиографию и приложения.

1. ОБЗОР ЛИТЕРАТУРЫ

В настоящее время образовательные стандарты высшего образования не устанавливают жёстких требований к окончательному набору компетенций. Определение набора формируемых компетенций конкретной образовательной программы, как и её направленности, находится в ведении разработчика. При этом направленность конкретной образовательной программы можно отразить в её наименовании, описании, заявленном наборе компетенций, учебном плане и рабочих программах дисциплин и практик. Но зачастую заявленные в образовательных программах наборы компетенций малоинформативны для потенциальных студентов и работодателей, поскольку содержат стандартизированные формулировки компетенций, установленных ФГОС ВО. На практике образовательные организации редко устанавливают дополнительные компетенции, поскольку всё это автоматически приводит к увеличению объемов разрабатываемой методической документации.

Помимо набора компетенций, разработчик может конкретизировать направленность образовательной программы посредством определения её миссии, цели и задач, а также ключевых результатов обучения. Эти дополнительные инструменты позволяют позиционировать образовательную программу на рынке образовательных услуг, привлечь внимание потенциальных работодателей и студентов. Но особо важное значение среди этих инструментов имеют результаты обучения, поскольку именно они позволяют активизировать механизмы взаимодействия всех участников образовательного процесса, «оживляют» целевой набор компетенций (помещая его в определенный контекст), заставляют «работать» все элементы образовательной программы и виды учебной деятельности на достижение студентами планируемых результатов обучения. Установление результатов обучения по образовательной программе требует перестройки и систем оценивания, которые должны быть информативными, объективными, простыми и удобными, мотивировать студентов, отражать их достижения, в том числе и в части освоения компетенций.

Особенно остро эта проблема стоит для узконаправленных программ магистратуры, которые, как правило, имеют короткий срок освоения и ограниченные ресурсы (временные, кадровые, финансовые) для разработки оценочных средств и проведения оценивания. С учетом данных проблемных вопросов приступим к обзору литературы.

 

.1 Результаты обучения по образовательной программе как ключевой элемент системы конструктивного выравнивания

оценивание обучение образовательный магистерский

В литературе встречаются разные подходы к определению понятия «результаты обучения». Однако, Д. Кеннеди (2007), проанализировав существующие подходы к определению термина «результаты обучения» в мировой и европейской образовательной практике, в качестве рабочего определения использовал следующее: «Результаты обучения это определение того, что обучающийся должен знать, понимать и (или) быть способным продемонстрировать после завершения процесса обучения» [44, с.21]. При этом под процессом обучения могут рассматриваться как отдельные занятия, дисциплины (модули), курсы, так и программа в целом.

Исследователи также обращают внимание на необходимость различения целей и задач обучения и результатов обучения. Так, цели и задачи отражают «видение» процесса обучения с позиции преподавателя, а результаты обучения - с позиции обучающегося. Сложность применения понятия «задачи обучения» заключается в том, что задачи могут описываться как с точки зрения преподавания, так и обучения. Как отмечает Дж. Мун (2002) «такая запутанность является хорошей причиной для отказа от использования термина «задача» в описании модулей и программ» [46, с.13]. Именно благодаря точности и простоте формулировок результаты обучения в последнее время используются активнее, чем задачи обучения.

Значительный вклад в решение задачи описания результатов обучения внес Бенджамин Блум, разработавший подход к классификации уровней мышления в процессе обучения. Таксономия Б. Блума [5, с.45] до сих пор остается одной из самых цитируемых в литературе. Ценность его разработки заключается в том, что она позволяет связать процессы обучения и оценивания с учетом иерархии мыслительных процессов обучающегося, а также предлагает перечни глаголов, которые можно использовать при написании результатов обучения.

В таксономии Б. Блума выделены три сферы: когнитивная, аффективная (эмоциональная) и поведенческая (психомоторная).

Таблица 1. Таксономия Б. Блума

Когнитивная сфера	Аффективная (эмоциональная) сфера	Поведенческая (психомоторная) сфера
6. Оценка 5. Синтез 4. Анализ 3. Применение 2. Понимание 1. Знание	5. Распространение 4. Организация 3. Ценностные ориентации 2. Реагирование 1. Восприятие	5. Натурализация 4. Сочленение 3. Точность 2. Управление 1. Имитация

В многочисленных рекомендациях по описанию результатов обучения обращается внимание на необходимость использования активных глаголов (для этого рекомендуется применение таксономии Б. Блума), а также избегать таких неоднозначных глаголов как, например, «знать», «понимать», «быть в курсе», «оценивать» и др. Так, Д. Кеннеди [44], резюмируя обзор руководств по написанию результатов обучения, предлагает придерживаться следующих основных рекомендаций: начинать каждый результат обучения с активного глагола (глагола-действия), дополняя его объектом, на который направлено действие, и фразой, определяющей контекст; использовать только один глагол для каждого результата обучения; избегать сложных предложений; соотносить результаты обучения по модулю (дисциплине) с результатами обучения по программе. Важными характеристиками результатов обучения также являются их измеримость, реальность достижения, оцениваемость и понятность всем заинтересованным сторонам.

В США также применяется ABCD-метод описания результатов обучения. В качестве автора данного метода в практических руководствах [37, 55] указывается психолог Р. Мейгер (R.F. Mager). В соответствии с данным методом хорошо сформулированный результат обучения включает 4 элемента: указание аудитории (Audience) - кто обучается; описание ожидаемого поведения (Behavior) - что обучающийся будет способен сделать; уточнение условий (Condition) - как, при каких обстоятельствах или в каком контексте обучающийся это сделает; установление степени или уровня (Degree) - насколько хорошо и на каком уровне будет продемонстрировано ожидаемое поведение или действие.

Пример описания результатов обучения приведен в табл.2 (по материалам практических руководств Университета Коннектикут [43]).

Таблица 2. Пример формулирования результатов обучения

Недостаточно полное определение результата обучения	Более подходящее определение результата обучения	Полное определение результата обучения
Студенты будут способны написать исследовательскую статью.	Студенты будут способны написать исследовательскую статью в соответствующем научном стиле.	В завершении своего полевого исследования, студенты будут способны написать исследовательскую статью в соответствующем научном стиле.

В российской литературе по вопросам оценивания результатов обучения продолжаются дискуссии о соотношении понятий «результаты обучения» и «компетенции». Так, Ефремова Н.Ф. (2012) отмечает необходимость различения понятий «результаты обучения», которые определяются преподавателями, и «компетенции», которые приобретаются студентами. Особенностями компетенций, по мнению В.И. Звонникова, А.А. Малыгина и М.Б. Челышковой (2012), являются их полидисциплинарность, отсроченный характер проявления, причинный характер связи с эффективностью последующей деятельности и мета-латентная природа. При этом компетенции рекомендуется описывать в форме наблюдаемых признаков проявления, на основе которых затем и формулируются измеряемые результаты обучения. Ребрин О.И. и Шолина И.И. (2012) обращают внимание, что «результаты обучения не являются антитезой термина «компетенции» - это проекции единого деятельностного подхода к определению назначения образовательного процесса» [26, с.107]. Вместе с тем, в подзаконных нормативных актах 2013 года выделяются результаты обучения по дисциплине (модулю) или практике, а также результаты освоения образовательной программы (компетенции, устанавливаемые ФГОС ВО) [35].

На уровне практических руководств, раскрывающих вопросы оценивания результатов обучения на уровне образовательной программы, чаще всего используется термин «результаты обучения по образовательной программе» (program learning outcomes, learning outcomes for program, program-level learning outcomes). В целом, исследователи не проводят существенных различий в подходах к формулированию результатов обучения для отдельных дисциплин, модулей и по программе в целом. Но при этом авторы обращают внимание на необходимость согласования результатов обучения по образовательной программе с миссией образовательной программы и университета (Program Learning…, 2009), а также на учет таких факторов, как предыдущий опыт студентов, полученный до прихода на программу; учебный план; типы применяемых техник преподавания и обучения; возможные методы оценивания; ожидания внешних сторон, включая государственные структуры и профессиональные ассоциации (Learning Outcomes…, 2015). Интерес к результатам обучения на уровне программы проявляется также при рассмотрении вопросов обеспечения и оценки качества образования на уровне конкретной образовательной программы или всей образовательной организации (Rockwell, Bennett (1996, 2004)).

В рамках подхода, основанного на результатах обучения (outcomes-based approach), выделяются два уровня для определения результатов обучения: по дисциплинам (курсам) и по образовательной программе в целом. При этом на уровне дисциплины, которая прошла процедуру конструктивного выравнивания [45, с.9], выделяются три элемента: результаты обучения, опыт обучения, оценивание обучения. В свою очередь, конструктивно выравненная образовательная программа обеспечивает устойчивое развитие результатов обучения от минимального до высокого уровня. Идея конструктивного выравнивания (Биггс, Танг, 2007, 2011) строится на таксономии SOLO (the Structure of Observed Learning Outcomes taxonomy) [5], разработанной Дж. Биггсом и К. Коллис (1982).

Рис. 1 - Таксономия SOLO (Б. Биггс) [38]

Данный подход хорошо известен в университетской среде [27, 39, 42, 49]. «SOLO … обеспечивает систематический способ описания того, как в совокупности прогрессирует обучающийся, осваивая многие задачи, особенно те из них, которые решаются в школе. Постулируется общая последовательность возрастания структурной сложности многих понятий и умений, и эта последовательность может использоваться как руководство при формулирования специфических целей или оценке специфических результатов» [5, с.45]. Таксономия SOLO представляет обучение в виде пяти уровней (рис. 1). При этом оценивание результатов обучения по образовательной программе производится на связанном уровне и уровне расширенной абстракции.

Таким образом, результаты обучения по дисциплине и по образовательной программе в рамках идеи конструктивного выравнивания являются неотъемлемой частью логической связки «результаты обучения - опыт обучения - оценивание обучения». Однако, именно результаты обучения по образовательной программе являются тем интегрирующим элементом, в направлении которого происходит конструктивное выравнивание всей образовательной программы.

1.2 Оценивание результатов обучения по образовательной программе: подходы, проблемы, тенденции

 

.2.1 Оценивание результатов обучения по образовательной программе в рамках идеи конструктивного выравнивания

Проблема оценивания результатов обучения до сих пор остается одной из самых актуальных, что подтверждают многочисленные публикации зарубежных и отечественных исследователей. Так, Вильям и Блэк (2001) определяют оценивание следующим образом: «Оценивание относится ко всем видам деятельности, предпринимаемым преподавателями и их студентами для самооценки, которые обеспечивают информацию, подлежащую использованию в качестве обратной связи для последующей модификации их деятельности по преподаванию и обучению» [40, с.2].

Как было отмечено ранее, идея конструктивного выравнивания, предполагает формирование логической связки «результаты обучения - опыт обучения - оценивание обучения», которая выстраивается в процессе проектирования образовательной программы.

На сегодняшний день при проектировании образовательных программ, по мнению Челышковой М.Б. (2015), преимущественно применяется декомпозиция, предполагающая разложение каждой компетенции на дескрипторы (признаки проявления), которые затем связываются с результатами реализации учебных программ и курсов (знаниями и умениями). Основным недостатком декомпозиции является формирование у студента набора дискретных компетенций, когда он не способен выполнить задачу на высоком уровне профессионального мастерства, хотя отдельные признаки компетенции у него сформированы. Интегральный подход, предполагающий «построение компетентностной модели выпускника - комплексной интегральной структуры конечного результата образования в вузе, в основе которого лежит связанная и иерархически упорядоченная совокупность компетенций» [32, с.6-7], ввиду своей сложности практически пока нигде не реализован.

Так, на декомпозиции основываются следующие подходы, например: проектирование образовательных программ на основе методологии TUNING (Караваева, Телешова, Ульянова, Эченикэ, 2013) и картирования компетенций (Караваева (2014), Елина, Ковтун, Родионова (2015)), технология проектирования инженерных образовательных программ на основе модернизированной двухконтурной модели АВЕТ (ABET - the Accreditation Board for Engineering and Technology [36]) (Чучалин, Муратова, Епихин, 2012), методология проектирования образовательных программ на основе результатов обучения (Ребрин, Шолина, 2014). Отметим, что два последних подхода предполагают формулирование результатов обучения по образовательной программе с учетом требований ФГОС ВО и международных стандартов инженерного образования. Данные подходы к определению и оцениванию результатов обучения основываются на опыте зарубежных университетов. Необходимо обратить внимание на то, что в зарубежных методиках вопросы проектирования образовательных программ на основе результатов обучения рассматриваются в единой связке с вопросами их оценивания. Из аналогичных российских разработок можно, например, выделить опыт Томского политехнического университета (Чучалин, Муратова, Епихин, 2013).

Обзор ряда практических руководств зарубежных университетов [45, 49, 50, 53] показал, что в основе оценивания результатов обучения по образовательной программе лежит следующий алгоритм: оценка ожиданий - определение результатов обучения по образовательной программе - картирование и выравнивание учебного плана - определение плана оценивания - подбор методов оценивания - сбор и анализ данных оценивания - совершенствование образовательной программы (рис. 2).

Рис. 2. - Типовой алгоритм оценивания результатов обучения по образовательной программе

Алгоритм выстроен на принципах конструктивного выравнивания и эффективно работает, как отмечают авторы руководств, только на циклической основе.

Для проведения самооценки уровня развития системы оценивания образовательной организации в практических руководствах [45, 53], как правило, предлагаются оценочные рубрики с разной степенью детализации. Пример одной из таких рубрик приведен в табл.3.

Таблица 3. Оценочная рубрика для самооценки систем оценивания образовательных программ [45, с.27]

Развитие системы оценивания и практики

НАЧАЛЬНАЯ СТАДИЯ: Начата одна итерация процесса оценивания; может быть на пилотной стадии; может пока не иметь данных или данные не могут пока быть обобщены или обсуждены.

СТАДИЯ РАЗВИТИЯ: Активное регулирование основного процесса или инструментов после итерации или апробации; некоторые данные обобщены и обсуждены; развивается система участия.

СТАДИЯ УЛУЧШЕНИЯ: Данные регулярно обобщаются и обсуждаются каждый цикл оценивания; результаты используются для улучшения и проверки обучения студентов; использование результатов регулярно документируется.

СТАДИЯ ПРИЗНАНИЯ: Несколько итераций цикла оценивания; процесс структурно управляется с широким участием; процесс и инструменты отрегулированы, а также направлены на совершенствование программы; система является циклической и используется для развития и проверки студентов.

В приведенном примере необходимо обратить внимание на важный, на наш взгляд, момент: уровень развития системы оценивания определяется не столько качеством применяемых оценочных средств, а сколько развитием организационного механизма, обеспечивающего непрерывность возобновления циклов оценивания, документирования и анализа данных. Именно развитие данного механизма в последующем приводит к повышению качества оценочных средств и профессионализма участников оценочного процесса, а также накоплению необходимого объема данных для последующего анализа и принятия решений.

1.2.2 Проблемы и тенденции развития подходов к оцениванию результатов обучения по образовательной программе

Вопрос о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе предлагаем рассмотреть сквозь призму их влияния на выбор конкретной модели оценивания результатов обучения по образовательной программе.

В литературе понятие «модель оценивания результатов обучения по образовательной программе» не имеет четкого определения и описания составных элементов.

Авторы его используют в разной интерпретации, и единого подхода, к сожалению, выявить не удалось. Так, например, в качестве модели оценивания РО по ОП позиционируются либо циклы оценивания (по аналогии с описанным алгоритмом, но с разной степенью детализации), либо кейсы университетов с описанием конкретных наборов оценочных мероприятий и применяемых оценочных средств. Если в основе современных подходов к оцениванию результатов обучения лежит типовой алгоритм оценивания, основанный на принципах конструктивного выравнивания, то что тогда определяет различия в моделях оценивания РО по ОП и наш выбор той или иной модели?

Можно выделить три основные дискуссии по вопросам оценивания результатов обучения по образовательной программе:

)        о формирующем и итоговом оценивании;

)        о качестве оценочных средств и их развитии;

)        о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок.

Рассмотрим данные вопросы подробнее. Так, дискуссия о формирующем и итоговом оценивании интересует нас с точки зрения того, насколько процессы оценивания РО по ОП своевременны, информативны и полезны в части влияния на прогресс достижений обучающихся. В настоящее время выделяют два вида оценивания: формирующее (formative assessment) и итоговое (summative assessment) (табл.4).

Таблица 4. Виды оценивания в образовательном процессе

Вид	Определение
Формирующее оценивание	Оценивание в ходе обучения, направленное на мотивацию обучающегося к достижению планируемых целей.
Итоговое оценивание	Оценивание, подытоживающее обучение в определенный момент времени (обычно в конце модуля или программы), направленное на определение соответствия достигнутых результатов обучения установленным требованиям.

Бойцова Е.Г. (2014) отмечает, что ключевым отличием формирующего оценивания от итогового являются не применяемые методы или оценочные средства, а цель его проведения. При этом результаты формирующего оценивания должны немедленно использоваться для корректировки процесса обучения, в этом случае данный вид оценивания приобретает непрерывный характер. Землянская Е.Н. (2015) определяет следующие характеристики формирующего оценивания: студентоцентрированность; личностную ориентированность формирование образовательного процесса; расширение круга участников образовательной программы; формирование у студентов проектировочных, коммуникативных, рефлексивных умений; объективизация и дифференциация оценки компетенций студентов; организация самостоятельной работы студентов; учет динамики учебных достижений студентов; возможность логичного вплетения в структуру учебного процесса. Возрастающий интерес к формирующему оцениванию объясняется тем, что на практике преобладает применение итогового оценивания как на уровне отдельных дисциплин, так и на уровне образовательной программы.

Кроме того, в целях непрерывного совершенствования образовательных программ и повышения качества обучения необходимо развивать связи между итоговым и формирующим оцениванием. В частности, авторы практического руководства (Learning Outcomes…, 2015) обращают внимание на работы Харлен и Джеймс (1997) и Тарас (2009), в которых обсуждаются вопросы о возможности взаимного использования данных формирующего и итогового оценивания. Данные, получаемые в рамках этих двух видов оценивания, при перекрестном использовании надо тщательно отбирать. Так, например, не все данные формирующего оценивания, по мнению Харлен и Джеймс, могут быть использованы при итоговом оценивании. Выравнивание критериев оценивания позволит быстрее выстраивать необходимые связи между формирующим и итоговым оцениванием.

Таким образом, оценивание результатов обучения по образовательной программе может строиться на сочетании данных и возможностей формирующего и итогового оценивания. Для оценивания результатов обучения по образовательной программе данный вывод является важным, поскольку в некоторых предлагаемых моделях оценивание результатов обучения по образовательной программе предусмотрено практически на стадии завершения процесса обучения, что, на наш взгляд, сокращает количество полезных циклов оценивания и снижает их информативность для студентов.

Вторая дискуссия о развитии и качестве оценочных средств поможет нам прояснить вопрос влияния оценочных средств на выбор подходящей модели оценивания. В соответствии с типологией оценочных средств (Звонников, Малыгин, Челышкова, 2012) выделяют две основные группы оценочных средств для количественного и качественного уровней измерений. К первой группе относят стандартизированные тесты с заданиями на выбор ответов и стандартизированные анкеты. Ко второй группе - традиционные средства оценивания, тесты практических умений, кейс-измерители и портфолио. Авторы также выделяют третью группу оценочных средств - это тесты, сочетающие количественные и качественные уровни измерений (например, компетентностные тесты).

Исследования в этом направлении базируются на основе теории педагогических измерений (классической теории тестов (CTT), современной теории конструирования и применения тестов (IRT), теории генерализации (G-Theory)), в рамках которой реализуются нормативно-ориентированный и критериально-ориентированный подходы [9,10,11,12,22,23]. Наиболее перспективным подходом к оцениванию результатов обучения авторы (Звонников, Малыгин, Челышкова, 2012) считают многоступенчатые адаптивные критериально-ориентированные измерения, предполагающие применение различных измерителей в рамках трехступенчатой модели оценивания уровня сформированности профессиональных компетенций.

При выборе типа и разработке оценочных средств важно помнить о том, что оценка уровня сформированности компетенций должна проводиться «в условиях максимального приближения содержания и методов оценивания к будущей профессиональной деятельности выпускников» [10, с.119]. Поэтому вопрос правильного подбора и разработки качественных измерителей стоит очень остро. Для апробации и совершенствования самостоятельно разработанных оценочных средств большое значение также имеет достаточное количество циклов оценивания, предлагаемых в рамках той или иной модели.

Кроме того, для каждого результата обучения рекомендуют использовать определенные виды оценочных заданий. Пример представлен в табл.5 (таблица подготовлена по материалам практического руководства Совета по качеству высшего образования Онтарио [45]).

Таблица 5. Рекомендуемые виды оценочных заданий для результатов обучения

Результаты обучения	Виды оценочных заданий
Критическое мышление, решение проблем, вынесение суждений и понимание	Проблемно-ориентированное обучение. Кейс-стади. Открытые проблемы. Экзамен с написанием ответов-эссе на вопросы по кейсу, которые выдаются вместе с дополнительной информацией по кейсу после ответа на каждый предыдущий вопрос (MEQs). Наборы проблем. Дебаты, симуляция судебных заседаний, устное аргументирование и другие симуляции решения проблем. Анализ.
Исследование и готовность к обучению	Обзор исследования. Аннотированные библиографии. Долгосрочные исследовательские проекты. Обучение, основанное на исследовании.
Коммуникация	Эссе. Визуальное эссе. Доклады, короткие рассказы, поэмы, заметки, предложения, записки и онлайн журналы.
Креативность и дизайн	Создание диаграмм концепций или событий. Проектирование симуляций. Ролевые игры. Создание новой визуальной модели.
Саморегулирование и профессиональная компетентность	Рефлективное письмо. Практикум. Микропрактика и моделирование. Портфолио.

При принятии решения о выборе модели оценивания результатов обучения по образовательной программе, вопрос о подборе оценочных средств невозможно рассматривать без обсуждения трудоемкости и ресурсоемкости разработки оценочных средств. Так, в большинстве рассмотренных практических руководств рекомендуется учитывать наличие времени и ресурсов (кадровых, административных, финансовых и др.) при определении планов оценивания и подборе оценочных средств.

Дискуссия о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок интересует нас с точки зрения экономичности, информативности и полезности процесса оценивания. Обратим внимание на последний элемент алгоритма оценивания результатов обучения по образовательной программе - это «совершенствование образовательной программы», которое является одной из конечных целей цикла оценивания наряду с определением путей повышения качества обучения студентов.

Так, Г. Роджер (2003) [38] отмечает, что оценивание результатов обучения по образовательной программе направлено на представление доказательств того, что студенты могут продемонстрировать знания или навыки, напрямую связанные с конкретными результатами обучения по программе. Но что в итоге дает нам это оценивание - только информацию о том, как совершенствовать образовательную программу? Если оценивание результатов обучения по образовательной программе привязано к ее конкретным элементам, таким как, например, практики, НИР или ВКР, то в принципе результаты их оценивания в виде оценок будут включены в диплом студента. Не возникнет ли при этом противоречия с оценками по промежуточной аттестации? Как отмечает Г. Роджер, оценки по дисциплинам отражают, как правило, то, что студент выполнил требования преподавателя по данной дисциплине. Поэтому они являются неинформативными в части отражения успехов студентов по достижению результатов обучения на уровне программы.

Следствием такого подхода является то, что образовательные организации попадают в своеобразную ловушку невзаимосвязанных и ресурсоемких процессов оценивания на уровне отдельных дисциплин и программы в целом, в итоге получая «разрыв» между оценками в дипломе и реальным уровнем сформированности компетенций выпускников [17, 50].

Таким образом, рассмотренные дискуссии свидетельствуют об активном поиске способов решения проблем и задач по оптимизации процессов оценивания результатов обучения по образовательной программе. Основной тенденцией в развитии подходов к оцениванию РО по ОП становится смещение фокуса дискуссий с вопросов о том, что и как оценивать, к обсуждению вопросов о том, как оптимизировать эти процессы, при этом повышая их качество и информативность. Это важный вывод, который может повлиять на определение критериев выбора модели оценивания результатов обучения по образовательной программе.

1.3 Выводы по обзору литературы

Обзор литературы позволяет сделать следующие выводы:

.        Подходы к формулированию результатов обучения в целом едины. Однако, в отношении результатов обучения по образовательной программе единая картина не складывается. Так, в зарубежной практике определение результатов обучения по образовательной программе рассматривается больше как практический инструмент для позиционирования программы, мотивации студентов, вовлечения всего преподавательского состава в процессы проектирования, реализации, оценивания результатов, совершенствования образовательной программы и повышения качества обучения. В российской практике существует два подхода: первый - в качестве результатов освоения образовательной программы рассматривает набор компетенций, установленный ФГОС ВО; второй - учитывая зарубежный опыт, предполагает самостоятельное установление результатов обучения по образовательной программе на основе требований ФГОС ВО и профессиональных стандартов. Оба подхода направлены на формирование компетенций, установленных ФГОС ВО.

.        В основе зарубежных и отечественных подходов к проектированию образовательных программ с применением результатов обучения лежит идея конструктивного выравнивания. В российской практике проектирования образовательных программ применяется декомпозиция компетенций, при этом зачастую вопрос выстраивания процесса оценивания рассматривается отдельно.

.        Обзор практических руководств зарубежных университетов позволил выявить типовой алгоритм оценивания РО по ОП, имеющий цикловой характер. Выявить в публикациях описание типовой модели оценивания результатов обучения по образовательной программе или какую-либо классификацию моделей не удалось. В каждом случае упоминания модели оценивания РО по ОП приводится пример конкретного кейса или применяемого алгоритма оценивания. Поэтому в качестве основы был использован вышеуказанный типовой алгоритм. Учитывая то, что в основе современных подходов к оцениванию результатов обучения по образовательной программе лежит типовой алгоритм, на наш взгляд, при подборе альтернативных методик разработки модели оценивания результатов обучения по образовательной программе необходимо рассматривать те из них, которые построены на данном типовом алгоритме.

.        В литературе активно обсуждаются проблемы повышения качества оценивания, оптимизации количества процессов оценивания и их логического встраивания в учебный процесс, взаимного использования результатов формирующего и итогового оценивания, отражения в оценках достижений обучающихся в освоении компетенций. В целом, можно сделать вывод по публикациям последних лет, что центр дискуссий постепенно смещается от вопроса «что и как оценивать?» к вопросам «как оптимизировать процесс оценивания?».

2. МЕТОДОЛОГИЯ РАБОТЫ

 

.1 Обоснование подбора подходов к разработке моделей оценивания результатов обучения по образовательной программе

Исходя из полученных по итогам обзора литературы выводов о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе, необходимо осуществить подбор альтернативных методов и выбор одного из них для последующей разработки модели оценивания результатов обучения по образовательной программе для конкретной магистерской программы «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее - «ГМУСЭРСТС»).

В ходе изучения литературных источников был проведен обзор подходов к проектированию образовательных программ на основе методологии результатов обучения и принципов конструктивного выравнивания, а также ряда практических руководств по оцениванию результатов обучения по образовательной программе. Напомним, что итогом проведенной работы стал вывод о том, что в основе любого подхода к оцениванию результатов обучения по образовательной программе, разработанной на принципах конструктивного выравнивания, лежит типовой алгоритм оценивания результатов обучения по образовательной программе, состоящий из 7 последовательных шагов, повторяющихся на непрерывной циклической основе.

На основе данного вывода был осуществлен подбор подходов к разработке модели оценивания результатов обучения по образовательной программе. В ходе подбора были исключены подходы и методы, в которых рассматриваются либо только подходы к проектированию образовательной программы, либо только подходы к оцениванию результатов обучения.

Таким образом, в окончательную выборку попали 4 подхода:

-       технология проектирования образовательных программ ТПУ (Чучалин, Муратова, Епихин, 2012) (далее - подход ТПУ);

-       7-шаговая методика оценивания результатов обучения по образовательной программе Университета Техаса в Эль Пасо (2009); 2012) (далее - подход UTEP);

-       4-х стадийный цикл оценивания результатов обучения по образовательной программе (Совет по качеству высшего образования Онтарио, HEQCO) (2015) (далее - подход HEQCO);

-       подход All-in-One (Richman, Ariovich, 2013) (далее - подход All-in-One).

Каждый из данных подходов, несмотря на разную степень детализации, действительно построен на типовом алгоритме оценивания результатов обучения по образовательной программе (табл.6). По приведенной таблице можно еще раз убедиться в том, что применение данных подходов возможно при проектировании образовательных программ на основе принципов конструктивного выравнивания всех элементов учебного плана с планируемыми результатами обучения по образовательной программе. Но сведения об этапах применения каждого из подходов, представленные в данной сводной таблице, не дают информации о том, какую модель оценивания результатов обучения по образовательной программе можно получить в результате применения данного подхода.

Следующим шагом видится описание и анализ каждого подхода с точки зрения возможности построения описания модели оценивания результатов обучения по образовательной методике, что позволит до этапа проектирования модели осуществить выбор в пользу применения одного из подходов. Описание каждого подхода представлено в отдельных разделах и будет включать: сведения о разработчиках и опыте применения подхода; описание алгоритма работ; образец модели; выводы. После описания всех подходов, с учетом полученных в результате анализа каждого подхода выводов, необходимо определить примерные критерии для выбора модели оценивания результатов обучения по образовательной программе, которые будут уточнены на этапе анализа действующей модели оценивания по магистерской программе «ГМУСЭРСТС».

Таблица 6. Сравнение подходов с типовым алгоритмом оценивания результатов обучения по образовательной программе

Шаги типового алгоритма	Подход ТПУ	Подход UTEP	Подход HEQCO	Подход All-in-One
1. Оценка ожиданий	Шаг 1. Определение исходных данных для планируемых РО ООП. Шаг 2. Выбор основы для группирования требований к РО.	Шаг 1. Уточнение миссии и целей программы	Стадия 1. Идентификация ожиданий от результатов обучения по образовательной программе.	1. Установление результатов обучения по дисциплине (курсу), образовательной программе и для уровня образования
2. Определение РО по ОП	Шаг 3. Формулирование РО по ОП. Шаг 4. Анализ РО по ОП на предмет дублирования и соответствия заявленным требованиям.	Шаг 2. Определение 4-6 результатов обучения по ОП
3. Картирование и выравнивание учебного плана	Шаг 5. Декомпозиция РО по ОП на составляющие (ЛР - локальные результаты). Шаг 6. Анализ ЛР на предмет дублирования и соответствия заявленным требованиям. Шаг 7. Повторный анализ РО и ЛР на на предмет дублирования и соответствия заявленным требованиям.	Шаг 3. Определение того, где в учебном плане результаты и цели обучения охватываются: анализ учебного плана и программы	Стадия 2. Карта оценочных заданий по образовательной программе.	2. Выравнивание учебного плана и выстраивание взаимосвязей между курсами разных уровней
4. Определение плана оценивания	Шаг 8. Разработка индикаторов оценивания (от 3 до 6). Шаг 9. Разработка критериев оценивания.	Шаг 4. Определение методов и техник оценивания		3. Создание оценочных рубрик по каждому элементу учебного плана
5. Подбор методов оценивания	Шаг 10. Составление матрицы РО, индикаторов и методов оценивания.
6. Сбор и анализ данных оценивания	Предусмотрено в рамках применения двухконтурной модели АВЕТ (шаг 8 «Оценка достижения результатов и целей»)	Шаг 5. Сбор, создание таблиц, анализ данных и отчет по результатам	Стадия 3. Сбор и анализ результатов оценивания.	4. Сбор и анализ результатов оценивания
7. Совер-шенствование ОП		Шаг 6. Использование результатов оценивания Шаг 7. Определите, кто будет предпринимать действия по улучшению	Стадия 4. Совершенствование программы.	5. Непрерывное совершенствование образовательной программы на основе результатов оценивания

2.2 Описание подходов к разработке моделей оценивания результатов обучения по образовательной программе

 

.2.1 Технология проектирования образовательных программ ТПУ

Данный подход разработан и применяется в Национальном исследовательском Томском политехническом университете. В литературе подход описан как технология проектирования инженерных образовательных программ (Чучалин, Муратова, Епихин, 2012). Основой для разработки данного подхода послужили международные стандарты инженерного образования и ФГОС ВПО. Также подход основывается на двухконтурной модели АВЕТ [29, с.26-28], включающей 2 процесса: процесс установления целей ООП и процесс определения, достижения и оценивания результатов обучения по ООП. Технология предполагает выполнение 10 последовательных шагов, представленных в табл.7.

Таблица 7. Сопоставление технологии проектирования ОП ТПУ с элементами типового алгоритма

Элементы типового алгоритма	Технология проектирования ОП ТПУ
1. Оценка ожиданий	Шаг 1. Определение исходных данных для планируемых РО ООП. Шаг 2. Выбор основы для группирования требований к РО.
2. Определение РО по ОП	Шаг 3. Формулирование РО по ОП. Шаг 4. Анализ РО по ОП на предмет дублирования и соответствия заявленным требованиям.
3. Картирование и выравнивание учебного плана	Шаг 5. Декомпозиция РО по ОП на составляющие (ЛР - локальные результаты). Шаг 6. Анализ ЛР на предмет дублирования и соответствия заявленным требованиям. Шаг 7. Повторный анализ РО и ЛР на на предмет дублирования и соответствия заявленным требованиям.
4. Определение плана оценивания	Шаг 8. Разработка индикаторов оценивания (от 3 до 6). Шаг 9. Разработка критериев оценивания.
5. Подбор методов оценивания	Шаг 10. Составление матрицы РО, индикаторов и методов оценивания.
6. Сбор и анализ данных оценивания	Предусмотрено в рамках применения двухконтурной модели АВЕТ (шаг 8 «Оценка достижения результатов и целей»)
7. Совершенствование ОП

При применении данной технологии разработчику образовательной программы на первом шаге необходимо изучить требования ФГОС, профессиональных стандартов и заинтересованных сторон, а также ситуацию на рынках труда. Далее формулируются результаты обучения. По итогам 2 и 3 шагов заполняется табл.8.

Таблица 8. Планируемые результаты обучения

Код РО	Результат обучения (выпускник должен быть готов)	Требования ФГОС, критериев и/или заинтересованных сторон
Р1	…	…
Р2	…	…

Затем устанавливается соответствие целей ООП и РО (табл.9).

Таблица 9. Взаимное соответствие целей ООП и результатов обучения

Результаты обучения	Цели ООП
	Ц1	Ц2	Ц3	Ц4	Ц5
Р1	+	+
Р2		+	+
…

На этапе декомпозиции необходимо определить составляющие результатов обучения - знания (З), умения (У), владение (В) (табл.10).

Таблица 10. Декомпозиция результатов обучения

Результаты обучения	Составляющие результатов обучения
	Код	Знания	Код	Умения	Код	Владение
Р1	З1.1 З1.2 …	… … …	У1.1 У1.2 …	… … …	В1.1 В1.2 …	… … …
Р2	З2.1 З2.2 …	… … …	У2.1 У2.2 …	… … …	В2.1 В2.2 …	… … …
…

На следующем этапе разработчик должен распределить результаты обучения по циклам ООП (табл.11), затем аналогично - по модулям ООП.

Таблица 11. Распределение результатов обучения по циклам ООП

Циклы	Составляющие результатов обучения
Общенаучный (гуманитарный, социальный, экономический) цикл	Знания: З.3.1; З.4.1; … Умения: У.1.1.; У.4.1.; … Владение: В.1.3.; В.3.2.; …
Общенаучный (математический и естественно научный) цикл	Знания: … Умения: … Владение: …
Профессиональный цикл	Знания: … Умения: … Владение: …
Практика и/или НИР	Знания: … Умения: … Владение: …
Выпускная квалификационная работа	Знания: … Умения: … Владение: …

Далее технология предполагает установление соответствия модулей ООП результатам обучения (табл.12).

Таблица 12. Соответствие модулей ООП результатам обучения

РО	Модули
	1	2	3	4	5	6	7
РО1			+	+	+
РО2		+			+	+	+
…

Полученные матрицы становятся основой для разработки рабочих программ отдельных дисциплин или модулей.

Оценивание достижения результатов обучения производится на уровне каждой дисциплины или модуля, а также, для некоторых РО, на уровне программы в целом, например, в рамках выполнения курсовых проектов, проектных работ, практик, НИР или подготовки выпускной квалификационной работы. Авторы обращают внимание на то, «что на основании оценки достижения составляющих результатов обучения в большинстве случаев не представляется возможным достоверно судить о целостных результатах освоения ООП - приобретении компетенций» [33, с.15]. Вслед за Ефремовой Н.Ф., отмечавшей значимость квазипрофессиональных ситуаций при проведении оценивания сформированности компетенций, разработчики подхода предлагают активизировать междисциплинарную деятельность студентов в рамках курсового проектирования, НИР, практик и ВКР и создавать условия, «максимально приближенные к реальной инженерной деятельности» [33, с.15]. При этом важно обеспечить проведение экспертной оценки компетенций по заранее установленным индикаторам и критериям. Таким образом, оценивание уровня сформированности компетенций предлагается проводить в рамках междисциплинарных элементов учебного плана, а оценку достижения локальных результатов обучения - в рамках проведения промежуточной аттестации по модулям (рис.3).

Рис. 3 - Модель оценивания результатов обучения по образовательной программе с применением технологии проектирования ОП ТПУ

Выводы по результатам анализа модели оценивания результатов обучения по образовательной программе с применением подхода ТПУ:

)        Модель включает 2 процесса оценивания: локальных результатов - на уровне отдельных модулей (дисциплин); результатов обучения по образовательной программе - на уровне междисциплинарных элементов учебного плана (практик, курсовых проектов, НИР и ВКР).

)        Оценивание результатов обучения по образовательной программе проводится в каждом семестре при оценивании выполнения студентами работ в рамках междисциплинарных элементов учебного плана, за которыми закреплены конкретные наборы РО по ОП.

)        Результаты оценивания учитываются при выставлении оценок по указанным элементам учебного плана.

)        Результаты учитываются при корректировке целей и результатов обучения ОП по завершении периода обучения по программе.

)        В модели, на наш взгляд, остается непонятным, как фиксируется и анализируется прогресс достижений обучающихся, сопоставимы ли закрепленные за междисциплинарными элементами наборы РО по ОП, и как определяется возрастание сложности оценочных заданий.

 

.2.2 7-ми шаговая методика оценивания результатов обучения по образовательной программе (UTEP)

Данная методика разработана Университетом Техаса в Эль Пасо (Program Learning…, 2009) на основе работ ряда авторов и с применением практических руководств таких университетов, как California Polytechnic State University, Texas A&M University, University of Central Florida, University of Delaware, University of Texas at Dallas, University of Virginia [49, с.38]. Практическое руководство не потеряло своей актуальности, продолжает использоваться и дополняться (Student Learning…, 2013).

Согласно практическому руководству необходимо выполнить 7 последовательных шагов (табл.13)

Таблица 13. Сопоставление 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP с элементами типового алгоритма

Элементы типового алгоритма	Описание 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP
1. Оценка ожиданий	Шаг 1. Уточнение миссии и целей программы
2. Определение РО по ОП	Шаг 2. Определение 4-6 результатов обучения по ОП
3. Картирование и выравнивание учебного плана	Шаг 3. Определение того, где в учебном плане результаты и цели обучения охватываются: анализ учебного плана и программы
4. Определение плана оценивания	Шаг 4. Определение методов и техник оценивания
5. Подбор методов оценивания
6. Сбор и анализ данных оценивания	Шаг 5. Сбор, создание таблиц, анализ данных и отчет по результатам
7. Совершенствование ОП	Шаг 6. Использование результатов оценивания Шаг 7. Определите, кто будет предпринимать действия по улучшению

Методика предусматривает практически для каждого шага подробное описание последовательности всех операций, анкеты и чек-листы для самопроверки.

В рамках методики на шаге 3 рекомендуется разработка карты учебного плана с указанием взаимосвязи курсов с РО по ОП и определением значимости каждого РО для каждого курса (неважные - НВ, довольно важные - ДВ, умеренно важные - УВ, очень важные - ОВ). При этом для каждого РО должен быть установлен индекс УВ или ОВ хотя бы за одним курсом или дисциплиной (табл.14).

Таблица 14. Образец карты учебного плана и результатов обучения по ОП

Курс/ дисциплина	РО1	РО2	РО3	РО4	РО5	РО6
Дисциплина 1	ДВ	УВ	ОВ	НВ	НВ	УВ
Дисциплина …	…	…	…	…	…	…
Дисциплина N	УВ	ОВ	УВ	УВ	НВ	УВ

На шаге 4 заполняется карта учебного плана с указанием курсов и инструментов оценивания (статья (С), экзамен (Э), портфолио (П), лабораторная работа (ЛР), стандартизированный тест (Т), презентация (Пр), стажировка (Ст) и т.п.) (табл.15).

Таблица 15. Образец карты учебного плана, результатов обучения по ОП и инструментов оценивания

Курс/ дисциплинаРО1РО2РО3РО4РО5РО6
Дисциплина 1	С	Э
Дисциплина …	…	…	…	…	…
Дисциплина N			Т		Пр

В продолжение шага 4 рекомендуется подготовить таблицу «Интеграция результатов обучения и инструментов оценивания» (табл.16).

Таблица 16. Интеграция результатов обучения и инструментов оценивания

Курс/ дисциплина	Охватываемые результаты обучения	Оценивание результатов обучения	Релеватность, валидность, надежность, объективность	Учебные активности, ориентированные на результаты обучения
Дисциплина 1
Дисциплина …
Дисциплина N

На шаге 5 представлены рекомендации по сбору и анализу данных и созданию «административного резюме», в котором отражены сведения о собранных данных с указанием электронных ссылок для удобного доступа (табл.17).

Таблица 17. Образец административного резюме

Цели программы	Где, когда и как собраны данные; инструменты оценивания	Ожидания в отношении удовлетворительного исполнения	Результат анализа	Программа последующих действий

На высоком уровне развития системы оценивания результатов обучения образовательная программа имеет план оценивания на несколько лет, в котором определено, когда и как каждый результат обучения будет оценен, и какие улучшения, основанные на выводах, будут реализованы.

Рис. 4 - Модель оценивания результатов обучения по образовательной программе с применением 7-ми шаговой методики оценивания РО по ОП UTEP

Вывод по результатам анализа модели оценивания результатов обучения по образовательной программе с применением 7-ми шаговой методики UTEP (рис. 4):

)        Процесс оценивания РО по ОП «встроен» в процесс оценивания по всем элементам учебного плана. Ответственность за формирование и оценивание результатов обучения по образовательной программе несут преподаватели всех дисциплин, за которыми закреплены конкретные РО по ОП.

)        Достижения обучающихся в ходе освоения образовательной программы отражаются также и в портфолио.

)        Данные по результатам оценивания накапливаются в разных базах, и на этапе формирования сводного отчета формируется «административное резюме» с электронными ссылками на разные источники.

)        Непонятно, сколько всего формируется процессов оценивания РО по ОП. Судя по таблице «Интеграция результатов обучения и инструментов оценивания», их ровно столько, сколько дисциплин в учебном плане.

)        В методике предусмотрен раздел, в рамках которого обсуждается вопрос о значении и достаточности оценок. Но при этом непонятно, учитывается ли оценивание РО по ОП в системе выставления оценок.

 

.2.3 4-х стадийный цикл оценивания результатов обучения по образовательной программе (HEQCO)

Следующий подход разработан Советом по качеству высшего образования Онтарио (Learning Outcomes…, 2015). Методика строится на основе таксономии SOLO Б. Биггса. В рамках данной методики предлагается непрерывный 4-х стадийный цикл оценивания результатов обучения по образовательной программе.

Таблица 18. Сопоставление 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP с элементами типового алгоритма

Элементы типового алгоритма	Описание 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP
1. Оценка ожиданий	Стадия 1. Идентификация ожиданий от результатов обучения по образовательной программе.
2. Определение РО по ОП
3. Картирование и выравнивание учебного плана	Стадия 2. Карта оценочных заданий по образовательной программе.
4. Определение плана оценивания
5. Подбор методов оценивания
6. Сбор и анализ данных оценивания	Стадия 3. Сбор и анализ результатов оценивания.
7. Совершенствование ОП	Стадия 4. Совершенствование программы.

На второй стадии разрабатывается карта учебного плана (табл.19). Картирование учебного плана обеспечивает эффективную стратегию для определения, выравнивания и интеграции результатов обучения с последовательностью и расположением курсов в учебном плане. Иными словами, на этом этапе важно определить, как и где обучение происходит в учебном плане и как оно оценивается. Разработчики подхода отмечают, что картирование является визуальным подходом к анализу программ и может осуществляться с использованием графиков, таблиц, диаграмм или других инструментов, которые позволяют провести обзор и анализ программы в целом. С этим процессом может справиться небольшая команда, которая собирает начальную информацию у преподавателей и вводит данные в карту учебного плана.

Таблица 19. Карта взаимосвязи результатов обучения в преподаванием, обучением и оцениванием

Результаты обучения по образовательной программе	Ожидания от уровня квалификации	Виды преподавательской деятельности и возможности обучения	Оценивание и доказательства
К завершению программы успешные студенты будут…	Устанавливаются для каждого результата обучения, с которым выровнены характеристики уровня квалификации или аккредитационные требования	Какие конкретные виды преподавательской деятельности и возможности обучения помогут студентам достигнуть каждого результата обучения по образовательной программе?	Какие данные по каждому результату обучения должны быть собраны по каждому студенту в качестве доказательства того, что студенты смогли достичь планируемых результатов обучения?
1. …	…	…	…
2. …	…	…	…

Разработчиками подхода предлагается и другой вариант карты учебного плана по курсам (табл.20). Эта версия карты отражает, какую лепту каждый курс вносит в достижение результатов обучения, а также в рамках каких курсов проводятся оценочные мероприятия.

Таблица 20. Карта взаимосвязи результатов обучения по образовательной программе и курсов

Результаты обучения по ОП	Курсы нижнего уровня			Курсы более высокого уровня			Оценочные мероприятия
	Курс 1	Курс 2	Курс 3	Курс 4	Курс 5	Курс 6
РО1	В		У	У		М О1	О1
РО2		В		У О2	М О3		О2, О3

Примечание: В - вводный уровень; У - усиленный уровень; М - уровень мастерства; О - оценивание.

В результате такого анализа учебного плана пробелы в оценивании результатов обучения становятся очевидными. Например, можно выявить, что некоторые результаты обучения редко или вообще не оцениваются.

Действительно, картирование обеспечивает отличную возможность для проверки оценочных заданий, включаемых в программу. Конкретные оценочные задания могут быть перепроектированы. Как рекомендуют разработчики подхода, оценочные задания должны быть спроектированы на основе таксономии SOLO и учитывать приращение знаний, умений и навыков от каждого курса. Также оценочные задания должны быть встроены в курсы и базироваться на принципах аутентичного оценивания, соответствующего дисциплине. Каждый курс должен быть проверен для уверенности в том, что оценивание является конгруэнтным и строится через определенные результаты обучения по образовательной программе.

Таким образом, карта оценочных заданий по образовательной программе направляет процессы оценивания результатов обучения по отдельным курсам и систематической генерации доказательств на уровне программы.

Стадия 3 предполагает формирование механизмов сбора и анализа результатов оценивания. Сбор и анализ данных должен быть непрерывным (проводиться каждый семестр или ежегодно). Этот процесс решает несколько важных задач: определяет степень достижения студентами установленных результатов обучения по образовательной программе; позволяет выделить области образовательной программы, которые необходимо совершенствовать; демонстрирует качество образовательной программы работодателям, партнерам и потенциальным студентам; документально подтверждает достижения и обучение студентов, что может пригодиться при прохождении оценке эффективности и аккредитации образовательной программы.

Рис.5 - Модель оценивания результатов обучения по образовательной программе с применением методики HEQCO

Выводы по результатам анализа модели (рис. 5), полученной с применением подхода HEQCO:

)        Модель включает несколько процессов оценивания РО по ОП - по количеству установленных результатов обучения. При этом дисциплины, за которыми закреплены результаты обучения, ранжируются (вводный, усиленный уровни и уровень мастерства).

)        Оценивание конкретного результата обучения по ОП проводится по дисциплинам, в рамках которых РО формируется на уровне мастерства. Но в некоторых случаях оценивание РО по ОП может проводиться два раза - на последнем усиленном уровне и уровне мастерства.

)        По каждому РО по ОП выстраивается четкая траектория процесса оценивания на уровне образовательной программы.

 

.2.4 Подход All-in-One

Подход «All-in-One» разработан в Принс-Джордж Колледже и применяется с 2012 года (Richman, Ariovich, 2013). Данный подход позволяет комбинировать системы выставления оценок и оценивания результатов обучения по отдельным курсам.

Как отмечают авторы, данный подход позволяет преодолеть «дефрагментацию» в оценивании, возникающую вследствие того, что образовательные организации создают отдельные, сосуществующие практики оценивания, обращаясь к оцениванию дисциплин, курсов и программ как к изолированным частям, а не как к взаимосвязанным компонентам оценки знаний и навыков студентов [50, С.3]. Подход All-in-One позволяет посредством использования унифицированных оценочных рубрик формировать централизованную базу данных, что требует применения технологической платформы.

Таблица 21. Сопоставление шагов подхода All-in-One с типовым алгоритмом

Шаги типового алгоритма	Подход All-in-One
1. Оценка ожиданий	1. Установление результатов обучения по дисциплине (курсу), образовательной программе и для уровня образования
2. Определение РО по ОП
3. Картирование и выравнивание учебного плана	2. Выравнивание учебного плана и выстраивание взаимосвязей между курсами разных уровней
4. Определение плана оценивания	3. Создание оценочных рубрик по каждому элементу учебного плана
5. Подбор методов оценивания
6. Сбор и анализ данных оценивания	4. Сбор и анализ результатов оценивания
7. Совершенствование ОП	5. Непрерывное совершенствование образовательной программы на основе результатов оценивания

По аналогии с ранее рассмотренными подходами, методика также предполагает тщательный и непрерывный анализ учебного плана для поддержания связей между результатами обучения по дисциплинам (модулям) и программы в целом. Принципиально важным моментом является необходимость разработки оценочных рубрик для каждого элемента учебного плана.

На уровне курса создание взаимосвязей начинается с определения ключевых заданий, которые используются для демонстрации всех результатов обучения по курсу. Если охватить все результаты обучения в одном задании невозможно, студенты оцениваются по 2-3 заданиям (например, промежуточный или финальный проект по дисциплине).

Каждая оценочная рубрика (табл.22) разрабатывается с помощью шаблона в электронной оболочке. Используя эту таблицу, преподаватели определяют набор оценочных заданий и уровней их исполнения, ранжируя их по шкале от «отлично» до «неудовлетворительно». Таким образом, преподаватель определяет, что включается в рубрику и то, как оценивается работа студента, затем заполняет таблицу в формате WORD. Далее оценивающий персонал загружает рубрику в базу данных по оцениванию.

Таблица 22. Образец оценочной рубрики

	Отлично	Хорошо	Средне	Ниже среднего	Неудовлетворительно	Результаты обучения по курсу	Ключевые компетенции
Область	Баллы: 5	Баллы: 4	Баллы: 3	Баллы: 2	Баллы: 1
							Коммуни-кация
							Крити-ческое мышление

Чтобы решить сколько баллов задать, преподаватель вначале использует описание, даваемое в каждой ячейке (например, в ячейке «средне»). Описание в этой ячейке включает конкретные характеристики. Для максимизации гибкости выставления оценок, преподаватель может затем решить, в рамках «среднего», заслуживает ли студенческая работа 5, 4 или 3 баллов, основываясь на качестве презентации работы. Таким образом, преподаватель не попадает в ловушку 5-ти категориальной рубрики. Вместо этого преподаватели могут использовать рубрику для направления процесса выставления оценок, но, тем не менее, удерживая оценку в предложенном континууме.

Как только закончится семестр, рубрики начинают использоваться немного в другом ключе. Для целей оценивания интересно не количество баллов, которые получил каждый студент, а уровень которого они достигли (отлично, хорошо, средне и т.д.) по рубрике для каждой области. Фокус анализа направлен на выявление доли студентов, которые попали в каждый уровень достижений. В целом, студенты, которые попали в уровни «отлично», «хорошо» и «средне», считаются достигшими ожиданий для определенных навыков (например, письмо), в то время как студенты, попавшие в уровни «ниже среднего» и «неудовлетворительно», считаются отстающими от ожидаемых результатов для этого навыка.

Как отмечают разработчики подхода, все знания, навыки и ценности, к которым студенты стремятся на уровнях курса, программы или образования вообще, являются взаимосвязанными. На уровне отдельного студента обучение является холистическим процессом, в котором различные наборы навыков могут приобретаться одновременно в течение продолжительного периода времени. Более того, все артефакты, произведенные студентом, представляют многообразие навыков и знаний, работающих во взаимодействии.

Управление измерением этих способностей через отдельные процессы, по мнению разработчиков, не имеет смысла. Вместо того, чтобы заставлять работать в организации три системы измерения, All-in-One снижает нагрузку, действуя в существующем рабочем процессе. Преподаватель оценивает работу студента и вводит данные в электронную систему. Этих данных достаточно для сбора информации по обучению на курсах и программах по всей образовательной организации. В этом случае отпадает необходимость в других процессах, которые снова и снова переоценивают работу студентов сквозь призму то результатов обучения по программе, то общих результатов образования. Все необходимые данные производятся одним процессом.

Кроме того, подход All-in-One оставляет за преподавателями свободу определения критериев для оценивания навыков студента не только на уровне курса, но также и на уровне программы или общего образования. Например, преподаватель, который преподает психологию, хотел бы оценить такой навык любого образованного человека, как «письмо». В этом случае преподаватель психологии создает оценочную рубрику, отражающую его собственные представления о навыках написания текстов. Этот подход, по мнению авторов, привлекателен для преподавателя, потому что в этом случае он не вынужден руководствоваться расплывчатым, универсальным «золотым стандартом» письма, но вместо этого, он вовлекает себя в дискуссию об ожиданиях в отношении навыков написания текстов по конкретной дисциплине, и о проблемах, которые встречают студенты, когда движутся от одной среды применения данного навыка к другой.

Высокий уровень вовлечения преподавателей в All-in-One влечет за собой значительный объем работы, что требует адекватной институциональной поддержки (как минимум, трехуровневой).

Сбор данных осуществляется на трех уровнях: отдельной секции курса, курса в целом и по всей образовательной программе. Эти данные фокусируются на количестве и доле студентов, попавших в каждую из групп (отлично, хорошо, средне, ниже среднего, неудовлетворительно). При анализе данных по образовательной программе результаты представляются в разрезе конкретных навыков (ключевых компетенций), как например, навыки письма. Кроме того, данный анализ может служить в качестве обратной связи для студента и информировать его, например, о том, что навыки письма у него сформированы на уровне «отлично», а критическое мышление - «средне». Таким образом, студент может наблюдать свой прогресс при освоении образовательной программы и предпринимать меры по повышению качества своего обучения.

Рис.6 - Модель оценивания результатов обучения по образовательной программе с применением подхода All-in-One

Выводы по результатам анализа модели оценивания результатов обучения по ОП с применением подхода All-in-One:

)        Модель предусматривает один процесс оценивания РО по ОП, который «встроен» в процессы оценивания результатов обучения по отдельным элементам учебного плана с помощью унифицированных оценочных рубрик, что исключает дублирование процессов.

)        Оценивание РО по ОП идет в ходе всего срока освоения программы и предусматривает постоянное (после каждого цикла оценивания) информирование обучающихся и преподавателей о достижении результатов обучения по ОП.

)        Результаты оценивания РО по ОП «встроены» в систему выставления оценок.

)        Не совсем понятно, как учитывается прогресс обучающихся в достижении РО по ОП. Решение этой проблемы требует постоянного анализа оценочных рубрик для их выравнивания во избежание занижения или завышения критериев оценивания. Это сделать возможно, но трудоемко.

2.3 Обоснование критериев выбора модели оценивания результатов обучения по образовательной программе

Напомним, что все рассмотренные подходы основываются на типовом алгоритме оценивания результатов обучения по образовательной программе, выявленном в ходе обзора литературы и практических руководств. Но, как мы убедились в ходе анализа подходов, все они отличаются как по набору операций, так и по конечному результату.

Критерии выбора модели оценивания результатов обучения по образовательной программе предлагаем сформулировать с учетом следующих выводов, полученных по итогам обзора литературы и анализа подходов:

-       при проектировании ОП на принципах конструктивного выравнивания, РО по ОП являются ключевым интегрирующим элементом, в направлении которого «выравниваются» процессы обучения и оценивания. В этом случае наблюдается переход от традиционной к модели оценивания на принципах конструктивного выравнивания (рис.7, части а) и б)). При этом очень важны унификация формы оценочного инструментария для сбора данных и предоставление свободы преподавателям в части определения содержания оценочных заданий и критериев оценивания;

-       типовой алгоритм оценивания РО по ОП эффективен при применении на непрерывной цикловой основе, при этом возможность повышения качества процесса оценивания появляется с завершением каждого нового цикла оценивания. Таким образом, чем больше количество циклов оценивания в ходе реализации образовательной программы, тем больше возможностей и информации появится у разработчиков для совершенствования ОП, оценочного процесса и оценочных средств (рис.7, часть в)). С другой стороны, количество циклов оценивания должно учитывать наличие и доступность временных и иных ресурсов;

-       результаты оценивания РО по ОП не должны подменять или сводиться к традиционным оценкам. Однако, процесс оценивания РО по ОП и оценочные средства должны быть так «встроены» в учебный процесс по элементам учебного плана, чтобы помогать студентам видеть пробелы и работать над своим развитием, преподавателям - видеть свой вклад в становление будущего специалиста, совершенствовать процесс обучения и оценочные средства, и принимать более точные решения при итоговом оценивании РО по своей дисциплине. Таким образом, появится возможность преодолеть «разрыв» между результатами оценивания РО по ОП и системой выставления оценок.

Рис.7 - Модели оценивания: а) традиционная; б) основанная на принципах конструктивного выравнивания; в) включающая несколько циклов оценивания.

С учетом данных выводов в качестве возможных критериев для выбора модели оценивания результатов обучения по образовательной программе предлагаем рассмотреть следующие:

-       наличие унифицированной формы для сбора данных результатов оценивания;

-       возможность проведения нескольких циклов оценивания в ходе освоения образовательной программы одновременно по всем РО по ОП;

-       возможность «встраивания» процесса оценивания РО по ОП в процесс оценивания по всем элементам учебного плана.

Оценку каждой модели по каждому критерию по предлагаем провести по следующей шкале: 1 - плохо, 2 - недостаточно хорошо, 3 - хорошо, 4 - очень хорошо.

3. РЕЗУЛЬТАТЫ

 

.1 Характеристики действующей модели оценивания результатов обучения по магистерской программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера (ГМУСЭРСТС)»

Магистерская программа «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее «ГМУСЭРСТС») реализуется в СВФУ с 2013 года. Миссией программы является подготовка специалистов в области государственного и муниципального управления, готовых к разработке и реализации управленческих решений для социально-экономического развития сельских территорий Севера на основе инновационного и предпринимательского подходов.

В соответствии с федеральным государственным образовательным стандартом высшего образования (далее - ФГОС ВО) по направлению подготовки 38.04.04 Государственное и муниципальное управление (уровень магистратуры) требования к результатам освоения программы магистратуры включают 26 компетенций, в т.ч. общекультурных (ОК) - 3, общепрофессиональных (ОПК) - 3, профессиональных (ПК) - 20. Образовательная программа направлена на формирование всех общекультурных, общепрофессиональных и профессиональных компетенций, установленных в ФГОС ВО. Дополнительные компетенции разработчиками не установлены. Планируемые результаты обучения по каждой дисциплине (модулю) и практике отражены в рабочих программах.

Необходимо отметить, что результаты обучения по образовательной программе в соответствии с распространенным за рубежом подходом, для данной магистерской программы не установлены. В России формулирование результатов обучения по образовательной программе является редкой практикой. В частности, автором настоящей работы (Афанасьева, 2015) был проведен анализ описаний и учебных планов российских магистерских программ со схожей направленностью, который подтвердил, что результаты обучения по ОП были установлены только для одной из 5 рассмотренных образовательных программ. Также был изучен опыт формулирования результатов обучения для магистерских программ Университета Арктики [1].

Согласно учебному плану ОП «ГМУСЭРСТС» выпускник готовится к пяти видам профессиональной деятельности (ВПД) (табл. 23).

Таблица 23. Виды профессиональной деятельности по ОП

Вид профессиональной деятельности (ВПД)	Статус ВПД в учебном плане образовательной программы	Индекс ВПД	Коды компетенций в соответствии с ФГОС ВО	Кол-во ПК в кластере ВПД
организационно-управленческая	Дополнительный*	ВПД.Д.1	ПК-1,2,3,4	4
административно-технологическая	Дополнительный	ВПД.Д.2	ПК-5,6,7,8,9,10	6
консультационная и информационно-аналитическая	Дополнительный	ВПД.Д.3	ПК-11,12,13	3
проектная	Дополнительный	ВПД.Д.4	ПК-14,15,16,17	4
научно-исследовательская и педагогическая	Основной*	ВПД.О.5	ПК-18,19,20	3

* Примечание: в соответствии с требованиями ФГОС ВО основным (основными) видом (видами) профессиональной деятельности для программы академической магистратуры является научно-исследовательский и (или) педагогический. Обозначение «дополнительный» используется для кодировки неосновных ВПД в учебно-методической документации образовательной программы.

В качестве основного вида профессиональной деятельности разработчиками была выбрана научно-исследовательская и педагогическая деятельность (ВПД.О.5), что определяет тип программы - программа академической магистратуры. В учебном плане предусмотрены 4 модуля: М.1. Методология; М.2. Иностранный язык; М.3. Профессиональный; М.4. Общеэкономический (приложение 1).

Для определения «интенсивности» формирования компетенций по семестрам проведен анализ учебного плана по закреплению компетенций за дисциплинами. Подобный анализ позволяет получить информацию о начале и завершении периодов формирования компетенций или ВПД, «интенсивности» формирования компетенций или ВПД по семестрам.

В результате анализа было выявлено количество случаев закрепления 20 профессиональных компетенций (ПК) в 1 семестре - 34 случая, во 2 семестре - 55, в 3 семестре - 61, в 4 семестре - 56. В сумме за 4 семестра 206 случаев. Каждая компетенция закреплена в среднем 10,3 раза. Так, например, ПК-1 формируется по 5 элементам учебного плана, а ПК-10 по 18 элементам. На рис.8 представлены «пики», отражающие интенсивность формирования видов профессиональной деятельности по семестрам. «Пики» были выявлены на основе количества случаев закрепления профессиональных компетенций по данному ВПД за элементами учебного плана в конкретном семестре.

Рис. 8 - Распределение интенсивности формирования ВПД по семестрам на основе оценки количества случаев закрепления компетенций за дисциплинами

Так, ВПД.Д.1, ВПД.Д.2, ВПД.Д.3 активно формируются в 3 семестре; ВПД.Д.4 - во 2 и 4 семестрах, ВПД.О.5 - в 1, 2 и 4 семестрах. Совмещение данных сведений с видами учебной деятельности по образовательной программе позволяет выявить семестры, к которым можно «привязать» наборы оценочных заданий междисциплинарного типа, ориентированных на те или иные виды деятельности.

Кроме того, данный анализ показал, что все профессиональные компетенции формируются в течение 4 семестров, т.е. это затрудняет задачу проведения окончательного оценивания уровня сформированности какой-либо компетенции до завершения периода обучения по ОП в целом.

В целях выявления самооценки обучающихся по уровню сформированности компетенций была проведена самофотография (анкета представлена в приложении 2), в рамках которой каждому обучающемуся было предложено оценить уровень сформированности каждой компетенции по шкале: высокий (3 балла), базовый (2 балла), минимальный (1 балл), не сформирована (0 баллов). В самофотографии приняли участие 32 из 41 студента (78%). Из них студенты 2 курса составили 10 чел., 1 курса - 22 чел. Далее были выведены средние значения по каждой компетенции по группам и курсам, для их свода были использованы диапазоны уровней сформированности компетенций: высокий - 2,6-3,0; базовый - 1,6-2,5; минимальный - 0,6-1,5; не сформирована - 0-0,5. Профили самофотографий уровня сформированности компетенций по группам 1 и 2 курса представлены на рис. 9, сводная таблица средних данных по группам - в приложении 3.

Рис.9 - Профили самофотографии уровня сформированности компетенций студентов 1-го (две группы) и 2-го (одна группа) курсов обучения.

Анализ профилей по группам и курсам обучения показал, что на первом месте как сформированная на достаточно высоком уровне оказалась компетенция ОК-3 «готовность к саморазвитию, самореализации, использованию творческого потенциала». По остальным компетенциям результаты варьируются. Необходимо обратить внимание на «низкие» значения профиля студентов 2-го курса, т.к. качество итогов промежуточных аттестаций в данной группе достаточно высокое. Конечно, нельзя сбрасывать со счетов самокритичный настрой респондентов, однако, для нас важен другой вывод - чем еще, кроме критического настроя, они руководствуются при самооценке уровня сформированности компетенций? Какими критериями? Судя по результатам самофотографии, обучающиеся не могут оценить своего прогресса за период обучения на данной программе.

Модель оценивания, действующая по образовательной программе «ГМУСЭРСТС», построена на основе метода декомпозиции (табл.24).

Таблица 24. Действующая схема установления взаимосвязей между элементами учебного плана и дескрипторами

Компетенции	Элементы учебного плана
	Д1	Д2	Д3	…	Практика	НИР
ОК-1
З1 (ОК-1)	+
З2 (ОК-1)		+
У1 (ОК-1)	+
У2 (ОК-1)		+
В-1 (ОК-1)					+	+
…
ПК-1
З1 (ПК-1)			+
З3 (ПК-1)			+
У1 (ПК-1)			+
В1 (ПК-1)					+
…

Визуально действующую модель оценивания результатов обучения можно представить следующим образом (рис.10).

Рис.10 - Действующая модель оценивания РО по ОП «ГМУСЭРСТС»

В действующей модели определение оценочных заданий и оценивание результатов обучения по дисциплинам проводится автономно в рамках промежуточной аттестации. Основные результаты обучения по ОП разработчиками образовательной программы не установлены, и потому по отдельным элементам учебного плана не контролируются. Уровень сформированности компетенций оценивается в рамках междисциплинарных элементов образовательной программы, таких как курсовые проекты, практики, НИР и ВКР. Таким образом, действующая модель является традиционной.

Следующим шагом рассмотрим, какие решения предлагает каждый из подходов к определению и оцениванию результатов обучения по образовательной программе.

 

.2 Сравнительный анализ предлагаемых вариантов моделей оценивания результатов обучения по образовательной программе и выбор модели для магистерской программы «ГМУСЭРСТС»

Модель оценивания РО по ОП будет разрабатываться для магистерской программы «ГМУСЭРСТС», имеющей узкую направленность и срок освоения 2 года.

Напомним общие требования к модели: актуальность (учет особенностей учебного плана и срока освоения образовательной программы), результативность (переориентация содержания и логики процесса оценивания на достижение планируемых результатов обучения), достоверность (документирование процессов оценивания), экономичность (учет действующей системы учебно-методической документации ОП).

Краткие характеристики моделей представлены по следующим показателям: количество процессов оценивания; количество циклов оценивания; участие всех ППС в оценивании РО по ОП; охват РО по ОП на каждый цикл; форма для сбора данных по результатам оценивания; хранение результатов оценивания.

Таблица 25. Сводная таблица характеристик предлагаемых моделей оценивания результатов обучения по образовательной программе

Варианты моделей оценивания РО по ОП	Краткие характеристики моделей
Модель №1 (подход ТПУ)	Количество процессов оценивания: 2 Количество циклов оценивания: 1 полный цикл - 1 раз в 2 года; короткие циклы возможны по семестрам и курсам Участие всех ППС в оценивании РО по ОП: нет Охват РО по ОП на каждый цикл: по плану оценивания Форма для сбора данных по результатам оценивания: ? Порядок сбора данных по результатам оценивания: после промежуточной аттестации Хранение результатов оценивания: ?
Модель №2 (подход UTEP)	Количество процессов оценивания: по количеству дисциплин Количество циклов оценивания: 4 (по семестрам) Участие всех ППС в оценивании РО по ОП: да Охват РО по ОП на каждый цикл: по плану оценивания Форма для сбора данных по результатам оценивания: ? Порядок сбора данных: 1 раз (по окончании семестровой промежуточной аттестации) Хранение результатов оценивания: портфолио
Модель №3 (подход HEQCO)	Количество процессов оценивания: по количеству РО по ОП Количество циклов оценивания: каждый РО по ОП оценивается хотя бы 1 раз за весь период обучения Охват РО по ОП на каждый цикл: по плану оценивания Форма для сбора данных по результатам оценивания: ? Участие всех ППС в оценивании РО по ОП: нет Порядок сбора данных: по окончании оценивания конкретного РО по ОП Хранение результатов оценивания: электронное портфолио и/или база данных
Модель №4 (подход All-in-One)	Количество процессов оценивания: 1 Количество циклов оценивания: 4 (по количеству семестров) Охват РО по ОП на каждый цикл: 100% Участие всех ППС в оценивании РО по ОП: да Форма для сбора данных по результатам оценивания: 1 (оценочные рубрики) Порядок сбора данных: 1 раз по окончании семестровой промежуточной аттестации Хранение результатов оценивания: портфолио и/или база данных

По данным табл. 25 видно, что самые существенные различия возникают по 4 показателям: количество циклов оценивания; участие всех ППС в оценивании РО по ОП; охват РО по ОП на каждый цикл; форма для сбора данных по результатам оценивания.

Сводные результаты оценки моделей представлены в табл.26.

Таблица 26. Результаты оценки моделей в соответствии с установленными критериями

№	Критерии	Оценки
		ТПУ	UTEP	HEQCO	All-in-One
	Наличие унифицированной формы для сбора данных результатов оценивания.	1	2	2	4
	Возможность проведения нескольких циклов оценивания в ходе освоения ОП одновременно по всем РО по ОП.	2	2	2	4
	Возможность «встраивания» процесса оценивания РО по ОП в процесс оценивания по всем элементам учебного плана.	1	2	2	4
		4	6	6	12

Примечание: 1 - плохо, 2 - недостаточно хорошо, 3 - хорошо, 4 - очень хорошо.

Сравнительный анализ предлагаемых моделей оценивания результатов обучения по образовательной программе для магистерской программы «ГМУСЭРСТС» показал, что установленным критериям более всего соответствует модель, разработанная с применением подхода All-in-One, которая набрала по итогам оценивания 12 баллов из 12 возможных.

Действительно, данная модель отвечает всем требованиям к современным моделям оценивания результатов обучения по образовательной программе, таким как: возможность проведения цикла оценивания каждый семестр; унифицированная форма для сбора данных оценивания по всем элементам учебного плана; включенность всех элементов учебного плана в процесс формирования и оценивания результатов обучения по образовательной программе; высокая вовлеченность преподавателей, задействованных в реализации образовательной программы, при сохранении их свободы в части определения оценочных заданий и критериев оценивания; широкие возможности для обратной связи со студентами в ходе реализации образовательной программы. Но вместе с тем, высок и риск неудачи, если не удастся убедить и вовлечь всех участников в процесс оценивания результатов обучения по образовательной программе.

 

.3 Проект модели оценивания результатов обучения по образовательной программе «ГМУСЭРСТС», разработанный с применением адаптированного подхода All-in-One

С учетом результатов предпроектного исследования определим алгоритм разработки модели оценивания результатов обучения по образовательной программе на основе подхода All-in-One. Подход требует адаптации некоторых элементов и разработки дополнительных инструментов для обеспечения соответствия ФГОС ВО и учета особенностей действующей модели оценивания по образовательной программе.

Алгоритм разработки модели оценивания результатов обучения по образовательной программе на основе подхода All-in-One включает:

)        Формулирование результатов обучения по образовательной программе (перечень и кодификация).

)        Установление взаимосвязи результатов обучения по образовательной программе с набором компетенций ФГОС ВО (матрица 1 в формате MS EXCEL).

)        Установление взаимосвязи результатов обучения по образовательной программе с набором дисциплин учебного плана (матрица 2 в формате MS EXCEL).

)        Разработка карты оценочных заданий по образовательной программе.

)        Разработка оценочных рубрик по каждой дисциплине на основе матриц 1 и 2 (оценочные рубрики в формате MS EXCEL).

)        Описание схемы и инструментов сбора и анализа данных результатов оценивания.

)        Описание схемы взаимодействия по совершенствованию образовательной программы и процесса оценивания.

Схематическое описание алгоритма представлено на рис.11.

Рис.11. - Схема алгоритма разработки модели оценивания результатов обучения по образовательной программе

Этап 1. Формулирование результатов обучения по образовательной программе (перечень и кодификация)

При формулировании результатов обучения по образовательной программе использованы рекомендации ряда авторов и практических руководств университетов, описания программ по государственному управлению разных университетов и программы по местному и региональному развитию Университета Арктики. Планируемые результаты обучения по образовательной программе «ГМУСЭРСТС»:

.        Применять критическое мышление и соответствующие технологии для анализа ситуации, описания и решения социально-экономической проблемы (РО1).

.        Готовить планы, проекты и стратегии по управлению сельскими территориями Севера на основе инновационного и предпринимательского подходов (РО2).

.        Проводить оценку потребностей местных сообществ на основе аналитических исследований в целях разработки управленческих решений по развитию территорий (РО3).

.        Представить результаты своего исследования в виде аналитического отчёта (статьи) с использованием технологии публичной защиты (РО4).

.        Готовить официальные письма и документы в соответствующем стиле (РО5).

.        Применять технологии лидерства и работы в команде в управленческой практике (РО6).

.        Выстраивать эффективные коммуникации в коллективе и в работе с населением на принципах толерантности и деловой этики (РО7).

Этап 2. Установление взаимосвязи результатов обучения по образовательной программе с набором компетенций ФГОС ВО

Установление взаимосвязей компетенций ФГОС ВО и планируемых результатов обучения по программе необходимо для представления доказательств о том, что все компетенции, установленные ФГОС, охвачены ключевыми результатами обучения по образовательной программе. При выполнении этой операции можно еще раз проверить корректность формулировок результатов обучения, проанализировать корректность установленных взаимосвязей между компетенциями, видами профессиональной деятельности и результатами обучения. Матрицу 1 (табл. 27) рекомендуется разработать в формате MS EXCEL для удобства проведения группировок данных в соответствии с потребностями.

Данная матрица может быть полезна преподавателям при разработке оценочных рубрик и определении содержания оценочных заданий по дисциплине. В уже применяемых при проектировании образовательной программы и учебного плана инструментах предусмотрено установление взаимосвязей компетенций и дисциплин. Создание данной матрицы необходимо рассматривать как вспомогательный инструмент, создающий «надстройку» нового уровня, которая позволит уже существующие комбинации компетенций переместить в контекст особенностей и направленности конкретной образовательной программы, и заставит все элементы учебного плана «заработать» не только на формирование компетенций, но и на их применение в определенном контексте.

Таблица 27. Матрица соответствия компетенций ФГОС ВО и результатов обучения по образовательной программе ГМУСЭРСТС

Группы компетенций ОК, ОПК и по ВПД	Компетенции	РО1	РО2	РО3	РО4	РО5	РО6	РО7
Общекультурные компетенции (ОК)	ОК-1	+	+	+	+
	ОК-2	+		+			+	+
	ОК-3	+			+		+	+
Общепрофессиональные компетенции (ОПК)	ОПК-1	+	+	+	+		+
	ОПК-2	+	+	+	+	+	+
	ОПК-3						+	+
Организационно-управленческая деятельность	ПК-1						+
	ПК-2						+	+
	ПК-3	+	+				+
	ПК-4	+	+
Административно-технологическая деятельность	ПК-5	+	+	+		+
	ПК-6	+	+			+
	ПК-7		+	+		+
	ПК-8	+				+
	ПК-9		+			+
	ПК-10	+	+	+		+
Консультационная и информационно-аналитическая деятельность	ПК-11	+	+	+	+
	ПК-12	+	+	+	+			+
	ПК-13	+	+	+	+	+	+	+
Проектная деятельность	ПК-14	+	+	+	+
	ПК-15	+	+	+	+		+
	ПК-16	+	+	+	+		+
	ПК-17	+	+	+	+
Научно-исследовательская и педагогическая деятельность	ПК-18	+	+	+	+
	ПК-19	+	+	+	+
	ПК-20						+	+

Этап 3. Установление взаимосвязи результатов обучения по образовательной программе с набором дисциплин учебного плана (матрица 2 в формате MS EXCEL).

Следующим важным шагом является установление взаимосвязи результатов обучения по образовательной программе с набором дисциплин учебного плана (табл.28).

Данная матрица дополнена столбцами «Форма контроля» и «Семестр», что позволяет также проводить необходимую группировку данных с помощью инструментов EXCEL по семестрам и формам контроля.

Таблица 28. Матрица взаимосвязей элементов учебного плана и результатов обучения по образовательной программе

Наименование дисциплин (модулей)	Форма контроля	Семестр	РО1	РО2	РО3	РО4	РО5	РО6	РО7
Модуль 1. Методология
Философия и методология науки	Экзамен	1	+			+
Теория и механизмы современного гос.управления	Экзамен	1	+	+	+	+	+
Педагогика и психология высшей школы	Зачет	1				+		+	+
Модуль 2. Иностранный язык
Иностранный язык в профессиональной сфере	Зачет	1		+		+	+		+
Иностранный язык в научной сфере	Экзамен	2		+		+	+		+
Модуль 4. Профессиональный
Муниципальное управление и местное самоуправление	Экзамен	1	+	+	+		+
Правовое обеспечение ГМУ	Зачет	2	+	+	+		+
Кадровая политика и кадровый аудит в организации	Зачет с оценкой	2					+	+	+
Лидерство и команда в организации	Зачет	3						+	+
Современные технологии управления СЭР	Экзамен	3	+	+	+		+
Технологии разработки и принятия УР	Экзамен	3	+	+	+		+
Экономика общественного сектора	Экзамен	2	+	+	+
Информационно-аналитические технологии ГМУ	Зачет с оценкой	2	+	+	+		+
Методология прикладных исследований в сфере публичного управления	Экзамен	2	+	+	+	+
Профессиональная этика	Зачет	2	+	+	+	+	+	+	+
Управление в социальной сфере	Экзамен	4	+	+	+
Модуль 5. Общеэкономический
Микро и макроэкономика	Зачет	1	+	+	+
Экономика в менеджменте	Зачет	4	+	+	+
Набор дисциплин по выбору
Электив 1 модуля Профессиональный
Управление развитием городов	Зачет	2	+	+	+				+
Управление местными ресурсами	Зачет	2	+	+	+				+
Социальное партнерство	Зачет	2	+	+	+				+
Электив 2 модуля Профессиональный
Предпринимательство в сельской местности	Зачет	4	+	+	+
Наименование дисциплин (модулей)	Форма контроля	Семестр	РО1	РО2	РО3	РО4	РО5	РО6	РО7
Маркетинг сельских территорий Севера	Зачет	4	+	+	+
Управление закупками	Зачет	4	+				+		+
Электив 3 модуля Профессиональный
Управление проектами	Зачет	3	+	+	+	+	+	+	+
Управление изменениями	Зачет	3	+	+	+	+	+	+	+
Управленческий консалтинг	Зачет	3	+	+	+	+	+	+	+
Электив 4 модуля Профессиональный
Экономическая безопасность на северных территориях России	Зачет	3	+	+	+	+
Качество жизни на Севере	Зачет	3	+	+	+	+
Защита прав коренных малочисленных народов Севера	Зачет	3	+	+	+	+	+		+
Электив модуля 5 Общеэкономический
Управление государственной и муниципальной собственностью	3	+	+	+
Государственные и муниципальные финансы	Зачет	3	+	+	+
Управление человеческими ресурсами	Зачет	3	+	+	+		+	+	+
Практики, в том числе НИР
Учебная практика	Зачет с оценкой	1	+		+		+	+	+
Научно-исследовательская работа (НИС)	Зачет с оценкой	1	+	+	+	+	+	+	+
Научно-исследовательская работа (НИС)	Зачет с оценкой	2	+	+	+	+	+	+	+
Педагогическая практика	Зачет с оценкой	2					+	+	+
Технологическая практика	Зачет с оценкой	3	+	+	+	+	+	+	+
Преддипломная практика	Зачет с оценкой	4	+	+	+	+	+	+	+
Государственная итоговая аттестация
Выпускная квалификационная работа	Экзамен	4	+	+	+	+	+	+	+

Полученная информация может быть полезна при определении количества и содержания оценочных заданий по семестрам с учетом изучаемых в этот период дисциплин, а также при принятии решения о разработке полидисциплинарного оценочного задания, в которое каждая из дисциплин внесет свой вклад. При этом, с одной стороны, количество заданий по отдельным дисциплинам будет сокращаться, с другой стороны, за счет взаимного группового контроля повысится качество оценочных заданий. Образец такой выгрузки из матрицы 2 представлен в табл.29.

Таблица 29. Образец выгрузки по 3-му семестру из матрицы 2

Наименование дисциплин (модулей)	Форма контроля	Семестр	РО1	РО2	РО3	РО4	РО5	РО6	РО7
Лидерство и команда в организации	Зачет	3						+	+
Современные технологии управления СЭР	Экзамен	3	+	+	+		+
Технологии разработки и принятия УР	Экзамен	3	+	+	+		+
Управление проектами	Зачет	3	+	+	+	+	+	+	+
Управление изменениями	Зачет	3	+	+	+	+	+	+	+
Управленческий консалтинг	Зачет	3	+	+	+	+	+	+	+
Экономическая безопасность на северных территориях России	Зачет	3	+	+	+	+
Качество жизни на Севере	Зачет	3	+	+	+	+
Защита прав коренных малочисленных народов Севера	Зачет	3	+	+	+	+	+		+
Управление государственной и муниципальной собственностью	Зачет	3	+	+	+
Государственные и муниципальные финансы	Зачет	3	+	+	+
Управление человеческими ресурсами	Зачет	3	+	+	+		+	+	+
Технологическая практика	Зачет с оценкой	3	+	+	+	+	+	+	+

При необходимости матрицу можно дополнять и другими столбцами с важными для принятия решений данными, например, с информацией о том, является дисциплина обязательной или элективной.

Этап 4. Разработка карты оценочных заданий по образовательной программе

В карте оценочных заданий по образовательной программе отражаются сведения о том, какие оценочные задания предусмотрены по элементам учебного плана или по периодам обучения (в случае, если имеются полидисциплинарные задания). Разработка карты осуществляется на основе матрицы 2 и также производится формате EXCEL (табл.30).

Таблица 30. Образец выгрузки из карты оценочных заданий по 1-му семестру

Наименование дисциплин (модулей)	Форма контроля	Семестр	РО1	РО2	РО3	РО4	РО5	РО6	РО7	Оценочное задание
Философия и методология науки	Экзамен	1	+			+				Подготовка и обсуждение эссе
Теория и механизмы современного гос.управления	Экзамен	1	+	+	+	+	+			Подготовка и обсуждение интеллектуальной карты
Педагогика и психология высшей школы	Зачет	1				+		+	+	Подготовка сценария и проведение деловой игры по ГМУ для бакалавров
Иностранный язык в профессиональной сфере	Зачет	1		+		+	+		+	Подготовка доклада на основе обзора статей по вопросам ГМУ на иностранном языке
Муниципальное управление и местное самоуправление	Экзамен	1	+	+	+		+			Подготовка проекта официального письма с предложениями по развитию местного самоуправления
Микро и макроэкономика	Зачет	1	+	+	+					Подготовка и защита реферата
Учебная практика	Зачет с оценкой	1	+		+		+	+	+	Подготовка самоанализа по итогам учебной практики
Научно-исследовательская работа (НИС)	Зачет с оценкой	1	+	+	+	+	+	+	+	Подготовка и защита плана ВКР

Проведение анализа наборов оценочных заданий по семестрам позволит определить загруженность студентов и обсудить возможность разработки полидисциплинарных заданий или учета результатов выполнения заданий по одной дисциплине в рамках выполнения оценочного задания по другой дисциплине. Карта удобна для преподавателя при разработке оценочного задания, т.к. отображает результаты обучения по образовательной программе, которые необходимо учесть и формы контроля. Также преподаватель может увидеть в сводной карте задания по другим дисциплинам - это ценная информация для развития сотрудничества и учета загрузки студентов.

В карте оценочных заданий по образовательной программе можно также отмечать те задания, по которым предусмотрено участие в оценочном мероприятии внешних экспертов (например, преподавателей смежных дисциплин или с других факультетов, а также представителей профессионального сообщества или экспертов). Таким образом, карта становится источником информации о том, кто является партнером образовательной программы, в том числе и на постоянной основе. Участие внешних экспертов позволит повысить независимость оценки, мотивацию и ответственность студентов и преподавателей. Кроме того, это хорошая возможность получить обратную связь по поводу содержания оценочного задания и качества оценочной рубрики.

Этап 5. Разработка оценочных рубрик по каждой дисциплине на основе матриц 1 и 2 (оценочные рубрики в формате MS EXCEL).

Для того, чтобы модель оценивания заработала в полную силу, необходим охват каждого элемента учебного плана. Так, оценочные рубрики должны быть разработаны для каждой дисциплины и практики. Образец оценочной рубрики представлен в табл.31.

Таблица 31. Образец оценочной рубрики

Оценочное задание	Отлично	Очень хорошо	Хорошо	Удовле-твори-тельно	Неудовле-твори-тельно	Результаты обучения по дисциплине	Результаты обучения по ОП
	А,В	С	D	E	F,FX
	Баллы: 5	Баллы: 4	Баллы: 3	Баллы: 2	Баллы: 1
…	…	…	…	…	…	РО.Д1	РО1
						РО.Д2	РО4
						РО.Д3	РО6

Как отмечали авторы подхода All-in-One, разработка оценочных рубрик - трудоемкий и сложный процесс. Для того, чтобы минимизировать затраты времени и ресурсов на этапе разработки и внедрения модели, предлагаем установить для каждого элемента учебного плана по одному оценочному заданию и разработать, соответственно, по одной оценочной рубрике. Возможно, некоторые результаты обучения по дисциплине могут оказаться «неохваченными» данным комплексным оценочным заданием. Для этого можно использовать другие оценочные задания, например, тест или устный экзамен по дисциплине. Но обязательным требованием к этому контрольному оценочному заданию, результаты оценивания по которому будут учитываться на уровне образовательной программы в целом, является его ориентированность на результаты обучения по программе. Со временем преподаватели, освоив методику, смогут расширять и дополнять свои оценочные рубрики и другими оценочными заданиями.

Этап 6. Описание этапов и инструментов сбора и анализа данных результатов оценивания.

Схема сбора и анализа данных результатов оценивания включает несколько важных шагов, представленных в табл.32.

Таблица 32. Этапы сбора данных результатов оценивания по образовательной программе

Этап	Инструмент	Сроки	Ответственный
1. Оценивание	Оценочная рубрика	Во время процедуры оценивания	Преподаватель
2. Формирование сводного листа результатов оценивания по дисциплине	Сводный лист результатов выполнения оценочного задания по группе (СЛ-1)	По окончании процедуры оценивания	Преподаватель
3. Формирование индивидуальных листов по каждому студенту за семестр	Индивидуальный лист результатов выполнения оценочных заданий за семестр (ИЛ)	По окончании промежуточной аттестации	Руководитель или менеджер программы
4. Формирование сводного листа по каждому результату обучения за семестр по группам студентов	Сводный лист результатов оценивания по РОn за семестр по группе студентов (СЛ-2)	По окончании промежуточной аттестации	Руководитель или менеджер программы
5. Формирование сводного листа распределения студентов по уровням освоения РО за семестр	Сводный лист распределения студентов по уровням освоения РО за семестр (СЛ-3)	По окончании промежуточной аттестации	Руководитель или менеджер программы

На этапе внедрения модели оценивания необходимо отработать процедуру сбора данных. Большое количество форм не должно вызывать беспокойства, поскольку процесс сбора и обработки данных можно автоматизировать с помощью программы MS EXCEL. Тем не менее, заполнение формы СЛ-1 (табл.33) желательно проводить в письменном виде, т.к. эта форма должна быть подписана преподавателем.

Таблица 33. Образец сводного листа результатов оценивания по дисциплине (СЛ-1)

ФИО студента	Отлично	Очень хорошо	Хорошо	Удовлетворительно	Результаты обучения по дисциплине	Результаты обучения по ОП
	А,В	С	D	E	F,FX
	Баллы: 5	Баллы: 4	Баллы: 3	Баллы: 2	Баллы: 1
Студент1	Х						РО1
х		Х					РО2
Студент2		Х					РО1
х			Х				РО2

На основании формы СЛ-1 данные вводятся руководителем или менеджером программы в заранее подготовленные формы таблиц (с необходимыми формулами, загруженными наборами дисциплин по учебному плану и данными о студентах) в программе MS EXCEL. На основании этих данных могут формироваться индивидуальный лист (ИЛ) по каждому студенту и сводные листы (СЛ-2 и СЛ-3).

В перспективе на основе предложенного алгоритма возможна автоматизация сбора и обработки данных, которая позволит проводить группировку данных в необходимом разрезе, формировать сводные листы со всеми реквизитами и распечатывать их в виде готовых документов.

В рамках данной проектной работы в центре нашего внимания находится определение того, какую полезную информацию руководитель и разработчики образовательной программы могут получить и использовать для дальнейшего совершенствования образовательной программы.

Рассмотрим, к примеру, «полезный функционал» индивидуального листа (табл.34), в котором представлены достижения студента за первый семестр. При проведении анализа этих сведений мы можем обратить внимание на те результаты обучения, результаты оценивания которых оказались самыми низкими (как в данном примере РО5 - 2,8 б.). В этом случае полезными могут оказаться вопросы: по каким элементам учебного плана это произошло, каковы были оценочное задание и критерии его оценивания и т.п.

Таблица 34. Образец индивидуального листа результатов выполнения оценочных заданий за семестр (ИЛ)

Индивидуальный лист результатов выполнения оценочных заданий за семестр
Название ОП	ГМУСЭРСТС
Группа	ГМУ-15
Курс	1
ФИО студента	Иванов Иван
Дисциплины	Форма контроля	Семестр	РО1	РО2	РО3	РО4	РО5	РО6	РО7
Философия и методология науки	Экзамен	1	5			4
Теория и механизмы современного гос. управления	Экзамен	1	4	4	3	4	3
Педагогика и психология высшей школы	Зачет	1				2		3	3
Иностранный язык в профессиональной сфере	Зачет	1		3		3	3		3
Муниципальное управление и местное самоуправление	Экзамен	1	4	4	4		3
Микро и макроэкономика	Зачет	1	5	4	3
Учебная практика	Зачет с оценкой	1	4		3		2	3	4
Научно-исследовательская работа (НИС)	Зачет с оценкой	1	4	4	4	4	3	3	3
Сумма баллов по РО за семестр:			26	19	17	17	14	9	13
Средний балл по РО за семестр (сумма баллов по РО за семестр/ количество измерений):			4,3	3,8	3,4	3,4	2,8	3,0	3,3
Количество измерений РО за семестр:			6	5	5	5	5	3	4
Всего баллов по 7 РО ОП:	24,0
Средний балл по семестру:	3,4

Первый проблемный вопрос может возникнуть по поводу оценивания каждого РО. Например, у данного студента в первом семестре по РО1 среднее значение уже составляет 4,3 балла. Как быть, если в следующем семестре он наберет по данному РО 3,3 балла? Что это означает? Для снятия подобных вопросов команде образовательной программы необходимо обратиться к карте оценочных заданий и оценочным рубрикам. Анализ и обсуждение этих документов может привести к принятию решения о выработке единой стратегии оценивания или ее изменению в части выбора методов обучения, усложнения наборов оценочных заданий по мере освоения ОП и совершенствования критериев их оценивания.

Два следующих сводных листа относятся к анализу результатов оценивания по группе в целом. Сводный лист по каждому результату обучения (форма СЛ-2 (табл.35)) позволяет проанализировать, каково распределение студентов по уровням достижений.

Таблица 35. Образец сводного листа по РОn за семестр по группе студентов (СЛ-2)

Сводный лист по РО1 по группе студентов
Название ОП	ГМУСЭРСТС
Группа	ГМУ-15
Курс	1
Результат обучения	РО1
ФИО студентов	Семестр	Отлично	Очень хорошо	Хорошо	Удовл.	Неудовл.
Студент 1	1	1
Студент 2	1		1
Студент 3	1				1
Студент 4	1				1
…	1
Студент N	1	1
Количество студентов	22	2	2	3	15
Доля студентов, %		9	9	14	68	0

Так, в представленном примере (табл.35) мы можем наблюдать, что 68% студентов данной группы по итогам первого семестра по РО1 попали в группу «удовлетворительно». В этом случае необходимо выяснить, за какими дисциплинами в первом семестре был закреплен данный результат обучения, каковы были оценочные задания и критерии их оценивания. Совместный анализ и обсуждение оценочных рубрик позволит выработать общий подход к решению возникшей проблемы.

Сводный лист распределения студентов по уровня освоения РО за семестр (форма СЛ-3 представлена в табл.36) позволяет оценить ситуацию по образовательной программе в целом. Для ее формирования используются данные последней строки «Доля студентов, %» из каждой формы СЛ-2.

Таблица 36. Образец заполнения сводного листа распределения студентов по уровням освоения РО за семестр (СЛ-3)

Сводный лист распределения студентов по уровням освоения РО за семестр, в %
Название ОП	ГМУСЭРСТС
Группа	ГМУ-15	22 студента
Курс	1
Результат обучения	Семестр	Отлично	Очень хорошо	Хорошо	Удовл.	Неудовл.
РО1	1	9	9	14	68
РО2	1	10	20	30	40
РО3	1	5	5	5	85
РО4	1	25	30	30	15
РО5	1	10	15	20	45	10
РО6	1	3	19	28	30	20
РО7	1	15	25	35	25
Сумма по РО:	-	77	123	162	308	30
Средний показатель (сумма по РО/ количество РО):		11	18	23	44	4

В данном примере (табл.36) вопросы могут возникнуть по поводу того, что 44% студентов по итогам первого семестра показали освоение результатов обучения по образовательной программе на уровне «удовлетворительно». Данная информация также может быть использована для анализа и обсуждения оценочного инструментария коллективом преподавателей, ведущих свои дисциплины в первом семестре. Как отмечают разработчики подхода All-in-One, для преподавателей становится важным вопрос о том, какие результаты обучения они формируют, как их оценивают, и, тем самым, какую базу создают для освоения дисциплин следующего уровня.

Таким образом, сбор данных результатов оценивания по образовательной программе предлагается проводить 2 раза в год после каждой промежуточной аттестации. Анализ и обсуждение результатов оценивания, а также корректировку наборов оценочных заданий и оценочных рубрик рекомендуется проводить в течение следующего семестра. Это важно для подготовки обновленного оценочного инструментария к следующему семестру для данного набора дисциплин.

Свод данных по результатам оценивания по каждому студенту за всю образовательную программу можно провести по окончании теоретического обучения в разрезе всех запланированных результатов обучения. Здесь могут быть два варианта свода данных. Первый вариант: результаты оценивания по каждому РО суммируются за все семестры обучения и делятся на количество семестров (пример представлен в табл.37).

Таблица 37. Пример определения итогового результата оценивания по РО по ОП

РО	1 семестр	2 семестр	3 семестр	4 семестр	Среднее значение по ОП
РО1	4	3	4	5	4
РОn	…	…	…	…	…

На этапе внедрения модели оценивания, вероятно, не удастся сразу провести ее интеграцию с действующей системой выставления оценок, потребуется время для их взаимной настройки. Но со временем данная проблема может быть разрешена, поскольку между результатами оценивания по оценочным заданиям и итоговыми оценками по отдельным дисциплинам начнут устанавливаться взаимосвязи. Можно предполагать и другие варианты развития событий. Возможно, в учебный план образовательной программы будут введены 1 или 2 сквозных курса, в реализации которых будут участвовать все преподаватели образовательной программы. Именно за данным курсом будут закреплены все полидисциплинарные оценочные задания и экзамены. Второй вариант может строиться на учете степени возрастания сложности оценочных заданий. В рамках данного подхода, на наш взгляд, необходимо при разработке оценочных рубрик вводить уровни сложности оценочных заданий. Например, на основе трехступенчатой модели оценивания уровня сформированности профессиональных компетенций [12, с.170]. Это сложная методическая задача, поиск ее решений проводится в области многостадийных адаптивных измерений, а также разработки компетентностных тестов (Звонников, Малыгин, Челышкова, 2012) и применения систем прогрессивного тестирования.

Этап 7. Описание схемы взаимодействия по совершенствованию образовательной программы и процесса оценивания.

По итогам анализа и обсуждения результатов оценивания необходимо принятие решений по поводу совершенствования оценочных заданий, оценочных рубрик, процедур оценивания и образовательной программы в целом. Для обеспечения эффективного функционирования модели необходимо четко определить ее участников и зоны их ответственности. В состав участников оценочного процесса входят студенты, преподаватели, руководитель и менеджер образовательной программы, работодатели-партнеры программы и приглашенные эксперты.

Таблица 38. Обязанности участников процесса оценивания по ОП

Участники	Описание обязанностей
Руководитель ОП	Определяет результаты обучения по ОП (с участием всех заинтересованных сторон), разрабатывает модель оценивания, убеждает и обучает преподавателей, организует и контролирует оценочный процесс (в т.ч. с привлечением внешних экспертов), анализирует индивидуальные и сводные результаты оценивания, предпринимает корректирующие действия.
Преподаватели	Участвуют в определении результатов обучения по ОП, разработке матриц 1 и 2, карты оценочных заданий по ОП, оценочных заданий и оценочных рубрик. Оценивают выполнение оценочных заданий по дисциплине (в т.ч. при необходимости с участием внешних экспертов), заполняют СЛ-1 по группе студентов. Участвуют в анализе и обсуждении результатов оценивания. При необходимости корректируют оценочные задания и оценочные рубрики.
Менеджер ОП (методист кафедры)	Обеспечивает коммуникации между участниками процесса оценивания, осуществляет своевременный сбор оценочных материалов и их ввод в электронную оболочку, формирование индивидуальных (ИЛ) и сводных листов (СЛ-2, СЛ-3). Контролирует выполнение корректирующих действий. Организует своевременную подготовку оценочного инструментария к началу нового цикла оценивания.
Студенты	Участвуют в оценочных мероприятиях, выполняют оценочные задания. В рамках обратной связи участвуют в совершенствовании содержания оценочных заданий и оценочных рубрик. Могут участвовать в разработке и апробации оценочных заданий в рамках педагогической практики.
Работодатели	Участвуют в определении результатов обучения по ОП, в экспертизе оценочных заданий и оценочных рубрик. Участвуют в качестве приглашенных экспертов в оценочных процедурах. В рамках обратной связи участвуют в совершенствовании содержания оценочных заданий и оценочных рубрик.
Эксперты

При определении схемы взаимодействия всех участников процесса оценивания результатов обучения по образовательной программы важной задачей является определение их обязанностей (табл.38) и выгод.

Как правило, в целях убеждения участников любого инновационного процесса в необходимости проведения изменений рекомендуется определение возможных выгод.

Для руководителя и менеджера образовательной программы такими выгодами могут стать следующие позиции:

-       повышение качества обучения студентов;

-       модель оценивания становится «прозрачной» и управляемой;

-       вовлечение всех преподавателей ОП в процесс формирования и оценивания РО по ОП;

-       возможность интеграции достижения РО с системой выставления оценок;

-       повышение качества учебно-методической документации по ОП;

-       подготовка аналитических материалов к процедурам внешней экспертизы или аккредитации.

Для преподавателей:

-       сохранение свободы в части выбора методов обучения и оценивания;

-       расширение фондов оценочных заданий по дисциплине;

-       возможность получения обратной связи по оценочным заданиям и оценочным рубрикам;

-       возможность обоснования своих решений по достижениям каждого студента на основе критериев оценочных рубрик.

Для студентов:

-       знание планируемых результатов обучения и критериев их оценивания;

-       возможность планировать свое обучение, ориентируясь на РО по ОП;

-       повышение ответственности и мотивации;

-       участие в совершенствовании процедур оценивания и ОП.

Работодатели и приглашенные эксперты:

-       возможность участвовать в определении результатов обучения по ОП;

-       участие в повышении качества процесса оценивания, что способствует формированию доверительного отношения к ОП;

-       возможность подбора новых сотрудников;

-       доступ к опыту проведения оценочных процедур.

Разработанную модель оценивания можно определить, как «переходную» модель между моделями б) («основанной на конструктивном выравнивании») и в) («включающей несколько циклов оценивания») (рис.12).

Рис.12 - Модель оценивания результатов обучения по образовательной программе, разработанная с применением адаптированного подхода All-in-One

Совершенствование образовательной программы и процесса оценивания должны идти непрерывно. Как отмечают авторы многочисленных практических руководств, каждый цикл оценивания должен завершаться анализом и обсуждением результатов оценивания, а также принятием решений по поводу совершенствования как самой образовательной программы, так и отдельных ее элементов, включая оценочные процессы. Учитывая, что в рамках данной модели сбор и анализ данных планируется проводить каждый семестр, то и обсуждение результатов и принятие решений должны идти в том же ритме. Короткий цикл оценивания, на наш взгляд, обусловлен и сроком освоения магистерской программы, который составляет всего 2 года.

Завершая описание разработанной модели оценивания результатов обучения по образовательной программе на основе подхода All-in-One, необходимо отметить, что она переориентировала действующую модель оценивания на достижение ключевых результатов обучения по ОП и создала основу для установления и постепенного развития взаимосвязи формирующего и итогового оценивания.

Таким образом, разработанная модель оценивания «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера», на наш взгляд, позволяет сделать процесс оценивания прозрачным, объективным и управляемым, удовлетворяет информационные потребности всех участников процесса оценивания, создает информационную базу для анализа и обсуждения результатов оценивания, а также для совершенствования образовательной программы.

4. ВЫВОДЫ И ОБСУЖДЕНИЯ

Прежде чем сформулировать итоговые выводы, напомним что целью работы является выбор метода разработки модели оценивания результатов обучения по образовательной программе на примере магистерской программы «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее - «ГМУСЭРСТС»).

Для достижения цели было поставлено 5 задач. В соответствии с первой задачей, в главе «Обзор литературы» представлены материалы о современных подходах к определению и оцениванию результатов обучения по образовательной программе. Согласно второй и третьей задачам, в главе «Методология работы» рассмотрены описания всех подходов к определению и оцениванию результатов обучения по образовательной программе, допущенных на основании их соответствия выявленному типовому алгоритму оценивания РО по ОП, и моделей оценивания РО по ОП, которые могут быть получены в результате применения выбранных подходов. Также в данной главе были определены критерии выбора модели оценивания результатов обучения по образовательной программе. В соответствии с четвертой и пятой задачами, в главе «Результаты» представлены результаты сравнительного анализа и выбора модели оценивания РО по ОП для магистерской программы «ГМУСЭРСТС», а также результаты проектирования с определением возможностей и ограничений разработанной модели.

По итогам обзора литературы был получен ряд выводов, основные из которых попытаемся кратко сформулировать для представления общей картины развития подходов к оцениванию результатов обучения по образовательной программе. В первую очередь отметим, что в основе зарубежных и отечественных подходов к проектированию образовательных программ лежит идея конструктивного выравнивания. В литературе активно обсуждаются проблемы повышения качества оценивания, оптимизации количества процессов оценивания и их логического встраивания в учебный процесс, взаимного использования результатов формирующего и итогового оценивания, отражения в оценках достижений обучающихся в освоении компетенций. В целом, можно сделать вывод по публикациям последних лет, что центр дискуссий постепенно смещается от вопроса «что и как оценивать?» к вопросам «как оптимизировать процесс оценивания?».

Также обзор литературы и практических руководств позволил выявить типовой алгоритм оценивания результатов обучения по образовательной программе, имеющий цикловой характер, который был нами использован в качестве ориентира при подборе альтернативных методик разработки модели оценивания результатов обучения по образовательной программе. Подбор подходов к разработке моделей оценивания результатов обучения по образовательной программе на основе данного критерия позволил выявить 4 методики: технологию проектирования инженерных образовательных программ на основе двухконтурной модели АВЕТ Национального исследовательского Томского политехнического университета (Чучалин, Муратова, Епихин, 2012), 7-ми шаговую методику оценивания результатов обучения по образовательной программе Университета Техаса в Эль-Пасо (Program Learning…, 2009), 4-х стадийную методику оценивания результатов обучения по образовательной программе Совета по качеству высшего образования Онтарио (Learning Outcomes…, 2015), подход All-in-One (Richman, Ariovich, 2013).

Каждый из подходов был представлен в главе «Методология работы». На основании анализа их описаний были разработаны примерные модели оценивания результатов обучения по образовательной программе, которые можно получить при применении данных подходов. Для выбора конкретной модели оценивания результатов обучения по образовательной программе на основании выводов, полученных по итогам обзора литературы и описания подходов к разработке моделей оценивания, были сформулированы 3 критерия: наличие унифицированной формы для сбора данных результатов оценивания; возможность проведения нескольких циклов оценивания в ходе освоения ОП одновременно по всем РО по ОП; возможность «встраивания» процесса оценивания РО по ОП в процесс оценивания по всем элементам учебного плана. Учет данных критериев позволяет спроектировать модель оценивания результатов обучения по образовательной программе, отвечающую современным требованиям к эффективной организации процесса оценивания результатов обучения по образовательной программе.

Выбор подходящей модели оценивания результатов обучения по образовательной программе с применением определенного подхода осуществлен на основе сравнительного анализа визуальных моделей и их кратких характеристик по 6 показателям, установленным в соответствии с выявленными современными требованиями к оцениванию РО по ОП и позволяющим дифференцировать модели (количество процессов оценивания; количество циклов оценивания; участие всех ППС в оценивании РО по ОП; охват РО по ОП на каждый цикл; форма для сбора данных по результатам оценивания; хранение результатов оценивания).

По итогам сравнительного анализа моделей и их кратких характеристик, в качестве методики проектирования выбран подход All-in-One, позволяющий унифицировать формы для сбора данных, проводить несколько полных циклов оценивания РО по ОП за достаточно короткий период освоения магистерской программы (2 года), «встроить» процесс оценивания РО по ОП в процессы оценивания по каждому элементу учебного плана, тем самым, с одной стороны, минимизировав процессы оценивания разных уровней, с другой стороны, встраивая оценивание РО по ОП в систему выставления оценок в рамках промежуточной аттестации.

Таким образом, модель оценивания результатов обучения по магистерской программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» разработана на основе подхода All-in-One, некоторые элементы которого были адаптированы с учетом особенностей действующей учебно-методической документации и действующей системы оценивания. Из материалов разработчиков подхода All-in-One использована форма оценочной рубрики, все остальные формы и таблицы для сбора сводных данных были разработаны автором проекта самостоятельно, но с соблюдением рекомендованной последовательности действий.

Ключевые преимущества разработанной модели:

-       позволяет учитывать набор компетенций, устанавливаемых ФГОС ВО, не вступает с ним в противоречие;

-       не приводит к резкому изменению действующего учебного плана, вписываясь в систему учебно-методической документации образовательной программы (например, оценочные рубрики могут быть включены в существующие рабочие программы дисциплин);

-       позволяет сохранить свободу преподавателей в части определения содержания дисциплины, методов обучения и оценивания, разработки оценочных заданий, но при этом требует учитывать результаты обучения по образовательной программе, её особенности и направленность при разработке обучающих и оценочных материалов;

-       активизирует работу руководителя ОП и преподавателей над совершенствованием процессов обучения и оценивания посредством разработки и анализа матриц учебного плана, карты оценочных заданий, применения механизма обратной связи при взаимодействии со всеми участниками оценочного процесса и т.п.;

-       в перспективе позволит «выровнять» систему выставления оценок по отдельным элементам учебного плана с процессом оценивания достижения студентами результатов обучения по образовательной программе.

Результаты проведенной работы свидетельствуют о том, что подход All-in-One применим при разработке модели оценивания результатов обучения по образовательной программе в российских условиях.

Вместе с тем возникает и целый ряд неразрешенных вопросов. В частности, как измерять уровни сформированности компетенций. Несмотря на то, что модель ориентирована на формирование наборов компетенций, установленных ФГОС ВО, при оценивании результатов выполнения оценочных заданий остаются косвенные (непрямые) связи. Разрешить проблему можно путем введения системы прогрессивного тестирования по курсам обучения. Однако, самостоятельная разработка такой системы на уровне одной образовательной программы вряд ли возможна. Другим выходом видится выстраивание партнерских связей с внешними независимыми центрами оценки профессиональных компетенций или с аналогичными центрами, работающими в сфере государственного и муниципального управления. На этапе внедрения новой модели оценивания, на наш взгляд, такая практика «дублирования» внутренней и внешней оценки не будет лишней и позволит сравнивать получаемые данные по результатам оценивания. Второй проблемой является необходимость разработки электронной оболочки, которая позволила бы автоматизировать процесс сбора и обработки данных. Учитывая то, что в СВФУ уже действует система электронных ведомостей, данная проблема может быть решена в ближайшие год или два.

В перспективе, при получении достаточного опыта в применении подхода All-in-One к оцениванию результатов обучения по магистерской программе «ГМУСЭРСТС» и с учетом результатов апробации, возможно тиражирование данного проекта для других образовательных программ, реализуемых в Северо-Восточном федеральном университете. Преимуществом данного подхода является то, что процесс оценивания результатов обучения можно запустить практически на любом этапе реализации образовательной программы.

БИБЛИОГРАФИЯ

1.      Афанасьева Е.Л. Построение компетентностной модели подготовки кадров для развития сельских территорий Севера //Управленческие аспекты развития Северных территорий России: материалы Всерос. науч. конф. (20-23 октября 2015 г., Сыктывкар): в 4 ч. - Сыктывкар: ГОУ ВО КРАГСиУ, 2015. - Ч.1. - 272 с. - С. 227-231.

.        Афанасьева Е.Л. Формирование внутривузовской системы оценки качества образования в условиях актуализации образовательных стандартов //Международный образовательный форум «Алтай - Азия 2014»: «Евразийское образовательное пространство - новые вызовы и лучшие практики»: сборник материалов / под. общ. ред. С.В. Землюкова (25-26 сентября 2014 г., Барнаул). - Барнаул: Изд-во Алт. ун-та, 2014. - 380 с. - С.181-184.

.        Барбер М., Доннелли К., Ризви С. Накануне схода лавины. Высшее образование и грядущая революция //Вопросы образования. 2013. № 3. - С.152-236.

.        Бойцова Е.Г. Формирующее оценивание образовательных результатов учащихся в современной школе //Человек и образование. - 2014. - №1(38). - С.171-175.

.        Болонский процесс: Результаты обучения и компетентностный подход (книга-приложение 1) / Под науч. ред. д-ра пед. наук, профессора В.И. Байденко. - М.: Исследовательский центр проблем качества подготовки специалистов, 2009. - 536 с.

.        Болотов В.А., Сериков В.В. Компетентностная модель: от идеи к образовательной программе //Педагогика. 2003. №10.

.        Гуськова М.В. Основы эвалюации в управлении качеством образования: Монография. - М.: ИНФРА-М, 2014. - 204 с.

.        Елина Е.Г., Ковтун Е.Н., Родионова С.Е. Компетенции и результаты обучения: логика представления в образовательных программах //Высшее образование в России. - 2015. - №1. - С.10-20.

.        Ефремова Н.Ф. Качество оценивания как гарантия компетнтностного обучения студентов //Высшее образование в России. 2012. №11. С.119-125.

.        Ефремова Н.Ф. Формирование и оценивание компетенций в образовании. Монография. - Ростов-на-Дону: «Аркол», 2010.

.        Звонников В.И., Мальгин А.А., Челышкова М.Б. Оценивание в высшем образовании: от линейности к адаптивности //Известия вузов. Серия «Гуманитарные науки» 5 (2), 2012. С.166-171.

.        Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетентностный подход. М., 2012.

.        Землянская Е.Н. Новые формы оценивания образовательных результатов студентов //Электронный журнал «Психологическая наука и образование psyedu.ru». 2015. Том 7. №4. С.103-114.

.        Зимняя И.А. Ключевые компетенции - новая парадигма результата образования //Высшее образование сегодня. 2003. №3. С.34-42.

.        Зимняя И.А. Ключевые компетенции как результативно-целевая основа компетентностного подхода в образовании. Авторская версия. - М.: Исследовательский центр проблем качества подготовки специалистов, 2004.

.        Ибрагимов И.Д. Многокомпонентная система контроля и оценки знаний и компетенций студентов лингвистического вуза// Педагогическое образование в России. 2014. №3. - С.23-28.

.        Использование результатов обучения при проектировании образовательных программ УрФУ /О.И. Ребрин. Екатеринбург: УрФУ, 2012. Екатеринбург: ООО «Издательский Дом «Ажур», 2012.

.        Караваева Е.В. Рекомендуемый алгоритм проектирования программ высшего образования // Высшее образование в России. - 2014. - №8-9. - С.5-15.

.        Караваева Е.В., Телешова И.Г., Ульянова М.Е., Эченикэ В.Х. Возможность использования методологических принципов европейского образования в российских университетах // Высшее образование в России. - 2013. - №1. - С.3-13.

.        Ключевые ориентиры для разработки реализации образовательных программ в предметной области «Социальная работа» / Под ред. Дюкарева И., Караваевой Е., Ковтун Е. - Бильбао: Университет Деусто, 2013. - 114 с.

.        Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник. М.: Логос, 2010.

.        Малыгин А.А., Шаницына С.В. Современная теория тестов как теоретическая основа современных подходов к оцениванию результатов обучения //Известия вузов. Серия «Гуманитарные науки». - 2012. - №3 (4). - С.324-327.

.        Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетентностном подходе/ В.А. Богословский, Е.В. Караваева, Е.Н. Ковтун, О.П. Мелехова, С.Е. Родионова, В.А. Тарлыков, А.А. Шехонин. - М.: Изд-во МГУ, 2007.

.        Методические рекомендации по разработке рабочих программ учебных дисциплин в соответствии с требованиями ФГОС ВО/Государственный университет управления, Учебно-методическое объединение по образованию в области менеджмента; [сост.: В.В. Борисова, М.Б. Челышкова]. - М.: Издательский дом ГУУ, 2015.

.        Ребрин О.И., Шолина И.И. Использование методологии результатов обучения при проектировании образовательных программ //Инженерное образование. - 2014. - №14. - С.106-111.

27.    Серова А.В. КОТЗ: как сделать задание более компетентностноориентированным? URL: http://www.hse.ru/data/2014/07/15/1312454915/КОТЗ_Серова%20А.В._27_06_14.pdf <http://www.hse.ru/data/2014/07/15/1312454915/%D0%9A%D0%9E%D0%A2%D0%97_%D0%A1%D0%B5%D1%80%D0%BE%D0%B2%D0%B0%20%D0%90.%D0%92._27_06_14.pdf>

.        Системное проектирование и обоснование компетентностно-ориентированных ООП ВПО, реализующих требования ФГОС ВПО, Установочные организационно-методические материалы тематического семинарского цикла / Авт.-сост. Селезнева Н.А., Азарова Р.Н., Золотарева Н.М., Казанович В.Г. - М.: Исследовательский центр проблем качества подготовки специалистов, 2010.

.        Стандарты и руководства по обеспечению качества основных образовательных программ подготовки бакалавров, магистров и специалистов по приоритетным направлениям развития Национального исследовательского Томского политехнического университета (Стандарт ООП ТПУ): сб. норматив.-произв. материалов / О.В. Боев [и др.]; под ред. А.И. Чучалина, Е.Г. Язикова. Томск, 2010.

.        Татур Ю.Г. Компетентностный подход в описании результатов и проектировании стандартов высшего профессионального образования: МАТЕРИАЛЫ ко второму заседанию методологического семинара. Авторская версия. - М.: Исследовательский центр проблем качества подготовки специалистов, 2004.

.        Трубицына Н.А., Баранова Н.А., Банникова Т.М., Глазкова А.В. Новые результаты образования: технологии проектирования, измерения и оценки качества. Ижевск: Изд-во «Удмуртский университет», 2011.

.        Челышкова М.Б. Оценка профессиональных компетенций //Материалы презентации на семинаре в Институте образования НИУ ВШЭ. URL: http://ioe.hse.ru/data/2015/04/29/1098176151/Оценка%20профессиональных%20компетенций.pdf <http://ioe.hse.ru/data/2015/04/29/1098176151/%25D0%259E%25D1%2586%25D0%25B5%25D0%25BD%25D0%25BA%25D0%25B0%2520%25D0%25BF%25D1%2580%25D0%25BE%25D1%2584%25D0%25B5%25D1%2581%25D1%2581%25D0%25B8%25D0%25BE%25D0%25BD%25D0%25B0%25D0%25BB%25D1%258C%25D0%25BD%25D1%258B%25D1%2585%2520%25D0%25BA%25D0%25BE%25D0%25BC%25D0%25BF%25D0%25B5%25D1%2582%25D0%25B5%25D0%25BD%25D1%2586%25D0%25B8%25D0%25B9.pdf>

.        Чучалин А.И., Епихин А.В., Муратова Е.А. Планирование оценки результатов обучения при проектировании образовательных программ //Высшее образование в России. - 2013. - №1. - С.13-20.

.        Чучалин А.И., Епихин А.В., Муратова Е.А. Проектирование и оценивание результатов обучения инженерных образовательных программ //Инженерное образование. - 2012. - №11. - С.30-31.

.        Порядок организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры, утвержденный приказом Минобрнауки России №1367 от 19 декабря 2013 г.

.        Официальный сайт АВЕТ. URL: <http://www.abet.org/about-abet/history/>

.        ABCD Method of Writing Learning Outcomes. Illinois State University: University Assessment Services. URL: <http://assessment.illinoisstate.edu/tutorial/outcomes/Learning-Outcomes-ABCD-UAS-Illinois-State-2015.pdf>

.        Assessment 101: Assessment Tips with Gloria Rogers, Ph.D. Do Grades Make the Grade for Program Assessment?

.        Bigg’s structure of the observed learning outcome (SOLO) taxonomy. The University of Queensland (Australia), Teaching and Educational Development Institute. URL: <http://www.uq.edu.au/teach/assessment/docs/biggs-SOLO.pdf>

.        Black, P., Wiliam, D. (2001) Inside the Black Box. Raising Standards Through Classroom Assessment. URL: <https://weaeducation.typepad.co.uk/files/blackbox-1.pdf>

.        Black, P., Wiliam, D. Meaning and Consequences: a basis for distinguish formative and summative functions of assessment? //British Educational Research Journal, Vol.22, No. 5, 1996. p.537. URL: <http://ventquery.com/cracker/1428143256_84f5911e5e/william+black+1996+meanings+and+consequences-+a+basis+for+dist.pdf>

.        Brabrand, C., Dahl, B. Using the SOLO Taxonomy to Analyze Competence Progression of University Science Curricula. URL: <http://itu.dk/~brabrand/progression.pdf>

.        How to Write Learning Objectives/ Outcomes. URL: <http://assessment.uconn.edu/docs/HowToWriteObjectivesOutcomes.pdf>

.        Kennedy, D. Writing and Using Learning Outcomes: a Practical Guide, 2007. URL: <http://www.cmepius.si/wp-content/uploads/2015/12/Writing-and-Using-Learning-Outcomes-Book.pdf>

.        Learning Outcomes Assessment: A Practitioner’s Handbook (2015). Higher Education Quality Council of Ontario. URL: <http://www.heqco.ca/SiteCollectionDocuments/heqco.LOAhandbook_Eng_2015.pdf>

.        Moon, J. Linking Levels, Learning Outcomes and Assessment Criteria, 2002.

.        Palomba, C.A., and Banta, T.W., eds. Assessing Student Competence in Accredited Disciplines: Pioneering Approaches to Assessment in Higher Education. Sterling, VA: Stylus Publishing, LLC, 2001.

.        Potter, M., Kustra, E. Course Design for Constructive Alignment (Winter 2012) //Centre for Teaching and Learning, University of Windsor. URL: http://www1.uwindsor.ca/ctl/system/files/PRIMER-on-Learning-Outcomes.pdf

.        Program Learning Outcomes Assessment Handbook. University of Texas at El Paso (2009).

.        Richman, W. Allen, Ariovich, L. (2013) All-in-One: Grading, Course, Program, and General Education Outcomes Assessment (Occasional paper No.19). Urbana, IL: University of Illinois and Indiana University, National Institute for Learning Outcomes Assessment (NILOA).

.        Rockwell, S. K., Bennett, C. (1999, November). Targeting Outcomes of programs (TOP): An integrated approach to planning and evaluation.

.        Rockwell, S. K., Bennett, C. (2004). Targeting Outcomes of programs: A Hierarchy for Targeting Outcomes and Evaluating Their Achievement. URL: <http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=1047&context=aglecfacpub>

.        Student Learning Outcome Assessment Handbook (February, 2013). The University of Texas-Pan American. URL: <http://academicaffairs.southtexascollege.edu/curriculum/learning_outcomes/pdf/UTPA%20SLO%20Assessment%20Manual%20Feb%202013.pdf>

.        Walvoord, B. Assessment Clear and Simple. (2nd ed.) San Francisco: Josssey-Bass, 2010. URL: <https://www.pratt.edu/uploads/assessment_clear_and_simple_walvoord_iupui_f13_(1).pdf>

.        Writing Student Learning Objectives. Missouri State University. URL: <https://www.missouristate.edu/assets/fctl/Writing_Student_Learning_Objective_12-06-2010.pdf>

ПРИЛОЖЕНИЯ

Приложение 1

Учебный план программы «ГМУСЭРСТС»

	1 семестр	2 семестр		3 семестр	4 семестр
Обязательные дисциплины	М.1. Методология
	Теория и механизмы государственного управления ЭКЗАМЕН Философия и методология науки ЗАЧЕТ Педагогика и психология высшей школы ЗАЧЕТ
	М.2. Иностранный язык
	Иностранный язык в профессиональной деятельности ЗАЧЕТ	Иностранный язык в научной сфере ЭКЗАМЕН
	М.3. Профессиональный
Обязательные дисциплины	Муниципальное и местное самоуправление ЭКЗАМЕН (КР)	Методология прикладных исследований в сфере публичного управления ЭКЗАМЕН (КП) Экономика общественного сектора ЭКЗАМЕН Информационно-аналитические технологии ГМУ ЗАЧЕТ* Кадровая политика и кадровый аудит в организации ЗАЧЕТ* Правовое обеспечение ГМУ ЗАЧЕТ Профессиональная этика ЗАЧЕТ		Современные технологии управления СЭР ЭКЗАМЕН (КП) Технология разработки и принятия управленческих решений ЭКЗАМЕН Лидерство и команда в организации ЗАЧЕТ	Управление в социальной сфере ЭКЗАМЕН
Дисциплины по выбору		Социальное партнерство ЗАЧЕТ Управление развитие городов ЗАЧЕТ Управление местными ресурсами ЗАЧЕТ		Экономическая безопасность на северных территориях России ЗАЧЕТ Качество жизни на Севере ЗАЧЕТ Защита прав коренных малочисленных народов Севера ЗАЧЕТ Управление изменениями ЗАЧЕТ Управление проектами ЗАЧЕТ Управленческий консалтинг ЗАЧЕТ	Предпринимательство в сельской местности ЗАЧЕТ Маркетинг сельских территорий Севера ЗАЧЕТ Управление закупками ЗАЧЕТ
	М.4. Общеэкономический
Обязательные дисциплины	Микро и макроэкономика ЗАЧЕТ				Экономика в менеджменте ЗАЧЕТ
Дисциплины по выбору			Управление государственной и муниципальной собственностью ЗАЧЕТ Государственные и муниципальные финансы ЗАЧЕТ Управление человеческими ресурсами ЗАЧЕТ
	Практики и НИР, ГИА
	Учебная практика ЗАЧЕТ*	Педагогическая практика ЗАЧЕТ*	Технологическая практика ЗАЧЕТ*		Преддипломная практика ЗАЧЕТ*
	Научно-исследовательская работа (НИС) ЗАЧЕТ*				ГИА (ВКР)

Примечание: ЗАЧЕТ* - зачет с оценкой; ЗАЧЕТ - зачет.

Приложение 2

Самофотография уровня сформированности компетенций

На каком уровне, по Вашему мнению, у Вас уже сформированы компетенции? Отметьте, пожалуйста, галочкой в столбцах справа. Уровни: М - минимальный, Б - базовый, В - высокий. НС - не сформирована.

Компетенции, установленные ФГОС ВО по направлению подготовки 38.04.04 Государственное и муниципальное управление (магистратура)	НС	Уровни
		М	Б	В
способность к абстрактному мышлению, анализу, синтезу (ОК-1)
готовность действовать в нестандартных ситуациях, нести социальную и этическую ответственность за принятые решения (ОК-2)
готовность к саморазвитию, самореализации, использованию творческого потенциала (ОК-3)
способность к анализу, планированию и организации профессиональной деятельности (ОПК-1)
готовность к коммуникации в устной и письменной формах на русском и иностранном языках для решения задач в области профессиональной деятельности (ОПК-2)
готовность руководить коллективом в сфере своей профессиональной деятельности, толерантно воспринимая социальные, этнические, конфессиональные и культурные различия (ОПК-3)
владение технологиями управления персоналом, обладание умениями и готовностью формировать команды для решения поставленных задач (ПК-1)
владение организационными способностями, умение находить и принимать организационные управленческие решения, в том числе и в кризисных ситуациях (ПК-2)
способность планировать и организовывать работу органа публичной власти, разрабатывать организационную структуру, адекватную стратегии, целям и задачам, внутренним и внешним условиям деятельности органа публичной власти, осуществлять распределение функций, полномочий и ответственности между исполнителями (ПК-3)
владение способностью к анализу и планированию в области государственного и муниципального управления (ПК-4)
владение современными методами диагностики, анализа и решения социально-экономических проблем, а также методами принятия решений и их реализации на практике (ПК-5)
способность понимать современные тенденции развития политических процессов в мире, мировой экономики и глобализации, ориентироваться в вопросах международной конкуренции (ПК-6)
способность разрабатывать системы стратегического, текущего и оперативного контроля (ПК-7)
владение принципами и современными методами управления операциями в различных сферах деятельности (ПК-8)
владение навыками использования инструментов экономической политики (ПК-9)
способность вырабатывать решения, учитывающие правовую и нормативную базу (ПК-10)
способность осуществлять верификацию и структуризацию информации, получаемой из разных источников (ПК-11)
способность использовать информационные технологии для решения различных исследовательских и административных задач (ПК-12)
способность критически оценивать информацию и конструктивно принимать решение на основе анализа и синтеза (ПК-13)
способность систематизировать и обобщать информацию, готовить предложения по совершенствованию системы государственного и муниципального управления (ПК-14)
способность выдвигать инновационные идеи и нестандартные подходы к их реализации (ПК-15)
способность к кооперации в рамках междисциплинарных проектов, работе в смежных областях (ПК-16);
способность использовать знание методов и теорий гуманитарных, социальных и экономических наук при осуществлении экспертных и аналитических работ (ПК-17)
владение методами и специализированными средствами для аналитической работы и научных исследований (ПК-18)
владение методикой анализа экономики общественного сектора, макроэкономическими подходами к объяснению функций и деятельности государства (ПК-19)
владение методами и инструментальными средствами, способствующими интенсификации познавательной деятельности (ПК-20).

Благодарим за участие!

Приложение 3

Сводная таблица результатов самофотографии уровня сформированности компетенций (средние показатели по группе)

Кластеры	Компетенции	2 курс ОФ	1 курс ОФ	1 курс ОЗФ
ОК	ОК-1	1,9	2,1	1,9
	ОК-2	1,9	1,8	2,1
	ОК-3	2,2	2,3	2,7
ОПК	ОПК-1	2	1,9	2,0
	ОПК-2	1,8	1,7	1,6
	ОПК-3	2,1	2,0	1,6
ВПД.Д.1	ПК-1	2,1	1,9	1,3
	ПК-2	1,6	1,7	1,4
	ПК-3	1,4	1,1	0,9
	ПК-4	1,7	1,6	0,4
ВПД.Д.2	ПК-5	1,5	1,3	1,0
	ПК-6	1,6	1,4	1,3
	ПК-7	1,4	1,1	0,9
	ПК-8	1,5	1,1	1,1
	ПК-9	0,8	1,2	0,7
	ПК-10	1,5	1,6	1,3
ВПД.Д.3	ПК-11	1,6	1,9	1,1
	ПК-12	1,9	1,9	1,9
	ПК-13	1,4	1,7	1,1
ВПД.Д.4	ПК-14	1,4	2,1	1,4
	ПК-15	1,4	1,9	1,3
	ПК-16	1,1	1,5	1,4
	ПК-17	1,5	1,7	0,9
ВПД.О.5	ПК-18	1,1	1,9	1,3
	ПК-19	0,8	0,9	0,7
	ПК-20	1,3	1,5	0,9

Примечание: диапазоны уровней сформированности компетенций: высокий - 2,6-3,0; базовый - 1,6-2,5; минимальный - 0,6-1,5; не сформирована - 0-0,5.