Методические рекомендации по разработке КОСов
учебно-методический материал на тему

Методика разработки оценочных средств

Оформление макета оценочных средств предполагает предварительное заполнение  вспомогательной таблицы. Выполнение данной работы позволит корректно заполнить таблицу 1 паспорта макета, выбрать соответствующие задания, разработать их содержание и определить условия выполнения.

ВСПОМОГАТЕЛЬНАЯ ТАБЛИЦА АЛГОРИТМА РАЗРАБОТКИ ОЦЕНОЧНЫХ СРЕДСТВ

Заполнение графы «Предметы оценивания».

С самого начала следует оговориться, что данная методика больше ориентирована на язык сферы профессионального образования, однако подходы к разработке оценочных средств на основе образовательных или профессиональных стандартов (в сферах образования и труда соответственно) являются общими. Следует учитывать, что квалификация является одинаково значимой для сфер труда и образования, но при этом требования к ней представлены по-разному: через описание трудовых функций в профессиональных стандартах в сфере труда и через описание компетенций, как результатов обучения, в образовательных стандартах. Трудовая функция – объективная характеристика трудовой деятельности – сопоставима с профессиональной компетенцией. Компетенции содержат в себе характеристику «человеческого фактора» по отношению к трудовой деятельности, мотивационную составляющую, которая не может быть присуща трудовой функции как характеристике собственно деятельности. Но различного рода работа с информацией, работа в команде и тому подобные общепрофессиональные характеристики значимы при оценивании квалификации как на основе компетенций, так и на основе трудовых функций. Они должны быть учтены при составлении оценочных заданий и разработке показателей и критериев оценивания к ним.

В  первой графе вспомогательной таблицы указываются наименования предметов оценивания: общие (общекультурные) и профессиональные компетенции (трудовые функции), составляющие вид трудовой (профессиональной) деятельности/профессиональный (учебный) модуль.

На основе анализа связи и сопоставимости отдельных предметов оценивания целесообразно объединить их в группы. Оценочные средства рассчитаны на комплексную проверку нескольких профессиональных или общих компетенций, профессиональных и общих компетенций одновременно. Следовательно, необходимо сгруппировать профессиональные и общие компетенции (либо трудовые функции между собой).

Приведем несколько примеров такой группировки (на основании материалов ФГОС СПО):

Профессиональный модуль «Ввод и обработка цифровой информации»

1. Конвертировать файлы с цифровой информацией в различные форматы.
2. Обрабатывать аудио и визуальный контент средствами звуковых, графических и видео-редакторов.

ОК 2. Организовывать собственную деятельность, исходя из цели испособов ее достижения, определенных руководителем.

ОК 3.Анализировать рабочую ситуацию, осуществлять текущий иитоговый контроль, оценку и коррекцию собственной деятельности, нестиответственность за результаты своей работы

ОК 5. Использовать информационно-коммуникационные технологии в профессиональной деятельности.

Профессиональный модуль «Классное руководство»

ПК 1. Определять цели, задачи и планировать работу с родителями.

ОК 2. Организовывать собственную деятельность, определять методы решения профессиональных задач, оценивать их эффективность и качество.

ОК. 4. Осуществлять поиск, анализ и оценку информации, необходимой для постановки и решения профессиональных задач, профессионального и личностного развития.

Заполнение графы «Объекты оценки».

. Выделить объект оценивания могут помочь тексты профессиональных или образовательных стандартов (пункт 4.2 Стандарт СПО), в которых дается перечисление объектов профессиональной (трудовой) деятельности. Но это будет только примерная отправная точка. Как правило, объект уже как бы «заключен» в предмете^[1].

Оценить квалификацию, составляющие ее компетенции (трудовые функции) возможно через оценивание продукта деятельности, процесса деятельности, продукта и процесса одновременно.

Оценивание одного и того же объекта (продукта или процесса деятельности) может дать возможность оценить одну, или сразу несколько компетенций, или все компетенции.

Процесс оценивается:

- если необходимо проверить и оценить правильность применения инструментов, оборудования, соблюдение  правил техники безопасности и т.д.;

- если значим временной фактор (необходим хронометраж);

- если продукт (результаты) имеет отсроченный характер и/или оценивается сложней, чем  процесс.

Продукт деятельности оценивается:

- если не важно, каким образом получен продукт, какие использованы методы (технологии);

- если сложно обеспечить процедуру наблюдения за процессом (например, выполняется умственная деятельность или он выполняется длительное время). В этом случае при необходимости оценка продукта деятельности может быть дополнена защитой (обоснованием).

Оценка продукта и процесса деятельности позволяет, в то же время, оценить и готовность к применению профессионально значимой информации в ходе выполнения процесса (изготовления продукта).

Заполнение графы «Длительность выполнения, место выполнения, оборудование / материалы и т.п.»

Оценивание квалификации (компетенций) предполагает создание условий  для проявления, раскрытия готовности (применять знания и умения, осуществлять необходимые действия на рабочем месте - выполнять вид трудовой деятельности в целом). Оценочное средство должно содержать требования к профессиональной ситуации, которые актуализируют необходимую информацию, умения, профессионально значимые личностные качества. В процессе выполнения задания готовность должна перейти в реальное действие, в котором проявится понимание (знание), способы деятельности (умения и опыт), мотивация к осуществлению деятельности на высоком уровне (компетенции).

Заполнение граф «Форма и метод оценивания»

Форма оценивания зависит от сложности предмета оценки. Оптимальной формой процедуры оценивания квалификаций является очный (по принципу «здесь и сейчас») устный (в том числе, защита проекта или портфолио) или письменный экзамен, а также экзамен, проводимый с использованием информационных систем. При этом могут использоваться методы тестирования, демонстрационного задания, моделирования ситуации (в том числе, деловая игра), метод проектов, экспертной оценки и др.

Форма экзамена «здесь и сейчас» не всегда удобна при оценивании компетенций, которые требуют больших интеллектуальных, временных, финансовых затрат. В этом случае возможно проведение процедуры оценивания в заочной форме с использованием метода экспертной оценки предоставленных материалов (например, видеоматериалов), также может использоваться экспертная оценка портфолио документов или работ.

От выбора формы и метода оценивания зависит определение показателей и критериев оценки результата. Очевидно, что показатели и критерии для экспертной оценки портфолио или проекта будут отличаться от показателей и критериев, применяемых для оценки задания, выполненного непосредственно «здесь и сейчас».

Заполнение граф «Показатели» и «Критерии» оценивания

В 6 и 7 графы вспомогательной таблицы вносятся показатели оценки результата и соответствующие им критерии. Выбор показателей и критериев оценивания целесообразно проводить с учетом информации о предметах, объектах оценивания, условиях выполнения того или иного задания, а также установленных форм и методов оценивания. Кроме того, на определение показателей и критериев влияют дополнительные факторы, приведенные ниже.

Показатель представляет собой формализованное описание оцениваемых основных (ключевых) параметров процесса (алгоритма) или результата деятельности. Критерий – признак, на основании которого проводится оценка по показателю. Показатели отвечают на вопрос, что является свидетельством качества объекта оценивания. Критерии позволяют дать дуальную оценку этому качеству по принципу однозначного ответа «да-нет», «выполнено - не выполнено».

Формулировка показателей  и критериев осуществляется с учетом правил:

- диагностируемости;

- малых чисел;

- преимущественного использования форм отглагольных существительных (выполнение, выбор, организация, расчет…)

Различают количественные показатели (фиксируют меру выраженности свойства) и качественные (фиксируют наличие определенного свойства). Критерии количественных показателей должны содержать указание на соответствие выполненного процесса (полученного продукта) эталону: ГОСТу, техническому регламенту, технологической карте, правилам, другим документам, устанавливающим количественные требования к качеству процесса или результата деятельности, к скорости выполнения процесса, к допустимому объему затрат на выполнение процесса (получение результата) и т.п.

Критерии качественных показателей уточняют требования к качеству (свойству) процесса или результата деятельности (например, соответствие (оформления  витрины, демонстрационных стендов, эстетической выкладки товара, цветового  решения) содержанию  и правилам (оформления торговых предложений); соответствие  (простейших опросных анкет по сбору количественной и качественной информации) целям и задачам (опроса); соблюдение требований к (структуре при составлении простейших объявлений) и т.п.).

В процессе оценивания компетенций нужно предусматривать комплексные показатели и критерии, исключающие механическое сложение результатов оценки отдельных знаний или умений. Оптимальное число показателей по каждому объекту оценки   3-5.

Особое внимание необходимо обратить на корректность формулировки показателей.

Следует помнить, что компетенция несводима к отдельному умению или знанию, значит, и показатели ее сформированности должны носить комплексный характер.

Недопустимо, чтобы:

А) показатели просто дублировали формулировку компетенции

НАПРИМЕР:

Б) в формулировке показателей использовалось слово «умение», «навык» НАПРИМЕР:

В) в формулировке показателей использовались слова «знание», «изложение», поскольку знание и изложение еще не означает овладение компетенцией: можно знать, но не быть способным применить это знание в нетипичной, профессиональной  ситуации.

Ниже приведены примеры формулировки качественных показателей и критериев,  поскольку именно их выбор обычно вызывает затруднения:

Выбирая формулировки показателей и критериев, предназначенных для оценки общих (общекультурных) компетенций, следует помнить, что они характеризуют профессионально значимые качества человека: коммуникативные, организаторские, аналитические умения и т.п. Показатели и критерии их сформированности предполагают связь с видом трудовой (профессиональной) деятельности. Идеальным случаем является объединение (группировка) профессиональных и общих компетенций и объединение показателей и критериев для них.

НАПРИМЕР:

1.

2.

Заполнение графы «Типовое задание»  

Общие требования к заданиям в форме очного экзамена^[2] могут быть сведены к следующему.

Задание носит комплексный характер, требует многоходовых решений как в известной, так и в нестандартной ситуациях.

Должна соблюдаться направленность заданий на решение не учебных, а профессиональных задач. Содержание заданий должно быть максимально приближено к ситуациям профессиональной деятельности.

Формулировка заданий должна включать требования к условиям их выполнения (место выполнения; время, отводимое на выполнение задания, необходимость наблюдения за процессом выполнения задания, источники, которыми можно пользоваться и др.).

Имеет смысл несколько подробнее остановиться на возможностях использования в процедуре оценивания квалификации заданий, подразумевающих защиту проекта или портфолио, так как их использование определяет некоторые особенности процедуры оценивания.

Портфолио может применяться практически при любой форме проведения процедуры оценивания, будет разной только степень его наполнения.

В состав портфолио могут входить документы, подтверждающие практический опыт, сформированность компетенций и качество освоения вида профессиональной деятельности. Процедура экзамена в некоторых случаях может быть сведена к оцениванию портфолио членами экзаменационной комиссии либо к публичной защите портфолио аттестуемым. Портфолио может быть представлено на собеседовании, предшествующем квалификационным испытаниям и быть основанием для допуска к ним. В зависимости от выбранной процедуры, необходимо разработать требования к оформлению и (или) защите портфолио.

Проект может обеспечить оценку всех или большинства компетенций. Выбирая защиту проекта, следует помнить, что его содержание должно опираться на опыт работы на практике, отражать уровень освоения компетенций. Тематика проекта должна быть актуальной, учитывающей современное состояние и перспективы развития бизнес-процесса. Если при таком варианте проведения экзамена возникает необходимость дополнительной проверки сформированности отдельных компетенций, нужно предусмотреть задания, которые аттестуемый может выполнить под непосредственным наблюдением экспертов.

Поскольку проект всегда предусматривает публичную защиту, необходимо сформулировать требования не только к его оформлению, но и к защите.

В целом любое оценочное средство должно ставить проблему и давать необходимые условия для оптимального решения в профессиональном контексте. При разработке оценочных средств необходимо учитывать, насколько полно они охватывают предмет оценивания, насколько они технологичны (с точки зрения времени выполнения задания и требующегося для его выполнения оборудования), насколько задания сопоставимы между собой по степени сложности, трудности.

Порядок заполнения макета комплекта оценочных средств

Оформление паспорта макета

Завершив заполнение вспомогательной таблицы необходимо перенести информацию в следующем соответствии:

Графа вспомогательной таблицы 1 (предмет оценивания) – графа 1 таблицы 1  Паспорта;

Графа 2 вспомогательной таблицы (объект оценивания) – графа 2 таблицы 1 Паспорта;

Графы 6 вспомогательной таблицы (показатели оценки)  – графа 3 таблицы 1  Паспорта соответственно;

Информация остальных граф вспомогательной таблицы используется при оформлении комплекта оценочных средств.

Заполнение раздела паспорта «Описание правил оформления результатов оценивания»

Установленные показатели и критерии обеспечивают экспертную оценку. Идеальным вариантом оценки компетенций, освоения вида трудовой (профессиональной) деятельности является оценка дихотомическая – «освоен  \ не освоен», «зачтено \ не зачтено», но на сегодняшний день отсутствуют достаточные нормативные основания для такого подхода, поэтому возникает вопрос о правилах оформления результатов оценивания.

В паспорте комплекта оценочных средств необходимо описать, какие выводы могут быть сделаны экспертной комиссией, в какой формулировке эти выводы должны быть выражены, а также кратко описать общие основания для каждого из выводов.

Оформление комплекта оценочных средств. После заполнения паспорта Макета необходимо выбрать формы-пустографы заданий, приведенные в разделе 2 макета, и заполнить их, учитывая требования к каждому типу заданий.