Выпускная работа
материал

Федорова Раиса Геннадьевна

Разработка педагогического теста

Скачать:

ВложениеРазмер
Microsoft Office document icon analiz_pedagogicheskogo_testa.doc320 КБ
Office presentation icon analiz_pedagogicheskogo_testa.ppt205.5 КБ

Предварительный просмотр:

Министерство общего и профессионального образования

Свердловской области

ГБОУ  ДПО  СО «Институт Развития Образования»

Выпускная работа

Разработка педагогического теста

для студентов ГБОУ НПО СО  «Профессиональный лицей №22»

Профессия -  Машинист мостового  крана (крановщик)

 

по разделу «Эксплуатация мостового крана при производстве работ»

(тематический зачет)

 

                                                                 Исполнитель:

                                                                 Р.Г.Федорова, мастер производственного

                                                                 обучения  первой категории  г. Нижняя Тура                              

                                                                 «Профессиональный лицей №22»

                                                                                                                                                                                     

             Руководители:

                                     А.В.Мальцев,   доцент УрФУ

                                          М.Ю.Мамонтова доцент УрГПУ

Екатеринбург, 2012

Содержание

      Введение

  1. Спецификация
  2. Тест
  3. Организация тестирования
  4. Анализ результатов тестирования

            4.1. Вариационный анализ

            4.2. Характеристика тестовых заданий

      Заключение

      Список литературы

       Приложения

3

5

10

15

16

16

18

22

23


Введение

         Контроль знаний и умений учащихся является важным звеном учебного процесса, от правильной постановки которого во многом зависит успех обучения.

В методической литературе принято считать, что контроль является так называемой «обратной связью» между учителем и учеником, тем этапом учебного процесса, когда учитель получает информацию об эффективности обучения предмету.

Объективным средством определения параметров качества образовательного процесса может выступать тестовый контроль, как один из элементов педагогического контроля.

Тестирование является более качественным и объективным способом оценивания, позволяет  обеспечить своевременное выявление уровня знаний, практических навыков и умений, обучаемых в соответствии с образовательными стандартами, вносить коррективы в содержание, организацию и методику проведения учебных дисциплин.

Данный вид контроля заданий ставит всех обучающихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению нервного  напряжения обучающихся.

Для оценки  качества теста  была создана матрица первичных результатов, проведен вариационный анализа теста, построен вариационный  ряд результатов и гистограмма частного распределения результатов, оценка  надежности и валидности  заданий, а также определение дифференцирующей силы заданий и проведен дистракторный анализ.

        

        Надежностью называется характеристика теста, отражающая точность тестовых измерений, а также устойчивость тестовых измерений к действию (случайных) факторов.  

         Тест считается надежным, если он дает при повторном выполнении близкие результаты при условии, что подготовка ученика не изменилась за время повторного выполнения теста.

        Надежность теста определялась методом деления теста пополам т.к. тестирование проводилось на одной группе учащихся.

        Считается если тест менее 0,2 – низкая надежность; от 0,2 до 0,8 – средняя надежность; 0,8 и более – высоконадежный тест.

        Валидность  - это характеристика качества теста, ориентированная на оценку адекватности теста поставленной цели его создания.

Валидность – это характеристика способности теста служить поставленной цели измерения.

        Для оценки валидности используют коэффициент корреляции определяемый

точечно – бисериальным методом.

         Коэффициент корреляции 0,5 позволяет сделать вывод о пригодности заданий для теста. Ниже этих цифр – рекомендуется убрать эти задания из теста.

         Отрицательная корреляция – слабые учащиеся лучше выполняют задания, чем сильные. Такие задания надо проанализировать.

         

        Дифференцирующая сила заданий  определялась методом контрастных групп.     Выделяют 3 группы заданий. Задания, хорошо дифференцирующие тестируемых  имеют  показатель дифференцирующей силы от 0,6 и более;  средний – от 0,3 до 0,6; плохо дифференцирующий – менее 0,3. Последние задания следует убрать из теста.

        

        Дистракторный анализ – это отвлекать от правильного ответа, рассеивать внимание.

Требования к дистракторам: рядоположенность и равновероятностная  привлекательность.

Рядоположенность определялась с помощью экспертного анализа.

  Равновероятностная привлекательность состоит в том, что из 4 дистракторов один правильный, остальные должны быть распределены равномерно.Тема выпускной работы «Анализ  педагогического теста по профессии  «Машинист мостового крана (крановщик)»  по разделу «Эксплуатация мостового крана при производстве работ».  

В результате изучении раздела «Эксплуатация мостового крана при производстве работ » обучающийся должен

знать:

  • виды грузов и способы их крепления;
  • основное и вспомогательное оборудование;
  • правила управления краном;
  • правила крепления и регулирования механизмов крана.

уметь:

  • выполнять техническое обслуживание мостового крана
  • производить подготовку мостового крана и механизмов к работе;
  • управлять мостовым краном при производстве работ

Разработанный тест  включает в себя задания по всем темам раздела  «Эксплуатация мостового крана при производстве работ», что позволяет установить уровень знаний для подготовки  безработных граждан направленных на обучение  центром  занятости населения.

Цель работы: разработать педагогический тест по профессии «Машинист мостового крана (крановщик) по разделу «Эксплуатация мостового крана при производстве работ»

Задачи:

  1. Разработать спецификацию теста
  2. Составить тестовые задания закрытой формы с выбором одного правильного ответа из четырёх.
  3. Провести апробацию тестовых материалов.
  4. Выполнить статистический анализ результатов тестирования для выполнения технологических характеристик тестового материала.
  5. Провести анализ результатов учащихся.

СПЕЦИФИКАЦИЯ

Теста по профессии – машинист мостового  крана (крановщик) 

 для подготовки  безработных граждан направленных

 на обучение  центром  занятости населения 

 по разделу «Эксплуатация мостового крана при производстве работ»

1. Назначение работы

Цель:  установить уровень освоения учащимися знаний и умений

            по разделу «Эксплуатация мостового крана при производстве работ»

Задача:   

  • выявить наиболее освоенные тесты;
  • выявить наиболее часто встречаемые ошибки в тесте.

2. Документы и учебники, определяющие содержание тестовых материалов

        

Содержание контрольных измерительных материалов определяется на основе:

  • Учебные планы и программы для подготовки и повышения квалификации рабочих на предприятии. Профессия- машинист крана (крановщик) по управлению мостовыми кранами. Код профессии- 13790
  • Машинист мостового крана: учеб.пособ/ А.В.Марин – М.: Издательский центр «Академия»2008.-64с.
  • Правила устройства и безопасной эксплуатации грузоподъёмных кранов

        (ПБ 10-382-00).с.224.

  • Инструкция по охране труда для машиниста мостового крана

3. Структура тестовых материалов зачета

        Зачётная работа в форме итогового теста по разделу «Эксплуатация мостового крана при производстве работ» состоит из одной части, содержащего  30 заданий с выбором правильного ответа из четырёх.

3.1  Распределение заданий зачетной работы по содержанию и  видам деятельности.

Таблица 1

Распределение заданий по основным содержательным блокам (темам) учебного предмета

п/п

Содержательные блоки, включенные в зачетную работу

Число заданий

Максимальный балл за выполнение заданий каждого блока / % от общего максимального балла

Номера заданий

1

Эксплуатационная документация

3

10%

1; 2; 3.

        

2

Техническое освидетельствование

5

17%

4; 5; 6; 7; 8.

3

Производственная инструкция машиниста мостового крана.

8

27%

9; 10; 11; 12; 13; 14; 15; 16.

4

Организация производства работ мостовыми кранами.

10

33%

17; 18; 19; 20; 21; 22; 23; 24; 25; 26.

5

Грузозахватные приспособления и строповка грузов.

4

13%

27; 28; 29; 30

        Итого:

30

100%

30

Таблица 2

Распределение заданий по видам проверяемой деятельности

Уровню заданий

п/п

Виды деятельности, проверяемые на текущем зачете

Число заданий

Максимальный балл за выполнение заданий по каждому виду деятельности  / % от общего максимального балла

Номера заданий

1

Знание

28

93,3%

1,2,3,4,5,6,7,8,9,10,11,12,

14,15,16,17,18,19,20,21,22,23,

25,26,27,28,29,30

2

Понимание

2

6,7%

13; 24

        Итого:

30

100%

30

4. Распределение заданий зачетной работы по уровню сложности.

Таблица 3

Распределение заданий по уровню сложности

п/п

Уровень сложности заданий

Число

заданий

Максимальный балл за выполнение заданий по каждому уровню сложности / % от общего максимально балла

Номера заданий

1

Базовый

26

86,7%

1,2,3,4,5,6,7,8,9,10,11,12,13,14,15

17,18,19,20,21,22,25,26,27,28,29

2

Повышенный

4

13,3%

16,23,24,30

        Итого:

30

100%

30

5. Время выполнения работы.

На выполнение зачетной работы отводится 40 минут

Примерное время, отводимое на выполнение отдельных заданий 1-2 минуты

6. Система оценивания выполнения зачетной работы.

        Верное выполнение каждого задания оценивается  1 баллом.

Неверное и невыполненное задание оценивается – 0 баллов.

                   

                        Перевод  в шкалу  отметок (2 – 5)

Рейтинг: тах – 30 баллов

Уровень стандарта

Оценка по шкале

0 - 8

Недостигнутый

2

9 - 16

         Базовый

3

 17 - 23

Оптимальный

4

 24 -30

Расширенный

5

7. Дополнительные материалы и оборудование.

        Дополнительные материалы и оборудование на зачет не используется.


Таблица 4

План теста

 по профессии – машинист мостового  крана (крановщик) 

 для подготовки  безработных граждан направленных

 на обучение  центром  занятости населения 

 по разделу «Эксплуатация мостового крана при производстве работ»

п/п

Проверяемые элементы содержания и виды деятельности

Содержательный блок

Уровень сложности задания

Макс.

балл за выполнение задания

Уровень знаний

1

Комплектование крана несколькими предприятиями

1

базовый

1

знать

2

Разрешение на эксплуатацию вновь установленного крана

1

базовый

1

знать

3

Краны, которые подлежат перерегистрации в органах Ростехнадзора

1

базовый

1

знать

4

Документация – результаты периодических испытаний крана

2

базовый

1

знать

5

Ввод крана в работу после замены изношенных канатов

2

базовый

1

знать

6

Назначение статического испытания крана

2

базовый

1

знать

7

Динамические испытания мостового крана

2

базовый

1

знать

8

Техническое освидетельствование мостового крана

2

базовый

1

знать

9

Право работать на мостовом кране

3

базовый

1

знать

10

Обязанности машиниста  перед началом работы на кране

3

базовый

1

знать

11

Обязанности стропальщика

3

базовый

1

знать

12

Знаковая сигнализация

3

базовый

знать

13

Правила техники безопасности при работе на кране

3

базовый

1

понимать

14

Правила пожарной безопасности

3

базовый

1

знать

15

Обязанности машиниста  перед началом работы на кране

3

базовый

1

знать

16

Права машиниста крана

3

повышенный

1

знать

17

Обязанности машиниста во время работы на кране

4

базовый

1

знать

18

Правила подъёма и перемещения грузов

4

базовый

1

знать

19

Требования к оборудованию рабочей площадки

4

базовый

1

знать

20

Обязанности машиниста во время работы на кране

4

базовый

1

знать

21

Схема строповки грузов

4

базовый

1

знать

22

Правила подъёма и перемещения грузов по цеху

4

базовый

1

знать

23

Схема строповки грузов

4

повышенный

1

знать

24

Порядок перемещения грузов двумя кранами

4

повышенный

1

понимать

25

Масса груза, складируемая на площадке (в цехе). Знать грузоподъемность  крана.

4

базовый

1

знать

26

Кантовка грузов кранами

4

базовый

1

знать

27

Назначение, устройство съёмных грузозахватных приспособлений

5

базовый

1

знать

28

Сроки периодических осмотров тары

5

базовый

1

знать

29

Съёмные грузозахватные приспособления (осмотр и испытание нагрузкой)

5

базовый

1

знать

30

Коэффициент запаса прочности стропов изготовленных из пеньковых, капроновых и хлопчатобумажных канатов

5

повышенный

1

знать


ТЕСТ

по профессии – машинист мостового  крана (крановщик) 

 для подготовки  безработных граждан направленных

 на обучение  центром  занятости населения 

 по разделу «Эксплуатация мостового крана при производстве работ»

Инструкция: выберите один правильный ответ из предложенных четырех и отметьте его в бланке ответов цифрой.

Задание 1

При комплектовании крана из узлов и деталей, изготовленных несколькими предприятиями, несут ответственность за качество изготовления в целом

  1. предприятие, выпускающее кран в собранном виде
  2. головной проектный институт
  3. предприятие, выпускающее кран в собранном виде
  4. основной заказчик крана

Задание 2

        Разрешение на эксплуатацию вновь установленного крана подлежащего регистрации в органах Ростехнадзора  выдаёт

  1. инспектор Ростехнадзора
  2. главный инженер предприятия
  3. главный механик предприятия
  4. инспектор охраны труда

Задание 3

        Грузоподъёмные краны подлежат перерегистрации в органах Ростехнадзора в случаях

  1. замена механизмов
  2. перестановка мостового крана на новое место                                          
  3. направление крана для работы в другую область
  4. замена крюка

Задание 4

        Результаты периодических испытаний крана оформляются документом

  1. протоколом или сертификатом испытаний
  2. протоколом комиссии
  3. актом с указанием предложений и вызовом комиссии
  4. сертификатом результатов испытаний

Задание 5

        Порядок ввода крана в работу после замены изношенных грузовых или других канатов

  1. динамического и статического испытания крана
  2. запасовка и надежность крепления концов каната
  3. осмотра крана
  4. полного технического освидетельствования крана

Задание 6

        При статическом испытании мостового крана контрольный груз поднимается краном на высоту

  1. 100 – 200 мм
  2. 500 мм
  3. 200 мм
  4. 200 – 300 мм

Задание 7

        Динамические испытания производят нагрузкой превышающей паспортную грузоподъёмность мостового крана на:

        1)  20%    2) 15%     3) 10%    4) 25%

Задание 8

        Подготовка мостового крана  к техническому освидетельствованию должна быть возложена на:

  1. ответственного за содержание крана в исправном состоянии
  2. лицо по надзору
  3. ответственного за безопасное производство работ кранами
  4. лиц указанных в пунктах 1 и 3

Задание 9

        Допуск к работе крановщиков, слесарей, эл. монтёров, наладчиков приборов безопасности и стропальщиков оформляется документом

  1. по письменному разрешению главного механика
  2. распоряжением  ответственного лица за содержание крана в исправном состоянии
  3. распоряжением ИТР по надзору
  4. приказом (распоряжением) организации  

Задание 10

        Крановщик должен производить осмотр крана

  1. перед началом работы
  2. после ремонта крана
  3. после устранения неисправностей, возникших во время работы
  4. по окончании работы на кране

Задание 11

        Стропальщик может находиться возле груза во время его подъёма или опускания, если груз поднят на высоту от уровня площадки не более

  1. 2000 мм
  2. 2500 мм
  3. 1000 мм
  4. 1500 мм

Задание 12

        Машинист для немедленной остановки работ крана сигнал «Стоп» должен выполнить

  1. любого лица
  2. сигнальщика
  3. лица по надзору
  4. стропальщика

Задание 13

        Определить порядок очерёдности действий крановщика в ситуации прекращения питания крана током:  А) сообщить ответственному лицу за безопасное производство работ, Б) поставить рукоятки контроллеров в нулевое положение,

В) выключить общий рубильник

  1. Б-В-А
  2. В-А-Б
  3. А-В-Б
  4. В-А-Б

Задание 14

        Для обслуживания крана помимо машиниста должен назначаться помощник в случаях

  1. на мостовые краны грузоподъёмностью более 25 тонн
  2. краны с дизель-электрическим приводом
  3. на различные краны грузоподъёмностью более 25 тонн
  4. если это необходимо по местным условиям работы

Задание 15

        Результаты осмотра и проверки крановщиками грузоподъёмной машины записывается  в:

  1. вахтенный журнал
  2. наряд-допуск
  3. акт сдачи приёма
  4. паспорт крана

Задание 16

        Машинист не имеет права приступать к работе на кране

  1. полное техническое освидетельствование крана не проводилось 35 месяцев
  2. истёк срок технического освидетельствования крана
  3. кран не проверялся лицом по надзору более 10 дней
  4. в удостоверении крановщика отсутствует роспись члена комиссии по аттестации

Задание 17

        Для проверки строповки,  груз должен быть поднят на высоту

  1. 350-400 мм
  2. 100-150 мм
  3. 200-300 мм
  4. 500 мм

Задание 18

         Предельный угол между стропами при подъёме длинномерных грузов разрешается

  1. 1200
  2. 900
  3. 450
  4. 600

Задание 19

          Эстакады  для стропальщиков в местах постоянной разгрузки или погрузки автомашин  устанавливают в случаях

  1. только для автокранов
  2. требуется обязательно
  3. если площадь машины не обозревается из кабины крановщика
  4. не требуется

Задание 20

        Подъём кирпича на поддонах без ограничения разрешается

  1. только на специальные приёмные площадки
  2. не разрешается
  3. разрешается
  4. при погрузке и разгрузке (на землю) транспортных средств

Задание 21

        Строповка грузов должна производиться

  1. узлом «мёртвая петля»
  2. за две петли
  3. по усмотрению стропальщика
  4. в соответствии со схемами строповки

Задание 22

        Машинист крана при проверке правильности строповки груза должен

  1. посмотреть, как зацеплен груз
  2. приподнять груз на 200 – 300 мм
  3. поднять груз на 1 м  для проверки действия тормозов
  4. поднять груз на 100 мм

Задание 23

        Можно ли производить подъём груза, на который не разработана схема строповки

  1. под руководством лица ответственного за безопасное производство работ
  2. если угол между ветвями стропов общего назначения не превышает 900
  3. нельзя
  4. в любом случае

Задание 24

        В цехе два мостовых крана грузоподъемностью 10т. и 15т., должны перевезти груз весом 20 т. Какой порядок перемещения грузов двумя и более кранами?

        1)  согласно проекта производства кранов

              2)  перемещение груза двумя кранами не допускается

              3)  производится в соответствии  с проектом или технологической картой

              4)  по письменному разрешению главного инженера

Задание 25

        Перемещение груза, мостовым краном, неизвестной массы должен производиться только

  1. после сигнала стропальщика
  2. после определения его фактической массы
  3. медленно, без рывков и только грузовой лебёдкой
  4. после разрешения инспектора Ростехнадзора

Задание 26

        Кантовка грузов кранами допускается при условии

  1. кантовка  грузов кранами не допускается
  2. под наблюдением инженерно-технического работника
  3. по заранее разработанному проекту производства работ
  4. при применении специальных приспособлений

Задание 27

        На бирках или клеймах съёмных грузозахватных приспособлениях указывается

  1. дата изготовления, дата испытания, грузоподъёмность
  2. номер, грузоподъёмность, дата изготовления
  3. назначение, грузоподъёмность
  4. номер, грузоподъёмность, дата испытания

Задание 28

        Периодический осмотр тары производится

  1. каждые 10 дней
  2. каждый месяц
  3. через 6 месяцев
  4. ежедневно

Задание 29

        Грузоподъёмные приспособления должны подвергаться осмотру и испытанию нагрузкой превышающей грузоподъёмность на:

  1. 15%
  2. 30%
  3. 25%
  4. 5%

Задание 30

        Коэффициент запаса прочности стропов, изготовленных из пеньковых, капроновых, хлопчатобумажных канатов (лён)

  1. не более 9
  2. не менее 12
  3. не более 6
  4. не менее 8

Ключ к тесту:

Задания

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Ответ

1

1

2

3

2

1

3

1

4

1

3

1

1

4

1

Задания

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

Ответ

2

3

2

2

4

4

2

1

3

2

1

3

2

3

4

30 заданий с выбором ответа , 4 ответа на выбор один правильный

                                     

Бланк теста:

Ф.И.О.учащегося_______________________________________________________

ВОПРОСЫ

Задания

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Ответ

Задания

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

Ответ

Подпись учащегося______________________________

Организация тестирования

        Тестирование проводилось среди студентов направленных на обучение  центром занятости населения,  для подготовки безработных граждан в рамках тематического зачета по разделу «Эксплуатация мостового крана при производстве работ»

        Дата проведения зачета 01.03.2012 год

        Время  с 1600 до 1640

В тестировании приняло участие 20 чел.

        Никаких психических нагрузок накануне не былое. Состояние данной  группы   во время тестирования без особенностей. Обстановка во время проведения теста рабочая, позитивная. Студенты информированы о зачетных баллах.


Анализ результатов тестирования

4.1.  Вариационный анализ

        После обработки первичных результатов был проведен вариационный анализ.

Для проведения вариационного анализа использовались  баллы и количество учащихся, получивших этот балл.

Таблица 5

                                      Вариационный  ряд результатов тестирования

балл

частота

1

0

2

0

3

0

4

0

5

0

6

0

7

0

8

0

9

1

10

0

11

0

12

1

13

1

14

1

15

1

16

2

17

3

18

0

19

1

20

2

21

0

22

2

23

1

24

0

25

3

26

0

27

1

28

0

29

0

30

0


        

        

        Из вариационного ряда видно, что тест не работает в области низких  баллов (от 0 до 8). Основной контингент учащихся находится в области от 12 до 27 баллов.

Учащиеся хорошо сгруппированы.

                                                 

           Тест двухмодульный  (мода 17 и 25),  асимметрия левосторонняя.

           По результатам тестирования было получено частное распределение.  

            Более наглядно выглядят результаты тестирования на гистограмме.

                           Рис. 1  Гистограмма частного распределения результатов тестирования

        

        Рассчитаны показатели вариационного анализа, такие как  размах, стандартное отклонение, асимметрия,  эксцесс и среднее значение теста.

Эти показания представлены в таблице 6.

Таблица 6

Характеристика тестовых заданий

Параметр

Значение

Размах

18

Дисперсия

24,33

Стандартное отклонение

4,93

Асимметрия

-0,05

Эксцесс

-1,07

Среднее значение

18,70

         Стандартное отклонение 4,93.  Размах теста 18 - достаточный.

        Знание результатов смещено вправо – это может свидетельствовать о том, что тест легкий или учащиеся хорошо подготовлены в соответствии с нормативно – ориентированным тестированием. Это и подтверждает и ассиметрия, смещенная в сторону больших значений

        Проанализировав полученные результаты, можно сделать вывод, что группа неоднородна, так как результаты тестирования сгруппированы. Данный тест хорошо дифференцирует группу.


4.2.  Характеристика тестовых заданий

        

        Доля правильных ответов 

Задания лежит в области средних величин от 0,3 до 0,7 из 30 заданий  - 19 заданий.

Задания №1,14,19,20,22,23,24,26,28,30 лежат в области от 0,75 до 0,9 – это легкие задания.

Задание №16 – трудное задание.

                   

Дифференцирующая способность заданий

        Два  задания являются инвертированными № 6,16.  Слабые ученики на эти задания отвечают лучше, а сильные хуже. Эти задания в дальнейшем следует доработать.  

        Характеристика заданий теста проводилась на основе анализа показателей

точечно – бисериального коэффициента корреляции и анализа дифференцирующей силы заданий.

         Анализ значений коэффициента точечно – бисериальной корреляции выявил ряд заданий (№№ 10, 13, 17, 24) со значениями от 0,05 до 0,2. Эти задания из теста необходимо удалить, как неудачные.

        Коэффициент от 0,5 до 0,75 присутствует у большинства заданий, это позволяет сделать вывод о пригодности заданий для теста.

        Из теста выбиваются и задания №№ 4. 6, 7, 17 они имеют отрицательную корреляцию (-0,1; -0,2). Это задания со сложной структурой. Более слабые учащиеся отвечают на них лучше.

Таблица 7

       

 

 Значения коэффициента точечно - бесериальной корреляции 30 заданий теста

№п/п

1

2

3

4

5

6

7

8

9

10

0,40

0,73 

0,72                              

-0,12 

0,58

-0,17

0,02

0,50

0,29

0,04

11

12

13

14

15

16

17

18

19

20

0,28

0,48

0,18

0,32

0,35

-0,23 

0,08

0,54

0,48

0,25

21

22

23

24

25

26

27

28

29

30

0,36

0,54

0,42

0,37

0,54

0,41

0,65

0,34

0,39

0,64

        

        

        


Задания обладающие хорошей дифференцирующей силой имеют точечно – биссериальный коэффициент корреляции от 0,5 и более, это задания №2,3,5,8,18,22,25,27,30 данные задания дают ясное понятие о высокой степени обученности предметом.        Задания 0,5 и более – хорошие задания, т.е. четко распределяют сильных и слабых №№ 2,3,5,8,18,22,25,26

        Задания со средней дифференцирующей силой  (коэффициент корреляции от 0,3 до 0,6) – 16;

        Плохо дифференцирующие задания - коэффициент корреляции

менее 0,0-0,3 –  №4,6,16  не дают информации о степени облученности студентов. Данные задания нужно заменить или доработать.

                               

 Были выделены 3 группы:

  1. Задания, дифференцирующая сила которых близка к нулю (0 – 0,15)  №№  задание №4,№17   Эти задания были выполнены и сильными и слабыми учащимися.  Для критериального теста это неплохо, а для нормативно – ориентированного теста такие задания надо из теста удалить.
  2. Разность между сильными и слабыми учащимися особенно хорошо видна по заданиям №№ 2,4,10
  3. Отрицательная дифференцирующая сила (инвертированные задания), это задания, которые слабые ученики выполнили лучше сильных - №6,  №16

Задание 6

        При статическом испытании мостового крана контрольный груз поднимается краном на высоту

  1. 100 – 200 мм
  2. 500 мм
  3. 200 мм
  4. 200 – 300 мм

Ответ: 1

Задание 16

        Машинист не имеет права приступать к работе на кране

  1. полное техническое освидетельствование крана не проводилось

      35 месяцев

  1. истёк срок технического освидетельствования крана
  2. кран не проверялся лицом по надзору более 10 дней
  3. в удостоверении крановщика отсутствует роспись члена комиссии по аттестации

Ответ: 2


Коэффициент дискриминативности

        

        Дискриминативностью называется способность задания дифференцировать учащихся на лучших и худших. Высокая дискриминативность – важная характеристика удачного теста. Достижение дифференцирующего эффекта – главная цель создания нормативно – ориентированных тестов.

         

        Два  задания имеют отрицательный коэффициент дискриминативности

(№6 -0,20) и (№16 -0,20) это говорит о том, что сильный учащийся не выполнил задание, а слабый выполнил. Эти задания инвертированные.

         

        В целом эффект зависит от корреляции между заданиями и от числа заданий.

Мы вновь обращаем внимание на малое число тестируемых - 20 обучающихся.

        

         Более точное представление о дискриминативной способности дает коэффициент точечно – бисериальной корреляции. 

        В таблице 8 представлены показатели качества тестовых заданий.

Таблица 8

Точечно - бисериальный  коэффициент корреляции

и коэффициент дискриминативности.

п/п

Число правильных ответов

Точечно-бисериальный коэффициент корреляции

Доля правильных ответов (трудность задания)

Коэффициент дискриминативности

1

18

0,40

0,90

0,20

2

12

0,73

0,60

1,00

3

13

0,72

0,65

0,80

4

11

-0,12

0,55

0,00

5

10

0,58

0,50

0,80

6

10

-0,17

0,50

-0,20

7

13

0,02

0,65

0,20

8

10

0,50

0,50

0,80

9

12

0,29

0,60

0,40

10

10

0,04

0,50

0,00

11

11

0,28

0,55

0,20

12

12

0,48

0,60

0,60

13

12

0,18

0,60

0,20

14

19

0,32

0,95

0,20

15

12

0,35

0,60

0,40

16

6

-0,23

0,30

-0,20

17

9

0,08

0,45

0,00

18

12

0,54

0,60

0,40

19

14

0,48

0,70

0,60

20

15

0,25

0,75

0,40

21

11

0,36

0,55

0,40

22

15

0,54

0,75

0,60

23

15

0,42

0,75

0,60

24

15

0,37

0,75

0,40

25

12

0,54

0,60

0,60

26

14

0,41

0,70

0,40

27

11

0,65

0,55

0,80

28

14

0,34

0,70

0,60

29

12

0,39

0,60

0,40

30

14

0,64

0,70

0,80

Дистракторный анализ

        Дистракторный анализ выявил, что равновероятностная привлекательность состоит в том, что из 4 дистракторов один правильный, остальные должны быть распределены равномерно.  

        Равновероятностная привлекательность позволила выявить проблемные дистракторы.

  • В задании № 1,14 не работает 2 дистрактора
  •  В 12 заданиях слабо работают по 1 дистрактору.

        

        В коррекции  теста рекомендуется 4-й ответ задания  №26 заменить  

«при применении специальных приспособлений » на  «кантовка грузов кранами допускается»

         В задании  №15 заменить ответ 2 – «наряд-допуск » на «в технологическую карту».

 Задание №14  содержит легкий вопрос – рекомендуется его исключить из теста.

Таблица 9

Распределение ответов тестируемых (доли)

номер задания

1

2

3

4

1

0,90*

0,10

0,00

0,00

2

0,60*

0,15

0,15

0,10

3

0,15

0,65*

0,05

0,15

4

0,20

0,15

0,55*

0,10

5

0,25

0,50*

0,10

0,15

6

0,50*

0,20

0,15

0,15

7

0,05

0,20

0,65*

0,10

8

0,55*

0,30

0,05

0,10

9

0,15

0,15

0,10

0,60*

10

0,50*

0,15

0,15

0,20

11

0,15

0,20

0,55

0,10

12

0,60*

0,15

0,10

0,15

13

0,60*

0,30

0,05

0,05

14

0,00

0,05

0,00

0,95*

15

0,60*

0,05

0,15

0,20

16

0,40

0,30*

0,10

0,20

17

0,15

0,30

0,45*

0,10

18

0,20

0,60*

0,10

0,10

19

0,05

0,70*

0,10

0,15

20

0,10

0,10

0,05

0,75*

21

0,15

0,10

0,20

0,55*

22

0,15

0,75*

0,05

0,05

23

0,75*

0,10

0,05

0,10

24

0,10

0,10

0,75*

0,05

25

0,25

0,60*

0,10

0,05

26

0,70*

0,10

0,15

0,05

27

0,20

0,15

0,55

0,10

28

0,15

0,70*

0,05

0,10

29

0,20

0,15

0,60*

0,05

30

0,10

0,10

0,10

0,70*


Заключение

Для исследования был взят тест к текущему контролю знаний учащихся по   профессии «Машинист мостового крана (крановщик)» по разделу «Эксплуатация мостового крана при производстве работ», разработанный и проведенный в 2012 учебном году.

    Анализ представленной спецификации и анализ результатов тестирования  показал:

  1. Тест критериальный. Для сдачи зачёта  по разделу «Эксплуатация мостового крана при производстве работ» необходимо ответить на 30 %  вопросов (9 баллов). Все студенты аттестованы.

     

      2. Вариативный анализ (частотное распределение результатов учащихся не соответствует нормальному т.к. количество тестируемых мало, всего 20 человек.)

Анализ характеристик теста показал, что группа однородна. Тест двухмодальный, (максимальное значение 17 и  25 баллов), асимметрия смещена вправо в сторону больших баллов.

Результаты тестирования сгруппированы, средняя группа с баллами от 17 до 23 - большая. Данный тест хорошо дифференцирует группу (размах 18).

Доля правильных ответов лежит в диапазоне от 0,3 до 0,7, что говорит о средней сложности заданий, лишь 2 задания имеют показатель 0,9 (№№1 и 14).

Тест средней сложности, учащиеся хорошо подготовлены.

Выводы

     1. Надежность теста 0,75- средняя. Погрешность 3,52 характеризует границы нижнего и верхнего доверительных интервалов.

Стандартное отклонение 4,91.  Область нормы 18,75 + 4,91.

В область нормы попадают 11 человек, выше нормы - 6 человек, ниже нормы 3 тестируемых.

     1. Анализ показателей качества тестовых заданий и дистракторов выявил наличие легких  заданий и заданий, где дистракторы не работают.

         Эти задания требуют коррекции.


Список литературы

  1. Аванесов В.С. Композиция тестовых заданий. 2-е изд. исправл. и доп. М.:Адепт, 1998.-217с.
  2. Аванесов    В.С.    Применение    заданий    в    тестовой    форме    в    новых образовательных технологиях. testolog.ги.
  3. Балыхина Т.М. Словарь терминов и понятий тестологии. - М.: Изд. РУДН, 2000.- 164с.
  4. Беспалько В.П. Педагогика и прогрессивны технологии обучения. М.: Издво ин-та профессионального образования МО РФ, 1995. - 338 с.
  5. Васильев В.П., Тягунова Т.Н. Культура компьютерного тестирования. Часть II. Программно-дидактическое тестовое задание. М.: МГУП, 2002, 90 с.
  6. Гласе Д., Стэнли Д. Статистические методы в педагогике и психологии. Пер. с англ. М.: Прогресс, 1976.
  7. Ефремова Н.Ф. Современные тестовые технологии в образовании. Учебное пособие. - М.: Логос, 2003. - 176 с.
  8. Ю.Кларин   М.В.    Инновационные   модели    в    зарубежных   педагогических поисках. - М.:1994.

10. Михеев В.И. Методы теории измерения в педагогике: Учебное пособие. -М.: Логос,

       2003.-64 с.

 11. Переверзев  В.Ю.  Критериально-ориентированное       педагогическое тестирование: Учебное

        пособие. — М.: Логос, 2003. - 120 с.

12. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М. МИПКРО, 1995.-68 с. 13. 13. Савельев Б.А., Масленников А.С. Оценка уровня обученности студентов в целях      аттестации     образовательного     учреждения     профессионального образования: Учебное       пособие. - М.: Логос, 2003. — 136 с.

14.Тестовая технология контроля знаний.- Сост. А.В. Мальцев Екатеринбург, ИРРО.1996.-39 с.

15.Челышкова   М.Б.   Теория   и   практика   конструирования   педагогических

тестов: Учебное пособие. - М.: Логос, 2002. - 432 с.        


Предварительный просмотр:


Подписи к слайдам:


По теме: методические разработки, презентации и конспекты

Выпускная работа "Диагностика обучаемости учащихся"

В работе рассматривается возможность диагностики обучаемости учащихся с помощью психологических методик. полученные результаты- ресурс повышения качества образования....

Выпускная работа "Диагностика обучаемости учащихся"

В работе рассматривается возможность диагностики обучаемости учащихся с помощью психологических методик. полученные результаты- ресурс повышения качества образования....

выпускная работа

Ростовский Областной Институт повышения квалификации и переподготовки работников образования   Выпускная работа слушателя курсов химии на тему:  "Экологическое  образование п...

Выпускная работа "Обратные тригонометрические функции. Задачи, содержащие обратные тригонометрические функции"

Выпускная работа на тему "Обратные тригонометрические функции. Задачи, содержащие обратные тригонометрические функции" выполнена на курсах повышения квалификации. Содержит краткий теоретический матер...

ВЫПУСКНАЯ РАБОТА на высшую категорию Тема: «Проектирование уроков русского языка на основе системно-деятельностного подхода»

Данная работа содержит теоритический и практичесский материал по формированию устойчивой мотивации учащихся через включение их в инновационную учебную деятельность...

ВЫПУСКНАЯ РАБОТА на высшую категорию Тема: «Проектирование уроков русского языка на основе системно-деятельностного подхода»

Данная работа содержит теоритический и практический материал по формированию устойчивой мотивации учащихся через включение их в инновационную учебную деятельность....

ВЫПУСКНАЯ РАБОТА на высшую категорию Тема: «Проектирование уроков русского языка на основе системно-деятельностного подхода»

Данная работа содержит теоретический и практический материал по проектированию уроков русского языка на очнове системно-деятельностного подхода....