Эксперт: в области информационных технологий и учебного видео

Прежде чем мы перейдем к принципам разработки тестов, необходимо сделать ряд замечаний.

Различия между тестом и заданиями в тестовой форме

В обыденном сознании постоянно смешиваются понятия теста и системы заданий в тестовой форме (или предтестовых заданий).

Как правило, тест разрабатывается коллективом исследователей и апробируется в течении определенного времени. После апробации в тест вносятся коррективы. Тест состоит из тестовых заданий. В англоязычной литературе для обозначения теста употребляется термин «Quiz» (но не «Test»!).

Таким образом, преподаватель (учитель) не может создавать тесты. Вместо этого, он разрабатывает задания в тестовой форме, которые внешне похожи на тест, но не проходят статистической и иной апробации. Такие задания можно использовать в образовательном процессе для решения определенных педагогических задач.

Из этого следует принципиальная невозможность использования ряда характеристик теста. Например, трудность тестового задания определяется экспериментально, исходя из результатов большого объема выборки учащихся. На практике учитель не располагает как временем для проведения эксперимента, так и необходимым объемом выборки. Поэтому часто трудность определяется «на глазок».

В общем виде задания в тестовой форме (как и тестовые задания) отвечают следующим требованиям:

• краткость;
• технологичность;
• определённость цели;
• логическая форма высказывания;
• определенность места для ответов;
• одинаковость правил оценки ответов;
• правильность расположения элементов задания;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.

Так, краткость заданий в тестовой форме обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Технологичность заданий определяется как свойство, которое позволяет вести процесс тестирования с помощью технических средств, и делать это точно, быстро, экономично и объективно. Логическая форма высказывания – это средство упорядочения и эффективной организации содержания задания.

Формы тестовых заданий

Кроме того, принципы разработки тестовых заданий (заданий в тестовой форме) связаны с их формами. Разные авторы по-разному классифицируют формы тестовых заданий. Положение усугубляется тем, что каждая автоматизированная система для проведения тестирования называет одни и те же формы по-разному. Обобщим все многообразие форм тестовых заданий следующей классификацией.

1. Верно/Неверно (Правда или Ложь, от анг. True or False) – содержит утверждение, с которым обучающийся должен либо согласиться, либо нет.

Например:

Первым президентом США был Джордж Вашингтон

1. Верно
2. Неверно

В ЕГЭ подобные задания встречаются в КИМах по иностранным языкам в заданиях на аудирование: учащиеся слушают текст, далее переходят к заданиям типа Правда или Ложь.

Данная форма тестовых заданий самая простая как для составления преподавателем, так и для ответа обучающимся. Такие формы задания характеризуются высокой степенью угадывания правильного ответа.

2. Множественный выбор (задания с выбором одного или нескольких правильных ответов). Эта самая распространённая форма тестовых заданий. Она содержит утверждение (вопрос) и альтернативные ответы.

Для заданий с выбором одного правильного ответа рекомендуется не менее 4 (если меньше, то вероятность угадывания правильного ответа увеличивается) и не более 6 (трудно придумать правдоподобные альтернативы).

Для заданий с выбором нескольких правильных ответов рекомендуется не менее 6 альтернатив.

3. Задания на установление соответствия. Оно представляет собой набор элементов в двух столбцах – обучающемуся нужно установить соответствие между элементами левого и правого столбцов. Наличие заголовка для каждого набора столбцов является обязательным – он позволяет учащемуся не тратить время на обобщение элементов в столбцах и сразу перейти к упражнению.

Сравните:

1. a) Ярлык
2. b) Улус
3. c) Волостень
4. d) Порок
5. e) Плинфа

1. Стенобитное сооружение
2. Кирпич
3. Ханская грамота
4. Правитель волости
5. Владение

Тоже задание, переформатированное с учетом специфических требований:

Как мы видим, во втором случае задание более читабельно, его смысл легко улавливается. Обратите внимание, что, например сервис OnlineTestPad и некоторые другие позволяют добавлять такие заголовки. Другие (как Moodle) не обладают таким функционалом. В этом случае необходимо писать полную инструкцию, например, «Установите соответствие между ….и….»

В бумажных тестах такой формы заданий для правильного ответа предлагается заполнить специальную табличку. Вариант со стрелочками считается менее технологичным для проверки, поэтому его следует избегать.

	2	3	4

Также желательно устанавливать нечетное количество элементов левого и правого столбца, чтобы последний элемент выбирался не методом исключения.

Посмотрите на это задание:

Расположите имена русских полководцев в хронологической последовательности (по возрастанию) их деятельности

Дмитрий Пожарский

Алексей Ермолов

Михаил Скобелев

Алексей Орлов

Это тоже задание на установление соответствия, точнее, его разновидность – задание на установление правильной последовательности. Ряд зарубежных исследователей склонны к такому объединению. Именно поэтому, например в Moodle мы не найдем такой формы. Но ее легко можно сконструировать из задания на установление соответствия. Для наглядности немного переформатируем предыдущее задание:

Мы видим классическое задание на соответствие, просто левый столбец представляет собой числовой порядок. Правильные ответы обучающийся также заносить в специальную таблицу.

	2	3

Иногда описанные выше задания верно-неверно, множественного выбора и соответствия объединяют в группу заданий закрытого типа , которые обладают следующими общими чертами:

• Присутствует в явном виде правильный ответ, его нужно просто выбрать тем или иным способом;
• Ответы на вопросы можно угадать (вероятность угадывания вырастает с уменьшением количества альтернатив);
• Ответы можно припомнить
• Ответы можно подобрать логически, откинув явно неправильные альтернативы.

5. Дополнение (краткий ответ). В этих заданиях учащемуся необходимо дописать правильный ответ. Иногда такой тип заданий называют заданиями открытого типа. В отличие от рассмотренных выше форм тестовых заданий, такие стратегии как угадывание, припоминание правильного ответа и др. «не работают». Поэтому данный тип задания считается более трудным для обучающихся.

6. Эссе – краткий ответ учащегося по сути вопроса. Строго говоря эссе не является формой тестового задания, т.к. он не соответствует необходимым критериям краткости, технологичности и прочее. По нашему мнению, эссе было введено для преодоления известных трудностей при составлении типичных тестовых заданий, главные из которых – невозможность представить весь учебный материал в тестовом виде и репродуктивный характер типичных тестовых заданий.

Тем не менее в заданиях эссе должны быть предложен(ы) эталон(элементы) оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения.

При каких значениях х соответственные значения функций f(х)=log 2 x и g(х) = log 2 (3 – х) будут отличаться меньше, чем на 1?

Критерии для оценивания правильного ответа

Баллы	Критерии оценки выполнения задания 9
2	Приведена верная последовательность шагов решения: 1) составление неравенства, содержащего модуль; 2) решение неравенства. Все преобразования и вычисления проведены правильно, получен верный ответ
1	Приведена верная последовательность шагов решения. При решении неравенства в шаге 2 допущена описка и/или негрубая вычислительная ошибка, не влияющая на правильность дальнейшего хода решения. В результате этой описки и/или ошибки может быть получен неверный ответ
0	Все случаи решения, не соответствующие указанным выше критериям выставления оценок в 1 или 2 балла

Принципы разработки заданий в тестовой форме

Следующее, на чем нас стоит остановиться – на принципах разработки заданий в тестовой форме.

Долгое время существовала убеждённость, что тест сам по себе является объективным средством контроля. Однако затем пришло понимание, что тест обеспечивает, в первую очередь процедурную объективность. Для оценки же качества теста существует ряд смежных направлений – надежность (гарантия отсутствия в тесте случайных ошибок), валидность (гарантия, что тест измеряет именно то, что он должен измерять), трудность и т.д. Как мы указывали выше, все эти параметры разрабатываются на основе различных математических моделей в ходе экспериментальной работы авторского коллектива и недоступны для учителей, преподавателей. Поэтому мы лишь остановимся на ряде теоретических требований к разработке заданий в тестовой форме.

1. Начинайте конструировать задание с правильного ответа. Часто так случается, что задание формально содержит больше правильных ответов, чем запланировано. Встречаются и обратные случаи – задание вообще не содержит правильного ответа.
2. Содержание задания опирается на требования программы и отражает предметное (метапредметное) содержание. Иногда в тест пытаются включить вопросы, правильного ответа на которые просто не существует.

Например:

Мы будем изучать латинский язык потому, что…

1. На нем говорят во многих странах мира
2. Хотим лучше понимать родной язык, так как в нём много слов, заимствованных из латыни
3. Хотим лучше понимать историю и культуру древнего мира

Это хорошее задание. Но его следует использовать в социологическом опросе, а не в заданиях на проверку учебных достижений.

1. Вопрос должен быть направлен на выявление одного элемента знания, одной законченной мысли. В противном случае трудно диагностировать причину невыполнения задания.

Конфуций..

1. жил в Африке
2. жил в Китае
3. был врачом
4. был правителем
5. был философом

Данное задание направленно на выявление сразу двух элементов – где жил Конфуций и кем он был. Необходимо разделить эти два вопроса.

1. При составлении вопросов следует избегать слов «иногда», «часто», «всегда», «мало», «больше» и т.д. Подобные слова имеют субъективное значение и могут приводить к ошибочным ответам. Тестовые задания (задания в тестовой форме) должны иметь четкий однозначный ответ.
2. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям.

Например:

«Анадырская впадина. Очень плоско, и Анадырь по ней виляет огромным удавом… «Анадырь – жёлтая река», – можно так назвать потом очерк. Тундра и озёра по всей впадине. Трудно понять, чего больше: или озёр, или земли» (О. Куваев). В какое море впадает эта река?

1. Правильные ответы должны быть правдоподобны, умело подобраны, не должно быть явных неправильных ответов (они являются своеобразной подсказкой – данный ответ уж точно является ошибочным). Неправильные ответы, очень похожие на правильные, называют дистракторами. Например:

Родина Карла Маркса:

1. Трир
2. Карл-Маркс-Штадт
3. Штургард
4. Мюнхен

Здесь можно предположить, что город Карл-Маркс-Штадт получил свое название потому, что в именно в нем родился Карл Маркс. Однако правильный ответ – Трир.

1. Не следует задавать вопросы с подвохом – скорее всего в заблуждение будут введены наиболее способные или осведомленные учащиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определению уровня знаний и понимания.
2. Следует использовать более длинные вопросы и более короткие ответы, грамматически согласованные с основной частью задания .

Например:

Какое суждение верно?

1. Неполные предложения ‒ это предложения, в которых пропущен один из главных членов
2. Неполные предложения ‒ это предложения, в которых пропущен один из второстепенных членов
3. Неполные предложения ‒ это предложения, в которых пропущен какой-либо член предложения ‒ главный или второстепенный

Нетрудно увидеть, что здесь есть повторяющееся словосочетание, которое и следует вынести в формулировку задания:

Неполные предложения ‒ это предложения, в которых пропущен

1. один из главных членов
2. один из второстепенных членов
3. какой-либо член предложения ‒ главный или второстепенный

1. Не используйте отрицание в основной части вопроса. Во-первых, это приводит к непониманию сути задания. Во-вторых, объектом контроля должны быть элементы знания, а не элементы незнания.

Например:

Жили ли или нет эти люди в реальности в Древней Греции?

1. Гомер
2. Ахилл
3. Зевс
4. Перикл
5. Фидий
6. Аристотель
7. Сократ

В данном случаи не ясно как отвечать – да жили, или да не жили. Поэтому вопрос нужно сформулировать более точно, например: Назовите мифологических персонажей Древней Греции.

1. При чередовании правильных ответов в вопросах не должно быть явной системы – например, всегда только 1 варианты правильные, или правильными вариантами являются последовательно первый, второй, третий, четвертый вариант. В компьютерном тестировании обычно такой проблемы не существуют, потому что компьютер автоматические перетасовывает альтернативы.
2. Если ставится вопрос количественного характера, то необходимо указать последовательность (от меньшего к большему или наоборот) выбора правильных ответов .

Например:

Удаленность от Солнца

a) Сатурн

b) Меркурий

c) Земля

d) Уран

e) Венера

f) Марс

В данном пример существуют как бы два набора правильных вариантов ответов – одна последовательность от наиболее близкой планеты от Солнца, другая – от наиболее удаленной.

1. Вопрос и ответ должны отличаться шрифтовым и пространственным оформлением. Например, вопрос (задание) выделяется жирным шрифтом, ответ – обычным. Для записи ответов используются дополнительные отступы. Но это правило касается только бумажных тестов – в компьютерных автоматизированных системах оформление задается программное, которое изменять не целесообразно.

И помните – не каждое задание можно представить в виде тестового контроля.

При написании статьи использовались примеры http://koi.tspu.ru/koi_books/samolyuk/

Методика составления теста

Составила преподаватель информатики

Власовец Надежда Витальевна

Введение (Актуальность программного обеспечения вида “Тесты”) 3

Теория создания тестов для системы образования 4

Правила составления тестовых заданий 8

Технология составления педагогического теста 9

Целеполагание на этапе планирования содержания теста 15

Состав требований к планируемым результатам обучения 16

Спецификация теста 18

Формы предтестовых заданий 19

Требования к предтестовым заданиям 20

Задания закрытой формы 20

Задания открытой формы (задания на дополнение) 21

Задания на установление соответствия 22

Задания на установление правильной последовательности 22

ЛИТЕРАТУРА: 25

Введение (Актуальность программного обеспечения вида “Тесты”)

Что такое тест ? Ответом на это могут быть строки: «Тест обученности – это совокупность заданий, сориентированных на выявление уровня усвоения определенных аспектов содержания обучения. Тест состоит из задания на деятельность данного уровня и эталона…». Отсюда следует, что объектом исследования в форме тестирования являются определенные аспекты содержания обучения.

Каким должен быть тест , и в том числе, тестирующая программа, - нельзя дать однозначного ответа. Все зависит от многих факторов. Что может сказать любой учитель, так это:

во-первых, какая цель поставлена перед обеими сторонами этого исследования (одной, тестирующей ‑ учителем и другой, тестируемой ‑ учащимся), то есть объект исследования , которым являются в нашем случае «определенные аспекты содержания обучения» информатике;

во-вторых, какими средствами и методами вооружен учитель.

Сегодня учитель должен следовать за развитием информационных технологий. Они диктуют новые формы и методы в педагогическом труде.

Зачем нужно тестирование на обычном уроке ? Первое – для экономии времени на проведение контроля знаний учителем. Так было до недавнего времени. Сегодня, учитывая возможности современной техники, используемой для этих целей, применение тестирования значительно расширяется. При однообразной работе понижается работоспособность учащихся. Тест же позволяет использование его на уроках разного типа - при контроле (и самоконтроле знаний), при закреплении полученных знаний, а также разной формы - при самостоятельной, групповой работе, при проведения фронтального опроса. Все чаще можно встретить использование тестирующих программ во внеклассной работе (турнир, игра). Процедура проведения тестирования знакома всем. Сценарии уроков могут быть разными в зависимости от поставленных учителем целей, от подготовленности испытуемых, и, конечно, от содержания самого теста (заданий). Результат тестирования зависит от многого: содержания теста, насколько правильно подобраны вопросы и ответы, от отведенного времени на тестирование, от того, правильно ли выбрано место урока при изучении темы и т.д. Добиться сбалансированности вопросов-ответов теста можно, хорошо зная предмет и особенности психики учащихся. Понятно, что учитель сможет добиться успехов в воспитании и обучении школьников, зная этапы возрастного развития детей и учитывая их личностные качества.

С точки зрения учителя информатики большое значение имеют технические средства обучения (ТСО), то есть инструмент тестирования, которыми может располагать учитель. Это может быть изготовленная учителем перфокарта – эталон с отверстиями в соответствующих правильным ответам позициях и подготовленные бланки для заполнения их учениками, - за неимением техники и она может как-то помочь учителю провести контроль знаний.

Сегодня в распоряжении учителя есть мощный компьютер с большим набором программ (в том числе на компакт-дисках). Сегодня, имея современный компьютер (допустим, типа Pentium II, с операционной системой Win95/98/2000), конечно же, никто не будет для экономии оперативной памяти, и тем более, памяти на винчестере, по старой привычке составлять программу на алгоритмическом языке, разве что в учебных целях при обучении программированию.

Если говорить с позиций пользователя Pentium , любое из приложений операционной системы Windows (Word/Excel/Access/PowerPoint), являясь мощным инструментом в руках подготовленного пользователя, позволяет быстрее и качественнее выполнить аналогичную работу на компьютере. Можно не перечислять достоинства новой техники и программного обеспечения. Учитель информатики, а вслед за ним и учителя других предметов не оставят без внимания появившиеся возможности прикладных программ для организации контроля знаний. При помощи интегрированного пакета программ (к примеру, MS Office) можно значительно быстрее создать свое программное тестирующее средство. Этим инструментом сможет воспользоваться учитель, не представляющий, что такое алгоритмический язык. К этой работе можно привлечь большее, чем ранее, количество учащихся. Пользователей компьютера всегда больше, чем программирующих учеников. В среде каждого из приложений, и в том числе Word, можно расширить возможности создаваемого документа (в нашем случае, тест-программы), применяя макрокоманды (макросы) и графические объекты; в среде Excel – применяя формулы при автоматизации вывода результата в виде оценки и дальнейшего анализа ответов в виде диаграмм; в среде Access, создав базу данных для групп и отчеты по данным тестирования; и, наконец, в среде PowerPoint ‑ готовя презентацию (чтобы и себя порадовать, и администрацию удивить). Импорт данных из одного приложения в другое – большой “плюс” в пользу этого средства. Эстетическое удовольствие при создании привлекательного программного продукта, как и при ответах на вопросы тест-программы с красивым интерфейсом – одна из составляющих успешного педагогического труда.

Вопрос о том, умеют ли ученики работать с тест-программой, становится особенно актуальным. Наверное, многие согласятся, что при прохождении Телетестинга в наилучших условиях оказываются те, кто имеет не только лучшие знания по предмету, но и навыки такого тестирования.

Каждый учитель заинтересован не только в хороших результатах своих учеников. Использование тестирующих программ крайне актуально.

Я решаю проблему тестов по предмету «Прикладная информатика авторской разработкой Иванцова А. С., выполненной в Microsoft Access. Тест содержит систему вопросов по основным разделам предмета, изучаемых в курсе информатики.

Каждая из программ, являясь тестом обученности по предмету, в то же время позволяет использование ее на уроках

разного типа :

при закреплении изучаемого материала (тест-тренинг),

при контроле знаний (тест-контроль) и

разной формы :

при обучении в сотрудничестве (работе парами),

при индивидуальной работе (подготовке к контрольной работе, зачету).

Возможности программы:

Порядок ответов на каждый вопрос меняется случайным образом;

Выбор блока вопросов из предложенного количества при помощи задания номера первого вопроса и количества вопросов;

Установка предельной нормы расхода времени на ответы;

Установка, по желанию, режима смены порядка вопросов теста;

Установка режима «жесткости» контроля (одного из четырех или своего);

Вывод, по желанию, списка правильных ответов (в текущем сеансе);

Сопровождение коротким сигналом неправильного ответа (по желанию).

Результат работы программы – вывод десятибалльной оценки знаний, количества правильных ответов, общего числа ответов, затраченного времени и количества запусков теста.

Теория создания тестов для системы образования

Тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельности, включая образование.

Тесты - одно из средств проверки и оценки результатов обучения школьников. В последнее время они получают все большее применение в практике обучения.

Тест (от английского test - испытание, проверка) - стандартизированные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.

Требования, предъявляемые к тестам: надежность, валидность, репрезентативность. Факторы, определяющие надежность теста:

правильный выбор параметров, адекватно отражающих обученность;

технологичность (четкость, ясность) инструментария проверки и оценки - четкая инструкция об организации проверки, однозначность оценки;

одинаковость условий каждого тестирования;

однородность (равнозначность) измерителя.

Валидность - аспект надежности. Валидность в психологии и дидактике - это соответствие содержания теста результатам обучения, которые зафиксированы в программе. А содержание проверочных заданий должно соответствовать целям контроля. Валидность проверяется на основе сравнения результатов использования разработанного теста с результатами проверки уровня обученности протестированных школьников другими методами (устный опрос, традиционная контрольная работа), сопоставление этих результатов с текущей успеваемостью учащихся. Важнейшим здесь является полнота охвата заданиями проверяемого учебного материала, как говорят в дидактике, репрезентативность (представительность) проверочных заданий. Если речь идет об итоговой проверочной работе, то ею охватывается весь курс, важнейшие его темы, наиболее значимый в них материал.

Затрагивая вопросы методики использования тестов для контроля результатов обучения школьников необходимо вспомнить об основных функциях проверки и оценки результатов обучения. Выделим среди них:

учетно-контрольную (информационную), которая систематически позволяет учителю фиксировать результаты обучения и судить об успеваемости каждого ученика, его достижениях и недочетах в учебной работе;

контрольно-корректирующую (диагностическую), которая обеспечивает связь "учитель-ученик", для внесения коррективов в методику обучения, перераспределения учебного времени между различными вопросами темы и пр., позволяет осуществлять диагностику причин отставания школьников;

обучающую , которая в результате помогает повторить материал, акцентировать внимание учащихся на главных вопросах и важнейших мировоззренческих идеях курса, указывает на типичные ошибки, что способствует закреплению и углублению знаний учащихся;

воспитательную (мотивационную), которая стимулирует учащихся к дальнейшей учебной работе, углублению своих знаний, развивает у школьников умения самоконтроля и самооценки;

аттестационную , которая связана с характеристикой уровня обученности школьника, является основой его аттестации, а также важнейшим компонентом аттестации работы учителя образовательного учреждения.

Какие же положительные стороны мы можем отвести тестированию?

Во-первых, тесты оказываются значительно более качественным и объективным способом оценивания, так как стандартизирована процедура их проведения (на всех этапах проведения тестирования невозможно внести субъективную составляющую в оценку, она не зависит от настроения преподавателя, его отношения к конкретному учащемуся, впечатления от ответов на предыдущие вопросы). По данным английской организации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество аппеляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Во-вторых , тесты - более емкий инструмент - показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний. Стандартизированная форма оценки, используемая в тестах достижений, позволяет соотнести уровень достижений учащегося по предмету в целом и по отдельным его разделам со средним уровнем достижений учащихся в классе и уровнями достижений каждого из них. Кроме того, выполняя итоговую тестовую работу, каждый ученик использует знания по всем темам, изучение которых предусматривала программа. На устный экзамен обычно выносится 2-4 темы, на письменный несколько больше.

В-третьих , это более мягкий инструмент. Тестирование ставит всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

В-четвертых , с точки зрения интервала оценивания тест - широкий инструмент. Если провести аналогию с прыжками в высоту, то традиционная контрольная работа представит собой палочку, на которой нанесены метки: 2, 3, 4, 5. В случае выполнения учеником всех заданий он получает отметку отлично. При этом совершенно не ясно, перепрыгнул он нашу палочку с запасом в два раза или пролетел прямо над ней. То же можно сказать и про нижнюю отметку.

Означает ли тот факт, что если ученик не выполнил ни одного задания, то он ничего не знает? Скорее всего нет. А означает ли, что ученики, выполнившие верно все задания контрольной работы имеют одинаковый уровень подготовки - вероятно, что тоже нет. Можно видеть, что тестирование предоставляет возможность расширить шкалу оценивания как вверх, так и вниз. Тестирование приходит в противоречие с учительским стереотипом о том, что отличную оценку нужно выставлять только в том случае, если все задания выполнены правильно.

В-пятых , необходимо отметить гуманизм тестирования, который заключается в том, что всем предоставляются равные возможности, широта теста дает возможность ученику показать свои достижения на широком поле материала. Таким образом, ученик получает некоторое право на ошибку, которого он при традиционном способе оценивания не имеет.

Кроме того, тесты эффективны с экономической точки зрения: основные затраты приходятся на составление качественного инструментария, т.е. носят разовый характер. При увеличении количества аттестуемых, эти затраты в значительной степени окупаются.

Классификация тестов

1. По процедуре создания:

· стандартизованные (в образовании, для целей итоговой аттестации);
· не стандартизованные.

2. По средствам предъявления:

· бланковые;
· предметные (манипулируем материальными объектами);
· аппаратурные (используются устройства для изучения особенностей внимания, восприятия, памяти, мышления);
· практические (лабораторные работы, снабженные соответствующими инструкциями и имеющие тестовое оснащение);
· компьютерные.

В рамках компьютерного тестирования В.С. Аванесов предлагает адаптивные тесты - задания, в которых предъявляются по одному, в зависимости от ответа испытуемого на предыдущий вопрос.

Какие же положительные моменты можно отметить в компьютерном тестировании?

Во-первых, тесты привлекают своей оперативностью: можно быстро проверить и оценить уровень усвоения учебного материала.

Во-вторых , повышается объективность проверки и оценки знаний и умений обучаемых.

В-третьих, тесты являются наиболее перспективными измерителями уровня обученности школьников в условиях введения в практику школы образовательных стандартов.

Компьютерные тесты имеют и свои недостатки - провоцируют случайные ошибки, не оставляют исходных результатов на случай апелляции.

3. По направленности:

· тесты интеллекта;
· личностные тесты;
· тесты достижений.

4. По характеру действий:

· вербальные (с использованием умственных действий);
· невербальные (связанные с практическим манипулированием предметов).

5. По ведущей ориентации:

· тесты скорости (содержат простые задачи; время решения ограничено);
· тесты мощности или результативности (содержат трудные задачи, время решения не ограничено, или мягко лимитировано);
· смешанные тесты (задачи различного уровня сложности, от самых простых до самых сложных, время испытания ограничено, но достаточно для решения большинства задач).
Эти тесты наиболее часто применяются на практике, к ним относятся большинство тестов школьных достижений.

6. По степени однородности задач:

· гомогенные (задачи, сходные по характеру, но различающиеся конкретным содержанием);
· гетерогенные (задания отличаются и по характеру, и по содержанию).

7. По объективности оценивания:

· объективные (в процессе обработки результатов тестирования не предусматривается использование субъективных толкований тестирующим);
· проективные тесты (допускается чрезвычайно большое разнообразие ответов и проявление определенной субъективности при их толковании тестирующим.

8. По специализации:

· широкоориентированные (для тестов в системе образовании), позволяющие оценить эффективность процесса обучения, степень освоения учащимися системы знаний, умений и навыков в ходе учебного процесса;
· узкоориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д.

9. По целям использования (только для тестов в системе образования):

· предварительный определяющий тест (определяет знания в начале обучения, затрагивает минимум знаний по теме обучения);
· тест прогресса, достигнутого в процессе обучения, формирующий тест (затрагивает ограниченный сегмент обучения, раздел или главу, состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения). Пример, обучающие тесты. Ученику даются конкретные инструкции для исправления обнаруженных ошибок;
· диагностический тест (содержит большое число вопросов, имеющих отношение к конкретной тестируемой области). Цель теста - определение трудностей обучения.
· суммирующий тест (используется для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса, содержит вопросы, представляющие более высокий уровень сложности, чем другие виды тестов).

10. По широте использования (только для тестов в системе образования):

· для использования учителем;
· для использования группой учителей или администрацией образовательного учреждения;
· для целей отбора и формирования групп;
· для аттестации учащихся.

11. По форме:

· тесты закрытого типа (задания с выбором верного ответа (или нескольких верных) из набора предлагаемых;
· тесты открытого типа (ввод предполагаемого ответа на задание самим тестируемым).

Правила составления тестовых заданий

Начинайте формулировать вопрос с правильного ответа.

Вопрос должен содержать одну законченную мысль.

При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".

Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.

Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.

Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

Не задавайте вопросы с подвохом (в заблуждение могут быть введены наиболее способные учащиеся).

Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.

Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: "Почему нельзя не делать…?"

Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.

Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.

Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если дистракторы представлены в виде слов текста, располагайте их в алфавитном порядке.

Лучше не использовать варианты ответов "ни один из перечисленных" и "все перечисленные".

Избегайте повторения.

Используйте ограничения в самом вопросе.

Не упрощайте вопросы.

Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.

Лучше использовать длинный вопрос и короткий ответ.

Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.

Технология составления педагогического теста

Являясь частью многих педагогических новаций, тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным уровневым стандартам знаний, выявить пробелы в подготовке учащихся. В сочетании с персональными ЭВМ и программно-педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля наиболее эффективных, но, к сожалению, наименее применяемых форм организации учебного процесса.

Широкие возможности современных тестов в решении ряда важных для образования и общественной жизни задач почти не задействованы, а там, где их пытаются задействовать, делается это неудовлетворительно, без опоры на имеющиеся в мировой науке достижения, самостоятельно. Отчасти это происходит из-за слабой информированности преподавательского состава по вопросам теории и методики тестового контроля, отсутствия требуемой литературы, а также из-за очень распространенных представлений о кажущейся легкости создания теста.

1. Общие методики составления педагогического теста .

В повседневной практике каждого человека измерение ~ вполне обычная процедура. Измерение так же, как счет, вычисление, стало неотъемлемой частью производства и распределения. Но измерения по отношения к человеку всегда были актуальны и связаны с введением определенных правил, на основании которых испытуемым приписываются некоторых числа. Оперируя ими, можно получить новые сведения об объектах измерения, а всесторонний анализ факторов, влияющих на обучение студентов вузов и учащихся, с применением статистико-математических методов позволяет точно измерить интересующие нас показатели, сравнить их между собой, установить между ними связи и взаимозависимости.

Методика измерения профессиональных знаний, умений человека дело не простое. При отсутствии измерений оценка традиционно строится на интуиции, на анализе документов (дипломов, характеристик и т.п.), результатах "испытательного срока", контрольных работ, рефератов и т.п.

При создании хорошо управляемых технологий обучения необходимо создать систему педагогических тестов, позволяющих объективно оценивать различные стороны процесса обучения, его результаты.

Понятии "тест" (от английского test - испытание, проба, исследование).

Одни авторы считают, что тест - краткое стандартизированное испытание, предназначенное для распознавания интересующих нас особенностей и качеств личности. Другие авторы отмечают, что в понятие "тест" необходимо включить и получение с помощью его объективных количественных оценок результатов обучения. В этих работах подчеркивается то, что тест является научно обоснованным методом эмпирического исследования в педагогике.

Следовательно, тест - краткое стандартизированное испытание, предназначенное не только для получения объективной количественной оценки результатов обучения, но и распознавания интересующих особенностей и качеств личности.

Более общее определение дается в работе . Тест - "стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого" .

Можно дать более лаконичное определение теста. "Тест - краткое стандартизированное испытание, допускающее количественную оценку результатов на основе их статистической обработки" . Рассмотрим подробнее данное определение.

Во-первых, под "испытанием" подразумевается система заданий, на основании анализа результатов выполнения которой предстоит провести количественную оценку измеряемым качествам и свойствам.

Отбор и структура заданий теста зависит от того, какие показатели и факторы интересуют исследователя данной группы лиц. Каждое из заданий теста по своей сути представляет для испытуемого вопрос, проблему. Ответ на вопрос - это всегда устранение некоторых сомнений, колебаний, неопределенности в рассматриваемой ситуации с целью получения новых, более точных знаний.

Каждое из заданий теста содержит описание некоторой "ситуации", взятой из природы, производства, педагогической деятельности и т.п. Это описание может быть представлено на различных "языках": вербальном, языке символов, графиков, рисунков и т.п. Любое описание всегда приблизительно, неполно, и поэтому перед испытуемым ставится "требование" сделать его ситуации более точными, полными, используя с этой целью "информацию к решению", содержащуюся в описании ситуации, тексте задания, а также привлекая "внешнюю по отношению к заданию информацию" ≈ известные испытуемому научные факты, закономерности и т.п. В процессе выполнения задания ему приходится перемоделировать ситуацию путем введения ряда упрощающих решение допущений, абстракций, переходя в описании от одного языка к другому.

Среди заданий теста следует различать:

Задания информативного характера;

Задания, решение которых может быть осуществлено алгоритмическим, формализованным путем;

Проблемы, для решения которых необходим эвристический и нестандартизированный поиск. Понятно, что подобное деление заданий носит условный характер.

В зависимости от полноты информации к решению, содержащейся в тексте, задания могут быть сформулированными и только поставленные. Сформулированные задания содержат оптимальную информацию к их выполнению, поставленные ≈ не требуют от испытуемого самостоятельно сформулировать задачу, оговорить условия, при которых рассматривается задание. Кстати, информация, содержащаяся в тексте задания ("исходные данные"), может быть представлена в явном виде или же в скрытой форме, требующей для ее извлечения выполнения более или менее сложных операций, что повышает сложность задания.

Во-вторых, тест - "стандартизированное испытание", т.е. испытание, при котором все выполняющие задания находятся в одинаковых, строго оговоренных условиях. Только это позволяет сравнивать результаты тестирования, доводить результаты измерения до числа.

В-третьих, тест позволяет получить "количественную оценку" результатов тестирования. Поскольку предстоит измерить непрерывно изменяющиеся, не дискретные величины, то для доведения результатов измерений до числа используются специальные шкалы. В нашем случае шкала ≈ это определённая последовательность числовых значений результатов измерительных операций, применяемых к эмпирической системе.

Чем же отличается тест от педагогического теста? В работах, перечисленных выше, мы не встретим однозначного определения педагогического теста. Только в работе Аване-сова B.C. дается его определение. Педагогический тест - это "совокупность взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности". Очень существенно, что в определении основной упор делается на систему взаимосвязанных заданий возрастающей сложности.

В последней работе этого же автора определение педагогического теста дается уже через систему фасетных заданий специфической формы, определенного содержания и возрастающей трудности. Автор отмечает, что педагогический тест позволяет качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по учебной дисциплине.

Мы не совсем согласны с данным автором в том, что педагогический тест - это система только фасетных заданий, так как его можно составить, как показывает эксперимент, не используя фасет (варьирование содержания в пределах укрупненной единицы знания).

Условимся под педагогическим тестом понимать систему определенным образом расположенных заданий, позволяющих выявить структуру знаний, умений и измерить их .

Результаты измерения заданий испытуемыми содержат самую разнообразную информацию в скрытой форме. Есть только один путь ее извлечения - сопоставление результатов выполнения достаточно большого числа заданий (необходимо "набрать статистику"). Только это позволяет получить выводы, заслуживающие доверия.

Педагогические тесты весьма разнообразны. С точки зрения целей применения, можно выделить:

- тесты достижения;

- критериально-ориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков;

- нормативно-ориентированные тесты, сравнивающие испытуемых друг с другом по уровням и учебным достижениям;

- аттестационные тесты, определяющие степень обученности;

- тесты прогнозирования результатов обучения.

Тесты могут использоваться для всесторонней оценки состояния испытуемых, например, до начала процесса их интеллектуального развития, способностей к конкретному учебному предмету, установления уровня обучаемости, уровня достижений в рассматриваемой области знаний.

В последнее время все большее признание в нашей стране получает новый вид тестов - критериально-ориентированные ("criterion-referenced test"), хотя в странах с высокой тестовой культурой они появились в шестидесятых годах.

Как и любой педагогический тест, критериально-ориентированный тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений. Но главная их особенность состоит в том, что критериально-ориентированные тесты сопоставляют уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков, которые должны быть усвоены студентами или учащимися.

Обычно критериально-ориентированные тесты используются для разделения учащихся на несколько групп по уровню их знаний. В самом простом случае это две группы - усвоившие и не усвоившие необходимый материал. В тесте образовательный стандарт выступает в виде критериального балла - минимального тестового балла, который должен получить студент, чтобы считаться усвоившим тот или иной материал. Для установления критериального балла используются экспертные методы анализа заданий.

Критериально-ориентированные тесты разрешают проблему соотношения тестовых баллов с традиционными педагогическими оценками. Устанавливаются такие критериальные баллы, которые делят испытуемых на группы, соответствующие оценкам "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Такая организация теста позволяет проводить в тестовой форме экзамены.

Критериально-ориентированные тесты помогают разрешить определенные задачи:

- сопоставление с требуемым стандартом образования достижений отдельных студентов, учебных групп;

- оценка доли учебного материала, усвоенной испытуемыми;

- выбор определенной технологии обучения;

- отбор испытуемых, достигших необходимого уровня квалификации.

В отличие от критериально-ориентированных, тесты достижений, как показывают проведенные нами исследования, являются надежным средством для быстрого и эффективного выявления уровня профессиональной подготовки студента и уровней обученности учащихся.

Тесты профессиональных достижений специфичны, предназначаются для конкретных профессий, и поэтому область их применения ограничена. Для нашего случая можно выделить две группы тестов профессиональных достижений:

- первая группа требует от испытуемого выполниения контрольных заданий, моделирующих профессиональную деятельность, на практически-семинарских занятия;

- вторая группа представляет собой набор заданий, выполняемых учащимися на практике.

Студенты, в зависимости от условий предъявления заданий, могут отвечать на них письменно или устно. Преподаватель в отдельных случаях может проводить опрос в форме интервью и беседы. Все эти методы характеризуются одним ведущим признаком: с их помощью получают ту информацию, которая заложена в словесных сообщениях опрашиваемых.

При беседе и интервью задания обсуждаются в очередности, которая предусмотрена конструкцией педагогического теста.

Методику разработки тестов достижений можно разбить на несколько исследовательских этапов:

- подбор типичных ситуаций, которые возникают в профессиональной деятельности учителя, "с одной стороны, они должны быть синтезированы и объединены вокруг определенной практической проблемы, имеющей многосторонний и целостный характер, а с другой ≈ они должны быть переведены на язык практических действий, практических ситуаций" ;

- разработка методов перевода ситуаций на язык педагогических задач;

- разработка различных вариантов решения педагогических задач;

- определение ценности (веса) различных решений по каждой конкретной педагогической задаче;

- установление правильной последовательности предъявления системы заданий, составляющих тест достижений;

- экспериментальная проверка составленного теста.

Анализ профессиографических данных и дополнительных сведений об учебных программах, методах, формах, средствах обучения показал, что для разработки тестов достижений этого недостаточно, нужно еще и наличие специальной системы профессиональных знаний и умений.

В первоначальном варианте тест достижений имеет избыточное число заданий, часть которых после первой экспериментальной проверки убирается. О необходимости иметь избыток заданий в предварительном варианте говорят все исследователи, занимающиеся вопросами создания тестовых методов. Для каждого задания устанавливается свой эталон ответа.

При подготовке тестов достижений применяется экспертная оценка знаний и умений, осуществляемая параллельно с тестированием. Сначала испытуемые выполняют тест, и после этого их опрашивает группа экспертов. Баллы по тестам сопоставляют с оценками. Процент совпадений должен быть высок ≈ 85-90%, это является гарантией того, что в тест включен основной материал по предмету, как его выявили эксперты.

В зависимости от характера деятельности испытуемого при выполнении педагогического теста различают:

- тесты со свободно конструируемыми ответами;

- тесты на дополнение ответов, приведенных в заданиях;

- тесты выбора верных ответов из общего числа предложенных в задании (альтернативные тесты);

- комбинированные тесты.

Для оценки дидактических возможностей перечисленных тестов необходимо остановиться на характерных особенностях теста вообще и отдельных видов, в частности.

Каждое из заданий теста, как уже упоминалось ранее, содержит информацию к решению. Характер и объем ее может варьироваться как дидактическая помощь испытуемому. Её избыток может играть положительную роль в тестах, используемых в режиме обучения и даже диагностики, но оказаться нежелательным в тестах для оценки достижений, где основной функцией теста является контроль.

Следующая особенность теста - он может ограничивать испытуемых в их действиях, поисках решения. Как и в предыдущем случае, оценка этой особенности теста не однозначна. Все зависит от целей тестирования. Так, нередко одно и то же задание теста может быть выполнено на основе различных идей, методов решения. Пытаясь оценить, насколько испытуемые овладели некоторым конкретным методом, следует исключить возможность решения другими.

Из всех видов тесты выбора имеют преимущество в предоставлении испытуемым свободы в ответах на задания, как это бывает при самостоятельном конструировании ответов. Это достигается путем включения в число ответов к заданиям альтернативного варианта - ответ иной", подразумевая ответ, отличный от всех остальных, приведенных к заданию.

Еще одна особенность тестов заключается в том, что конкретные формулировки заданий могут навязывать испытуемому вполне определенный порядок действий при их выполнении и логику поиска решения. Хорошо это или плохо - оценить однозначно невозможно. Все зависит от целей тестирования. Например, если основными целями применения теста является обучение, то рассматриваемая особенность тестов дает возможность формировать у испытуемых определенные методы рассуждений.

От вида теста самым существенным образом зависит, насколько проста и технологична обработка результатов тестирования. В этом смысле вне конкуренции тесты выбора. Тогда как при свободном конструировании ответов испытуемыми оказывается исключительно сложно обрабатывать результаты тестирования.

Заканчивая рассмотрение видов теста, следует упомянуть о так называемых ситуационных тестах, в которых все задания относятся к описанию одной и той же ситуации. К ситуационным тестам относятся тесты в форме программ решения задач и алгоритмов определенного типа. В них последовательность заданий диктуется логикой решения рассматриваемых задачных ситуаций. Результаты выполнения одних заданий могут быть использованы при выполнении последующих.

Как было отмечено выше, наиболее широкое распространение в педагогическом тестировании получили тесты выбора. Сравнивая их с другими видами педагогических тестов, следует отметить простоту обработки результатов их выполнения, что в рамках массового обучения имеет особую ценность. Перечислим ряд других ценнейших дидактических качеств тестов выбора.

1. Приводимые наборы ответов к заданиям теста:

а) средство доведения до испытуемых новой для них учебной информации;

б) средство показа различных мнений по одному и тому же вопросу;

в) показ различных идей, принципов, на основе которых может решаться рассматриваемая проблема.

2. Наборы ответов к заданиям - это средство диагностики, поскольку появляется возможность в число альтернативных ответов включать конкретные ошибки, что позволяет установить причины их возникновения.

3. Появляется возможность обеспечить "обратную связь" в обучении, как и для испытуемого, а отсюда и возможность для внесения коррективов в обучение.

4. Работа с тестом выбора является эффективным средством развития мышления испытуемых, поскольку она по своей сути складывается из операций сравнения, поиска альтернатив.

Встречающееся мнение о том, что ознакомление испытуемых с ложными ответами нежелательно, что эти ошибки могут закрепиться в их памяти, несостоятельно. Наоборот, работа с такими ответами позволяет вскрыть ошибочные мнения и их разрушить.

Ответы к заданиям теста могут находиться в различных отношениях друг к другу:

- противопоставления, противоположности, когда выбор одного из них в качестве верного является утверждением ошибочности всех остальных;

- равноправия, когда верными могут оказаться несколько из предложенных ответов;

- дополнения друг друга, когда только несколько отобранных ответов в сумме дают законченный ответ на поставленный в задании вопрос.

Процесс составления педагогических тестов является делом исключительно ответственным и трудоемким. Поскольку они являются основой контроля, диагностики в управлении процессом обучения, то становятся понятными исключительно высокие требования к содержанию и форме тестов. Если сказать в самом общем виде, то тест должен быть пригодным (валидным) с точки зрения поставленных перед ним целей измерения. Понятие валидности (перевод слова с английского valid - годный, пригодный) трактуется довольно широко.

В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя валидность присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя валидность свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы.

Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами.

Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов. В этом случае обычно берутся оценки, выставляемые испытуемому преподавателями-экспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные изменения общих результатов, то считается, что тест обладает валидностью. Мера согласованности указывает на меру валидности. Следует заметить, что тест нельзя назвать валидным или невалидным без указания сферы его применения.

Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснованы, такой тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, валидность по содержанию играет решающую роль.

Выбор критериев, по которым предстоит оценивать результаты работы испытуемых с тестом, должен быть безупречен (критериальная валидность), гарантируя надежность, объективность, обеспечивая нужную точность измерения, давая возможность разделить испытуемых (дифференцирующие возможности теста).

Считается, что к тестовым заданиям относятся те, которые отвечают одновременно трем требованиям - корректности содержания, форме и наличию системообразующих свойств. Первому требованию отвечают задачи, вопросы, и потому этот признак необходим, но не достаточен.

Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания . При разработке педагогических тестов придерживаемся данного утверждения. Традиционные вопросы не бывают ложными или истинными, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы не технологичны, вследствие чего их не рекомендуется включать в тест.

Задание в тестовой форме - это задания, к которым, помимо содержания, предъявляются требования тестовой формы, что делает их формулировки более лаконичными.

Самые жесткие требования предъявляются языку теста - однозначность его понимания испытуемыми, выразительность, лаконичность.

Таким образом, для разработки и применения в учебном процессе рассмотренных выше педагогических тестов необходимо учитывать объективные характеристики подготовительного процесса. А для этого нужно:

1. Выделить цели тестирования.

2. Отобрать педагогические ситуации.

3. Перевести (смоделировать) педагогические ситуации на язык учебных задач.

4. Переконструировать учебные задачи в тестовые задания.

5. Выбрать и оценить эталоны ответов.

6. Разработать план теста. (Предполагается раскладка необходимого числа заданий, исходя из общего предельного числа заданий разного уровня сложности).

7. Выделить аспекты тестирования.

8. Составить тест. (Эта работа должна проводиться опытными преподавателями).

9. Расположить задания в тесте с учетом системообразующих связей.

Следует отметить, что педагогический тест не может состоять из отдельных только легких или трудных заданий, он должен включать в себя задания различного уровня трудности, начиная с легкого и кончая трудным, на которые могут правильно ответить несколько испытуемых в тестируемой группе.

10. Проверить экспериментально разработанный тест.

В заключение следует отметить, что эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования.

При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора его содержания, которое можно определить как оптимальное отображение учебной содержания дисциплины в системе тестовых знаний.

Требование оптимальности предполагает использование определенной методики отбора, которая должна включать вопросы целеполагания, планирования и оценки качества содержания теста.

Целеполагание на этапе планирования содержания теста

Этап целеполагания является самым трудным и вместе с тем самым важным. От его результата зависит качество содержания теста. На этом этапе преподавателю необходимо решить вопрос, какие результаты студентов он хочет оценить с помощью теста.

Проблема сегодняшнего дня состоит в том, что представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Оказывается необходима промежуточная ступень, которую педагоги назвали предварительной операционализацией целей (этому закрученному выражению проще и лучше соответствует термин «конкретизация»).

Процесс конкретизации характеризуется рядом этапов, которые можно отобразить схематично на рис 1.

Состав требований к планируемым результатам обучения

В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Все это входит в систему научных знаний.

Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.

К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.

Представляет интерес структура умений предложенная проф. И.И.Кулибабой:

 Специальные, формирующиеся в процессе изучения отдельных дисциплин;

 Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;

 Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.

За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:

1. Знание названий, имен, фактов.

2. Фактуальные знания.

3. Знание определений и понимание их смысла.

4. Сравнительные и сопоставительные знания.

5. Классификационные знания.

6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.

7. Ассоциативные знания.

8. Причинные знания.

9. Алгоритмические, процедурные знания.

10. Обобщенные системные знания.

11. Оценочные знания.

12. Процессуальные знания.

13. Абстрактные знания.

14. Структурные знания.

15. Методологические знания.

Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл.1).

Обобщенные учебные цели (планирует преподаватель )	Конкретизируемые учебные цели (достигаются студентом)
Знания на уровне запоминания и воспроизведения	Знает смысл употребляемых терминов, Знает основные понятия и определения, Знает формулы, законы, принципы
Знания на уровне понимания	Понимает и интерпретирует термины, Интерпретирует понятия и определения, Преобразует словесный материал в математические выражения, Интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в известной ситуации	Умеет применять термины, понятия и определения в знакомой ситуации по образцу, Умеет применять формулы, законы и принципы
Умения по применению знаний в незнакомой ситуации	Использует законы и принципы в новых ситуациях, Осуществляет перенос известных принципов на незнакомые ситуации
Анализ	Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, Выделяет скрытые предположения, Проводит различия между фактами и следствиями.
Синтез	Пишет рефераты, проекты и т.п. Предлагает план проведения эксперимента, Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую.
Оценка	Сопоставляет факты, Приводит оценочные суждения, Выбирает оптимальный вариант из предложенных к рассмотрению.

После определения целей тестирования и их конкретизации разрабатывается план теста и его спецификация. При разработке плана определяется раскладка процентного содержания разделов дисциплины и число заданий по каждому разделу.

Раскладку начинают с подсчета планируемого числа заданий в тесте, которое затем будет меняться в процессе работы над тестом в сторону увеличения или уменьшения. Предельное число заданий в тесте не должно превышать 60-80, поскольку на тестирование отводится время не более 2-х часов. На выполнение одного задания теста отводится примерно 2 минуты. План теста можно свести в табл. 2.

Табл.2 – Пример плана теста

	Контролируемое содержание (раздела, дисциплины)	Число заданий	Номера заданий
	Определение уравнений Эквивалентность уравнений ………………………………. ………………………………. ……………………………….

Спецификация теста

После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:

1. Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения.

2. Перечень нормативных документов (стандарты специальности, базисные программ, требования к уровню подготовки выпускников.

3. Описание общей структуры теста, включающее перечень субтестов (если они имеются) с указанием подходов их разработки.

4. Количество заданий различной формы с указанием числа ответов к закрытым заданиям. Общее число заданий в тесте.

5. Число параллельных вариантов в тесте, либо ссылка на кластер, содержащая номера и количество заданий кластера.

8. Соотношение заданий по различным разделам и видам учебной деятельности.

10. Охват требований стандартов (для аттестационных тестов).

11. Перечень требований, не вошедших в тест (для аттестационных тестов).

12. Стратегия расположения заданий в тесте, рекомендуемая разработчиком.

Предположительно, эта спецификация – набор документов для регистрации теста.

Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины), см. п.8. Пример реализации подобного сопряжения показан в табл.3. Перечень знаний и умений условно включены:

А - знание понятий, определений, терминов;

Б - знание законов и формул;

В - умение применять законы и формулы для решения задач;

Г- умение интерпретировать результаты на графиках и схемах;

Д-умение проводить оценочные суждения.

Табл.3 – Гипотетическая спецификация теста

	Планируемые к проверке знания и умения					Σ-заданий по каждому пункту
	Итого (строка и рассчитывается и заполняется первой

При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе «обкатки» теста первоначальная раскладка может существенно измениться.

Спецификация, предлагаемая сотрудниками ИОСО РАН, основана на процентном соотношении заданий планируемых сообразно разделам дисциплины и видам предполагаемой деятельности испытуемого в процессе выполнения теста.

После отбора содержания теста для разработчика наступает этап создания предтестовых заданий. Грамотно их может сделать опытный преподаватель, -умеющий правильно выбрать форму предтестового задания для проверяемого учебного материала, -имеющий дополнительные знания по теории и методике создания педагогических тестов.

Формы предтестовых заданий

В отечественной и зарубежной научно-педагогической литературе предтестовые задания классифицируют на:

задания закрытой формы (с множественным выбором), в которых тестируемый выбирает правильный ответ из данного набора ответов;

задания открытой формы (задания на дополнение ), требующие от тестируемого самостоятельное получение ответа;

задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств;

задания на установление правильной последовательности , в которых тестируемый должен указать порядок действий или процессов.

Требования к предтестовым заданиям

Аксиома 1 . При составлении предтестовых заданий опираются на общепринятые требования:

каждое предтестовое задание имеет свой порядковый номер, который может изменяться после объективной оценки трудности задания и выбора стратегии предъявления теста;

каждое предтестовое задание имеет эталон правильного ответа;

в предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

предтестовые задания одной формы сопровождаются стандартной инструкцией, предваряющей формулировку заданий в тесте;

для каждого задания разрабатывается правило выставления дихотомической или политомической оценки;

предтестовое задание должно быть по форме предъявления и по времени выполнения достаточно кратким.

Аксиома 2. Процесс тестирования стандартизуется, если:

ни одному тестируемому не дается никаких преимуществ перед другими;

система подсчета баллов ко всем ответам тестируемых без исключения;

в тест включаются задания одной формы, либо разных форм с соответствующими весовыми коэффициентами, полученные статистическим путем;

тестирование различных групп испытуемых проводится в одинаковое время и сходных условиях;

группа тестируемых выровнена по мотивации;

все испытуемые отвечают на одни и те же задания.

Задания закрытой формы

Задания закрытой формы имеют недостаток в быстром рассекречивании и плохо удовлетворяют условию (аксиома 2,п.6.). В заданиях закрытой формы имеется основная часть, содержащая постановку проблемы, и готовые ответы, сформулированные разработчиком теста. Обычно правильным ответом бывает только один. Правдоподобные ответы называются дистракторами. Число дистракторов в задании, как правило, не более пяти (редко – 7). Дистрактор, называют неработающим, если ни один из тестируемых его не выбрал. Такой дистрактор убирают. Если разработчику трудно представить дистракторы, то используют два метода их получения:

1. Для получения правдоподобных дистракторов студентам предъявляются незаконченные списки вариантов выбора, с последующим использованием неправильных ответов;

2. Предъявление группе испытуемых заданий в открытой форме и последующим анализом типичных ошибок в дописанных ответах.

Тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью.

Если тестирование производится с помощью бланков, то задания закрытой формы с одним правильным ответом сопровождаются инструкцией:

ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА.

При компьютерной выдаче заданий может быть инструкция вида:

НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА

Предтестовые задания в закрытой форме с одним правильным ответом выполняют по следующим правилам:

в тексте задания не должно быть двусмысленности и неясности формулировок;

основная часть задания формулируется из одного предложения из семи- восьми слов (желательно);

задание имеет простую синтаксическую конструкцию, одним придаточным предложением (желательно);

основная часть должна содержать как можно больше слов, оставляя для ответа не более 2-3 ключевых слов для данной проблемы;

ответы к одному заданию должны быть одной длины, либо правильный ответ может быть короче других в пределах задания;

исключаются все вербальные ассоциации , способствующие выбору правильного ответа с помощью догадки;

частота выбора одного и того же номера для правильного ответа в различных заданиях текста должна быть одинакова, либо этот номер может быть случайным;

основная часть задания освобождается от всякого иррелевантного материала;

основная часть формулируется в форме утверждения, которая обращается в истинное или ложное высказывание после подстановки одного из вариантов ответа;

из числа тестовых исключаются задания, содержащие оценочные суждения и мнения студента по какому-либо вопросу.

дистракторы должны быть равно привлекательными для испытуемых, не знающих правильного ответа;

ни один из дистракторов не может быть частично правильным ответом, превращающихся при определенных дополнительных условиях в правильны ответ;

из ответов исключаются все повторяющиеся слова путем ввода их в основной текст задания;

из числа неправильных исключаются ответы, вытекающие один из другого;

ответ одного задания не должен служить ключом к правильным ответам другого задания, т.е. нельзя использовать дистракторы из одного задания в качестве правильных ответов другого;

все ответы должны быть параллельными по конструкции и грамматически согласованы с основной частью задания теста;

если в задании имеются альтернативные ответы, то не следует их ставить рядом с правильным, ибо на них будет сразу сосредоточено внимание.

Создать тест, удовлетворяющий всем этим правилам невозможно. Но принято считать, что если тест удовлетворяет 9-10 рекомендациям, то он – рабочий.

Задания открытой формы (задания на дополнение)

В заданиях на дополнение готовые ответы не даются. Их должен получить тестируемый. Эти задания встречаются двух видов:

1. С ограничениями, налагаемыми на ответы, возможности получения которых соответствующим образом определены по содержанию и по форме представления;

2. Со свободно конструируемыми ответами, в которых испытуемые должны составить развернутый ответ в виде решения задачи или эссе.

Задания второго вида не имеют никаких ограничений на содержание и форму представления ответов. Эти задания близки к традиционным контрольным заданиям, и поэтому положительно воспринимаются большинством преподавателей. Но они требуют больших затрат на проверку и сложнее поддаются компьютеризации.

При ответе на открытое задание с ограниченным ответом испытуемый дописывает пропущенное слово, формулу, символ или число на месте прочерка. Разработка заданий на дополнение с ограниченным ответом подчиняются следующим правилам:

1. каждое задание должно быть нацелено только на одно дополнение, место которого обозначено точками или прочерком;

2. Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

4. Дополнения ставятся в конце задания или как можно ближе к концу;

5. После прочерка, при необходимости, указываются единицы измерения;

6. Текст задания должен иметь простую синтаксическую конструкцию и содержать минимальное количество информации, необходимое для правильного выполнения задания;

7. В тексте исключаются повторы и двойное отрицание.

Задания на установление соответствия

В заданиях на установление соответствия тестируемый должен показать знание связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, а справа – элементы, подлежащие выбору. Возможно иное расположение. К заданиям прилагается стандартная инструкция состоящая из двух слов:

УСТАНОВИТЕ СООТВЕТСТВИЕ

При разработке заданий на соответствие руководствуются следующими правилами:

2. Элементы задающего столбца располагаются слева, а элементы выбора – справа;

3. Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

4. Необходимо, чтобы правый столбец содержал несколько дистракторов (лучше, когда их в 2 раза больше);

5. Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

6. Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;

7. В дополнительной инструкции к заданию необходимо сообщить испытуемому о наличии дистракторов в правом столбце, и сколько раз используется каждый элемент правого столбца (один или более);

8. задание располагается на одной странице, без переноса его элементов на другую.

Основная трудность в разработке такого вида тестов связана с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого избыточного элемента устанавливается эмпирически.

Задания на установление правильной последовательности

Задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п., которые приводятся в случайном порядке. Испытуемый должен установить правильный порядок действий, процессов и указать его с помощью цифр (алгоритм сортировки). Инструкция к заданиям имеет вид:

Эти задания специфичны. Содержание многих дисциплин сложно трансформировать в задания этой формы.

Сравнительная характеристика форм предтестовых заданий.

Выбор форм предтестовых заданий определяется спецификой содержания учебной дисциплины, целями создания и применения теста.

Легко организовать компьютерный сбор и анализ результатов теста в том случае, когда все задания имеют закрытую форму. Результаты выполнения заданий на дополнение с ограниченным, а тем более с открытым ответом требуют ручной обработки. Потребуется и привлечение экспертов.

В каждом тесте можно использовать несколько форм, но желательно, чтобы их было в одном тесте как можно меньше. Этим отличаются профессиональные тесты. Требование единства формы очень важно при создании итоговых тестов. С другой стороны, требование моноформости не всегда выполнимо, поэтому часто приходится идти на совмещение форм, что негативно отражается на точности измерений.

Для облегчения проблемы выбора результаты сопоставительного анализа двух первых форм сведены в табл. 4.

Табл. 4.- Сопоставительный анализ предтестовых заданий

Технологические характеристики форм	задания закрытой формы	задания открытой формы
с ограничением ответа	со свободным ответом
Проверка фактологического материала			пригодны
Проверка умений применения знаний по образцу (репродуктивный уровень)
Проверка умений применения знаний в незнакомой ситуации (продуктивный уровень)
Простота в конструировании
Исключение эффекта угадывания
Объективность в оценке результата выполнения		зависит от качества задания	оценка субъективна
Исключение ошибок испытуемых при написании ответов			на оценку влияет фактор самовыражения
Возможность оригинального ответа

Пример тестового задания четвертой формы

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ

Для создания системы тестового контроля в учебном заведении по месту работы необходимо:

создать банк тестовых заданий

разработать программно-инструментальные средства

провести с преподавателями своего учебного заведения занятия по методике конструирования тестов

выдать тесты учащимся для сбора эмпирических данных

доложить руководству о результатах обучения

сформировать коллектив преподавателей - разработчиков тестов

приступить к созданию тестов

интерпретировать результаты обработки

внимательно разобрать и осмыслить содержание прослушанных лекций по методике конструирования тестов.

ЛИТЕРАТУРА:

Аванесов B.C. Научные проблемы тестового контроля знаний. Учебное пособие. М., 1994. - 135 с.

Гуревич К.М. Методы тестирования в дидактических исследованиях. Методы педагогических исследований. М., 1979. С. 139 - 158.

Бернштейн М.С. К методике составления и проверки тестов. Вопросы психологии. 1968. N 1. С. 51-66.

Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Учебное пособие для слушателей Учебного центра. М., 1989. ≈ 107 с.

Психологическая диагностика: Учебное пособие. Научно-издательский центр Бийского пединститута, 1993. ≈ 324 с.

Энциклопедический словарь. Гл. ред. A.M. Прохоров. 3-е изд. М.: Советская энциклопедия, 1985. ≈ 1600 с.: ил.

Сосновский В.И., Тесленко В.И. Вопросы управления в обучении. Часть 1. (Педагогическое тестирование). Красноярск, 1995. ≈ 90 с.

Моделирование педагогических ситуаций: Проблемы повышения качества и эффективности общепедагогической подготовки учителя. Под ред. Ю.Н. Кулюткина, Г.С. Сухобской. М.: Педагогика, 1981. ≈ 120 с.: ил.

Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

1. При создании тестов для проверки остаточных знаний по соответствующей дисциплине или для проверки итоговых знаний обучающегося/студента на основании программы дисциплины определяется область содержания теста и цели тестирования .

План теста (Приложение 1) для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ГОСом по профессии/специальности.

3. Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4. Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.

1. При разработке плана тестовых заданий по дисциплине делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

Основные термины тестового задания должны быть явно и ясно определены.

Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов по конкретной области знаний.

Тестовые задания должны формулироваться в виде свернутых кратких суждений.

Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

При конструировании тестовых ситуаций можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

Среднее время на тестовое задание не должно превышать 1,5 минуты.

1. Рекомендуется соблюдать следующие параметры тестов:

Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий –70%- 85%), а также включение дополнительных тестовых заданий (вариативная часть тестовых заданий – 15%-30%).

Необходимо проводить подбор заданий, комплексно отображающих основные темы учебной дисциплины.

Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.

Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.

Необходимо проверять соответствие содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.

В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения (ключевого понятия, термина, правила, определения и т.д.).

1. Спецификация теста включает :

Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Охват требований государственных образовательных стандартов по дисциплине.

1. Рекомендации к формулировкам тестовых заданий

Основными элементами тестового задания являются инструкция, задание (содержательная часть), ответы к заданию.

Инструкция к тестовым заданиям определяет перечень действий при прохождении тестирования. Она должна быть адекватна форме и содержанию задания («укажите правильный ответ (ответы)», «установите соответствие», «определите правильную последовательность», «введите правильный ответ»).

Используемая терминология не должна выходить за рамки основных учебников и нормативных документов.

Все повторяющиеся слова должны быть исключены из ответов и вынесены в содержательную часть задания.

Все варианты ответов должны быть грамотно согласованы с содержательной частью задания, однообразны по содержанию и структуре, равнопривлекательны. Между ответами необходимы четкие различия. Правильный ответ однозначен и не должен опираться на подсказки.

Среди ответов должны отсутствовать ответы, вытекающие один из другого.

В варианты ответов нельзя включать формулировки «все перечисленное выше», «все утверждения верны», «перечисленные ответы не верны», так как такие ответы нарушают логическую конструкцию тестового задания или несут подсказку.

Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.

1. Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Существуют два типа заданий, которые объединяют шесть видов

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др.

Форма задания

Текст задания (вопрос)	Ответ
Утверждение 1	да	нет
Утверждение 2	да	нет
Утверждение 3	да	нет

... ...

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

1. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2. Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;

3. Задание должно иметь предельно простую синтаксическую конструкцию;

4. В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;

5. Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;

6. Из текста должны быть исключены все ассоциации, способствующие выбору правильного ответа с помощью догадки;

7. Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;

8. Из ответов исключаются все повторяющиеся слова за счет ввода их в основной текст заданий;

10. Из числа неправильных должны исключаться ответы, вытекающие один из другого;

11. Из числа тестовых должны исключаться задания, содержащие оценочные суждения или мнения испытуемого по какому-либо вопросу;

12. Все варианты ответов должны быть равновероятно привлекательны для испытуемых;

13. Ни один из вариантов ответов не должен являться частично правильным, превращающимся при определенных дополнительных условиях в правильный;

14. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;

15. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

16. Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;

17. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (ие) варианту (ам) правильного (ых) ответа (ов).

3. Задания на восстановление соответствия.

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда. Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:M (одному элементу первой группы соответствует М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Форма представления заданий на восстановление соответствия:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос:

Варианты ответа:

Столбец 1	Столбец 2

Ответ: А. 3. Б. 2. В. 5. Г. 1. Д. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание.

Инструкция: Расположите в правильной последовательности.

Вопрос.

Варианты ответа.

1. А.

2. B.

3. С. ……. Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

Не учитывается умение испытуемых хорошо формулировать ответы.

Задания этого типа легко обрабатываются, тестирование быстро проводится.

Простой алгоритм заполнения снижает количество случайных ошибок и описок.

Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

Возможна машинная обработка ответов.

Низкая вероятность угадывания правильных ответов.

Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования

Задания открытого типа

Требует сформулированного самим тестируемым заключения на требования задания. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, слово или словосочетание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании открытой формы вводит тестируемый на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это...

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это... ...

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки.

1. Критерии выставления оценки

Оценка «удовлетворительно» ставится, если обучающийся/студент ответил на от 55 до 70% вопросов. Оценка «хорошо» ставится, если обучающийся/студент получил от 71 до 85%. Оценка «отлично» ставится, если обучающийся/студент получил 86% и более.

Основные типы химических реакций

3.2, 3.3

Периодическая система Д.И.Менеделеева и свойства химических элементов

Химическая связь и строение вещества

Химическая кинетика и катализ. Скорость реакций. Катализ. (Задача)

2. 2.3

Химическое равновесие. Константа равновесия. Смещение равновесия.

2.1,

Дисперсные системы. Общие свойства растворов. Энергетика растворения.

А10

Состав растворов. Массовая доля. Молярная концентрация.

1.1,

А11

Растворы электролитов. Диссоциация кислот, оснований, солей.

А12

Кислотно-основные реакции. Гидролиз солей.

Всего

*Примечание. Виды тестовых заданий:

1 - задания с выбором одного или нескольких правильных ответов;

2 - задания открытой формы, т. е. без указания ответов (дополнения и свободного изложения)

3 - задания на установление соответствия

4 - задания на установление правильной последовательности

5 – задания альтернативных ответов

В заданиях на установление соответствия проверяется знание связей между элементами двух множеств. Такие задания позволяют проверить так называемые ассоциативные знания - знания о взаимосвязи определений и фактов, форм и содержания, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Обычно слева приводятся элементы задающего множества, справа - элементы, подлежащие выбору. Каждое задание завершается строкой ответов, в которой испытуемый проставляет на месте прочерков буквы, соответствующие выбранным элементам из правого множества.

Общие требования к заданиям на установление соответствия:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств (столбцов) с соответствующими названиями, обобщающими все элементы столбца;

Правый столбец должен содержать хотя бы несколько дистракторов; все дистракторы в одном задании должны быть равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;

Всё задание необходимо располагать на одной странице, не допуская переноса отдельных элементов.

Принципы композиции заданий на установление соответствия:

1. П ринцип фасетности - основной принцип композиции заданий данной формы. Он позволяет заменять основные элементы задания, активизируя самостоятельную работу студентов, и исключить условия для списывания.

Центры происхождения КУЛЬТУРА

культурных растений

1) Среднеазиатский А) кукуруза

2) Африканский Б) картофель

3) Южноамериканский В) арбуз

Г) виноград

Ответы: 1____,2____,3____

Применение некоторых заданий повышает учебный интерес. Например, задание по комедии А.С.Грибоедова «Горе от ума»;

РЕПЛИКИ ПЕРСОНАЖИ

1) Счастливые часов не наблюдают А) Фамусов

2) Ох! Басни - смерть моя! Б) Молчалин

3) Ей сна нет от французских книг, В) Чацкий

А мне от русских больно спится. Г) Софья

4) Дома новы, а предрассудки стары. Д) Хлестова

5) И впрямь с ума сойдешь от этих Е) Загорецкий

от одних от пансионов, школ, Ж) Скалозуб

лицеев... 3) Репетилов

Ответы: 1___, 2___, 3 __ , 4___, 5___.

Основные элементы композиции заданий на соответствие

Основные элементы композиции заданий этой формы: инструкция, названия двух столбцов, элементы этих столбцов с номерами и буквами, строку ответа.

Инструкция: УСТАНОВИТЕ СООТВЕТСТВИЕ

Названия двух столбцов должны относиться ко всем элементам представляемого класса, т.е. элементы столбца должны полностью соответствовать его названию. По возможности, названия столбцов должны быть короткими и точными, понятными для всех испытуемых с первого чтения.

Элементы столбцов выражают содержание задания. Как уже отмечалось, число элементов в правом столбце должно быть примерно в два раза больше числа элементов в левом столбце. Для идентификации элементов используются номера (для элементов левого столбца) и буквы (для элементов правого столбца).

Строка ответов композиционно завершает задание и указывает испытуемому место, куда нужно заносить ответы.

Оценка. При оценке заданий на установление соответствия используются различные подходы. При первом подходе оценка в 1 балл дается за правильное выполнение всего задания, в противном случае - 0 баллов, даже за одну допущенную ошибку. При другом подходе по одному баллу дается за каждое правильно установленное соответствие. Третий подход: за все правильные ответы давать 2 балла, за одну допущенную ошибку - 1 балл, за две ошибки и более - О баллов.

Если тест состоит из заданий разных форм, то лучше использовать первый подход к оценке: за каждое правильно выполненное задание - независимо от формы - давать 1 балл. Исключения допускаются, если есть основания считать задания на установление соответствия более важными с точки зрения проверки знания учебной дисциплины, чем задания других форм.

Основная сфера применения заданий на соответствие - это текущий и тематический контроль знаний. Также они хорошо подходят для самоподготовки и самоконтроля. Значительно реже они используются при аттестационных мероприятиях.

Задания на установление правильной последовательности

Задания на установление правильной последовательности предназначены для оценки уровня владения последовательностью действий, процессов и т.д. В задании приводятся в произвольном случайном порядке действия, процессы, элементы, связанные с определенной задачей. Испытуемый должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте (как правило, в прямоугольниках, стоящих слева перед каждым элементом задания).

Можно выделить несколько вариантов применения таких заданий.

1) последовательность исторических событий.

2) последовательность технологических действий и операций.

3) последовательность различных процессов.

4) цепочка умственных действий, образующая систему знаний, умений, навыков и представлений.

Инструкция к заданиям на установление правильной последовательности имеет вид:

Пример: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ. СОБЫТИЙ ФЕВРАЛЯ-ОКТЯБРЯ 1917 Г.

VI съезд РСДРП (б)

Отречение царя Николая 11

Приезд Ленина

Создание Петроградского совета

Взятие Зимнего дворца

Корниловский мятеж

Ликвидация двоевластия

II съезд Советов

С помощью заданий этой формы можно проверять знание не только исторического процесса, но и знание литературного, художественного, лингвистического.

Задания на установление правильной последовательности особенно эффективны на заключительной стадии профессиональной подготовки, что объясняется важной ролью алгоритмов в профессиональной деятельности. Цель введения таких заданий в учебный процесс - формирование алгоритмического мышления и алгоритмических знаний, умений и навыков. Алгоритм представляет собой систему четких правил упорядоченной деятельности. Основные требования к алгоритму: он должен быть понятен и доступен учащемуся, корректен с точки зрения цели и содержания, однозначен по трактовке и результативен в процессе осуществления заданного числа шагов. При этом однозначность предполагает наличие только одного алгоритма, соответствующего правильному ответу.

Задания на установление правильной последовательности помогают решать трудную задачу формирования структуры знаний. Дело в том, что такие задания сложнее заданий других форм. Поэтому, если испытуемые знают правильные ответы на такие трудные задания, то они должны знать ответы и на предыдущие, более легкие задания. Это и есть признак правильной структуры знаний.

Пример: РАЗБОР СЛОВА ПО СОСТАВУ

Выделить суффикс

Выделить корень

Найти основу

Подобрать однокоренные слова

Выделить окончание

Выделить приставку

Элементы композиции заданий на установление правильной последовательности

К элементам композиции заданий данной формы относят

Инструкцию к заданию, название задания, его содержание и место для ответов.

Из названия задания испытуемый узнает, о чем его спрашивают, и знание чего он должен продемонстрировать. Ключевое слово в названии лучше писать и именительном падеже.

Повторим, что задания этого типа проверяют не все, а только определенные знания: алгоритмические, процессуальные, процедурные, технологические (в той части, которая связана с последовательностью операций).

Место для ответов - это прямоугольники, нарисованные слева, против катания каждого элемента. В них нужно проставить соответствующие цифры (ранги).

В самом задании элементы ставятся в случайном порядке. Окончания всех слов лучше писать в именительном падеже, чтобы испытуемые не могли угадать правильный ответ по окончаниям слов.

Оценка за выполнение задания рассматриваемой формы может варьироваться в зависимости от его важности и трудности. Однако, преимущественно используется дихотомическая оценка: 1 балл дается за правильную расстановку всех рангов в задании, 0 баллов - при ошибке в ответе. Если первый ответ определен неправильно, то неправильно определяются и другие ответы.

Задания на установление правильной последовательности довольно специфичны, содержание многих дисциплин не поддается трансформации в эту форму.

В заданиях на установление соответствия надо установить соответствие элементов одного столбца элементам другого столбца.В заданиях на установление соответствия надо установить соответствие элементов одного столбца элементам другого столбца. Такие задания позволяют проверитьТакие задания позволяют проверить - знания о взаимосвязи определений и фактов; - авторов и произведений; форм и содержания; - сущности и явлений; - соотношение между различными предметами, законами, формулами, датами. - соотношение между различными предметами, законами, формулами, датами.

Задания открытой формы представляют трудности в разработке, поскольку их формулировки должны быть предельно чёткими, ясными для понимания и содержать единственно возможный правильный ответ.Задания открытой формы представляют трудности в разработке, поскольку их формулировки должны быть предельно чёткими, ясными для понимания и содержать единственно возможный правильный ответ.

Требования при разработке заданий на соответствие задания формулируются в рамках двух множеств;задания формулируются в рамках двух множеств; задающие элементы располагаются слева, а элементы для выбора справа;задающие элементы располагаются слева, а элементы для выбора справа; необходимо наличие нескольких дистракторов и все дистракторы должны быть правдоподобны;необходимо наличие нескольких дистракторов и все дистракторы должны быть правдоподобны; материал заданий на соответствие должен быть гомогенным.материал заданий на соответствие должен быть гомогенным.

Инструкция «Установить соответствие» «Установить соответствие» Не рекомендуется дополнять эти слова различными пояснениями типа «Установить соответствие между тем-то и тем-то» Не рекомендуется дополнять эти слова различными пояснениями типа «Установить соответствие между тем-то и тем-то»

Заголовки столбцов должны относиться ко всем элементам представляемого списка;относиться ко всем элементам представляемого списка; быть короткими, точными и понятными для всех без исключения.быть короткими, точными и понятными для всех без исключения. Пример: Пример: Выражение Значение выражения Слова Падежи Авторы Произведения

Элементы столбцов Выражают содержание задания. Выражают содержание задания. Подбор их ограничен содержанием учебного плана и программы курса. Подбор их ограничен содержанием учебного плана и программы курса. Число элементов правого столбца всегда больше элементов левого. Число элементов правого столбца всегда больше элементов левого.

Номера и буквы Используются как идентификаторы (метки) элементов. Используются как идентификаторы (метки) элементов. Цифры лучше писать в левом столбце, отделяя от содержания столбцов точкой, буквы – в правом, отделяя круглой скобкой и пробелом. Цифры лучше писать в левом столбце, отделяя от содержания столбцов точкой, буквы – в правом, отделяя круглой скобкой и пробелом. Номер задания ставится рядом с первым заголовком задания.Номер задания ставится рядом с первым заголовком задания.

Примеры: Установить соответствие: Уравнение Корень уравнения Уравнение Корень уравнения – Х= 0 А) – Х= 0 А) 5 2. Х: 8 = 80 Б) Х: 8 = 80 Б) : Х = 15 В) : Х = 15 В) Х – 72 = 10 Г) Х – 72 = 10 Г) 83 Д) 640 Д) 640 Е) 82 Е) 82 Ответы: 1___, 2___, 3____, 4____. Ответы: 1___, 2___, 3____, 4____.

Пример: Установите соответствие: 1. Животные Природные зоны 1. Животные Природные зоны 1. рысь А) пустыня 1. рысь А) пустыня 2. тюлень Б) субтропики 2. тюлень Б) субтропики 3. ушастый еж В) тундра 3. ушастый еж В) тундра Г) степь Г) степь Д) лесостепь Д) лесостепь Ответы: 1__, 2__, 3___. Ответы: 1__, 2__, 3___.

Пример: СОБЫТИЕ ДАТА 1.Отмена крепостного права А г. 2. Начало Крымской войны Б г. 3.Окончание Крымской войны В г.. Г г.. Г г. Д г Д г Ответы: 1___, 2___, 3___.

Установить соответствие:Установить соответствие:ИНСТРУКЦИЯЗАДАНИЯ 1) Установить правильную последовательность А) открытые 2) Установить соответствие Б) табличные 3) Обвести кружком номера всех правильных ответов В) с выбором одного или несколько правильных ответов 4) Дополнить Г) на установление соответствия Д) на установление правильной последовательности

Строка ответов Помогает тестируемому определить место, куда заносить свои ответы.Помогает тестируемому определить место, куда заносить свои ответы. Она располагается точно посередине задания, иногда – на свободном месте в первом столбце.Она располагается точно посередине задания, иногда – на свободном месте в первом столбце.

Матричные задания - вариант заданий на установление соответствия, но применяются они редко, из-за громоздкости и больших затрат. вариант заданий на установление соответствия, но применяются они редко, из-за громоздкости и больших затрат. Примеры: Примеры: 2.Величина Единицы Приборы 2.Величина Единицы Приборы измерения измерения 1. длина А) кв. м C) термометр 1. длина А) кв. м C) термометр 2. площадь Б) м/с D) линейка 2. площадь Б) м/с D) линейка В) м Q) транспортир В) м Q) транспортир W) компас W) компас Ответы: 1 ___ ___ 2___ ____. Ответы: 1 ___ ___ 2___ ____.

Оценка 1 балл за правильное выполнение всего задания.1 балл за правильное выполнение всего задания. По одному баллу за каждое правильно установленное соответствие.По одному баллу за каждое правильно установленное соответствие. За все правильные ответы – 2 балла, за одну пропущенную ошибку снизить оценку до 1 балла, за две и более ошибок – 0 баллов.За все правильные ответы – 2 балла, за одну пропущенную ошибку снизить оценку до 1 балла, за две и более ошибок – 0 баллов.

Применение Основная сфера применения заданий на соответствие – это текущий и тематический контроль.Основная сфера применения заданий на соответствие – это текущий и тематический контроль. Их лучше применять для самоконтроля.Их лучше применять для самоконтроля. Они реже используются при входном и итоговом контроле.Они реже используются при входном и итоговом контроле. Почти совсем не используются при аттестации.Почти совсем не используются при аттестации.