2.2. Формы тестовых заданий

К оглавлению
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 
17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 
34 35 36 37 38 39 40 41 42 43 44 45 46 47 

Общие требования. Существует ряд общих требований к созданию тестовых заданий в тестах достижений, которые должны выполнятся при использовании всех форм тестовых заданий. Это следующие требования:

- каждое задание имеет свой порядковый номер;

- каждое задание имеет только один правильный от­вет;

- в задании все элементы располагаются на местах, фиксированных в рамках выбранной фор­мы;

- задания одной формы группируются вместе и предваряются стандар­тной инструкцией;

- для каждого задания разрабатывается правило выставления дихотомической или политомической оценки;

- задание должно быть достаточно кратким по форме предъявления и по времени выполнения, которое обычно не превышает 3-5 мин.

Инструкция. Инструкция для испытуемых, выполняющих тест, должна быть предельно простой и понятной, иначе некоторые испытуемые не смогут ее понять и из-за этого получат плохие результаты.

Инструкция должна быть:

- предельно крат­кой;

- сформулирована предельно просто, в частности, с использованием простых предложений без уточня­ющих придаточных предложений;

- иметь примеры, поясняющие алгоритм прохождения теста.

Виды заданий. По своей форме тестовые задания могут быть нескольких видов. К наиболее употребительным относятся следующие:

1) задания закрытой формы с множественным выбором, в ко­торых учащиеся выбирают правильный ответ из набора от­ветов;

2) задания открытой формы на дополнение, требующие от учащегося самостоятельного формулирования ответа;

3) задания с множественным вы­бором на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

4) задания на установление правильной последовательности, в которых от учащегося требуется указать порядок действий или про­цессов, перечисленных в задании.

В целом выбор формы зависит от содержания курса и от целей контроля. Обычно предпочтение отдается заданиям в зак­рытой форме в силу их наибольшей стандартизации. Их основные преимущества связаны с быстротой тестирования, с простотой подсчета итоговых баллов учеников. С их помощью мож­но более полно охватить содержание учебной дисцип­лины и, следовательно, повысить обоснованность итоговых оце­нок учащихся. К недостаткам заданий в закрытой форме относится, прежде всего, эффект угадывания, характерный для слабо подготовленных учеников при ответах на трудные задания теста. Но можно нивелировать эффект угадыва­ния с помощью различных приемов.

Задания закрытой формы с множественным выбором. Такое задание состоит из двух частей: основной части, которая содержит вопрос (или утверждение), и вариантов ответа, из которых испытуемые должны избрать правильный. Таких вариантов обычно четыре или пять. Задания такой формы сопровождаются инструкцией: «Обведите номер правильного ответа». При компьютерной выдаче заданий инструкция может иметь вид: «Для ответа нажмите клавишу с номером правильного ответа». Каж­дый ответ сравнивается с ключевым для выявления правильных от­ветов, после чего подсчитывается суммарный балл.

Рассмотрим несколько примеров, взятых из курса «Общая психология».

 

Примеры тестовых форм

 1. Выберите правильный вариант ответа.

Зрительный анализатор - вид анализатора, работающий на основе превращения в зрительные ощущения энергии электромагнитного излучения светового диапазона в пределах от:

а) 30 до 100 нанометров, б) 100 до 300 нанометров, в) 300 до 1000 нанометров, г) 3000 до 10000 нанометров

Ответ: в

2. Выберите правильный вариант ответа.

«Метод зрительного предпочтения», основанный на предположении, что дети проявляют свой интерес в том, что рассматривают какой-то один какой-то признак дольше, чем другой, разработал.

а) Дж.Гибсон, б) Р.Франц, в) Ж.Пиаже, г) Р.Грегори

Ответ: б

3. Выберите правильный вариант ответа.

Вид анализатора, за счет работы которого осуществляется анализ и синтез сигналов, идущих от органов движения, называется:

а) кинестезическим, б) соместетическим, в) ноцицептивным, г) висцеральным

Ответ: а

 

При создании заданий такой формы следует руководствоваться следующими рекомендациями.

1. Задание должно быть записано настолько просто, насколько это возможно для его точного понимания. В тексте задания должна быть устранена всякая двусмыслен­ность и неясность формулировок. Нежелательно чтобы на результаты оказывали влияние уровень словарного запаса испытуемого или его общие способности.

2. Основная часть задания формулируется кратко и включает, как правило, одно предложение из семи-восьми слов. В сравнении с вариантами ответов в сам вопрос следует включать как можно боль­ше слов, оставляя для ответов не более двух-трех наиболее важных слов.

3. Только один вариант из предложенных выборов должен соответствовать правильному ответу.

4. Все ответы к одному заданию должны быть приблизительно одной длины. Из ответов исключаются все повторяющиеся сло­ва путем ввода их в текст вопроса.

5. Частота выбора одного и того же порядкового номера для правиль­ного ответа в различных заданиях теста должна быть примерно оди­накова либо этот номер выбирается в слу­чайном порядке. Все неверные варианты ответов (дистракторы) к каждому заданию должны быть равнове­роятно привлекательными для испытуемых, не знающих пра­вильного ответа - в идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно. Ни один из дистракторов не должен являться частично пра­вильным ответом, превращающимся при дополни­тельных условиях в правильный ответ.

6. Ответ на один вопрос не должен давать ключа к ответам на другие. В частности, не следует использовать дистракторы из одного задания в перечне других.

7. Следует как можно реже использовать отрицания в основной части вопроса, т.к. часто это приводит к противоречиям при чтении задания.

8. Использование выражений «ни один из перечисленных» или «все перечисленные» является нежелательным. В целом, в ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда» и т. п., так как иногда они способствуют угадыванию правильного ответа.

При увеличении числа дистракторов уменьшается вероятность угадывания правильного ответа. В силу трудности разработки их число редко бывает больше пяти, но чтобы снизить эффект угадывания рекомендуется использовать все же не менее четырех вариантов ответов. Один из методов получе­ния правдоподобных дистракторов — предъявление группе испытуемых заданий в открытой форме и последующий анализ типичных ошибок учащихся в состав­ленных ими ответах. Мера их привлекательности оценивается после первой эмпири­ческой проверки на любой репрезентативной выборке с помощью подсчета долей учеников, выбравших каждый из дистракторов в ка­честве правильного ответа. Эти доли должны быть одинаковыми для каждого дикстрактора. Если на вопрос с пятью вариантами ответов 12 учащихся ответили неверно, то каждый из четырех дист­ракторов должны выбрать 3 учени­ка. При существенном смещении одной из долей в сторо­ну уменьшения или увеличения задание теста подлежит переработ­ке.

Случайное угадывание правильного ответа. Слу­чайное угадывание искажает показатели по тес­ту. В таком случае требуется следующее:

1. Ввести требование угадывать ответы: «Не пропускайте ответы на воп­росы. Если вы не знаете ответа или не уверены в его правильности, попытайтесь угадать правильное решение».

2. Перед подсчетом показателей по тесту тестолог может ответить на все пропущенные испытуемыми вопросы произвольным образом, что будет эквивалентно случайному угадыванию.

Если будут выполнены действия (1) и (2), все показатели будут искажены случайным угадыванием.

Преимущества. Задания с несколькими вариантами выбора являются наиболее широко используемым типом заданий в тестах достижений, поскольку, по сравнению с заданиями других типов имеют целый ряд преимуществ:

1. Каждое задание может быть сделано высоко надежным. Поскольку возможен только один правильный ответ, отсутствуют факторы снижения надежности, связанные с субъективными оценками лиц, проводящих обследование. Это свойство, по определению, присуще и другим объективным заданиям.

2. Для таких заданий очень легко вычислять показатели. Это очень важно, особенно в больших по размерам тестах, а величина тестов влияет на их надежность. Они не только более надежны, но в тестах достижений и способностей позволяют охватить большие области, чем тесты с небольшим количест­вом заданий.

Задания с двумя ответами, или альтернативные задания. Одним из подвидов заданий закрытой формы с множественным выбором являются задания с выбором из двух вариантов. Это форма задания, которое обычно содержит некоторое утверждение, которое испытуемый должен оценить как истинное или ложное («да» или «нет»). Однако в заданиях такого типа существует ряд сложностей, из-за чего их использование очень ограничено:

1. Вероятность случайного угадывания правильного ответа составляет 50%, что, конечно же, влияет на показатели по тесту, если этот тест не является предельно длинным.

2. Довольно трудно формулировать утверждения, на которые можно дать недвусмысленный ответ «да» или «нет».

3. То, что истинно или ложно, может оказаться три­виальным. Таким образом, задания, адекватные с точки зрения пси­хометрии, могут оказаться содержательно слабыми.

В силу этого, альтернативные задания не представляются как полез­ные. Основной недостаток - случайное угадывание правильных ответов. Обычно могут быть сформулированы сравнимые с ними и более эффективные задания типа выбора вариантов. Однако, благодаря простоте, с которой данная форма заданий может быть применена для опроса понимания учебного материала, они за­суживают использования в рамках самотестирования или экспресс-диагностики.

Задания открытой формы на дополнение. В заданиях на дополнение готовые ответы не даются, их дол­жен ввести сам учащийся. К заданиям такого типа прилагается стандартная инструкция: «вставьте слово или словосочетание».

Два примера из «Общей психологии»:

 Примеры тестовых форм

 1. Вставьте пропущенное слово.

(…) периоды развития - возрастные интервалы индивидуального развития, при прохождении которых внутренние структуры наиболее чувствительны к специфическим влияниям окружающего мира.

Ответ: Сензитивные

2. Вставьте пропущенное слово.

(…) - воспроизведение спустя некоторое время после запоминания того, что при непосредственном воспроизведении было недоступно.

Ответ: реминисценция

Задания на дополнение бывают двух видов. Первый — с ограничениями, налагаемыми на ответы. Отличительная особенность заданий с ограничениями на до­полняемые ответы заключается в том, что они должны порождать только один, запланированный разработчиком правильный ответ. Второй — задания со свободно конструируемыми ответами, в которых учащиеся долж­ны составить развернутый ответ в виде полного решения задачи с пояснениями или дать ответ в виде микросочинения — эссе. В заданиях с ограничениями заранее определяется, что од­нозначно считается правильным ответом, и задается степень пол­ноты представления ответа. Обычно он бывает достаточно крат­ким — одно слово, число, символ и т.д. При этом регламен­тированная краткость ответов выдвигает определенные требования к сфере применения, поэтому задания первого вида в основном ис­пользуются для оценки достаточно узкого круга умений учеников. Обычно с их помощью проверяют умения воспроизводить и при­менять знания в знакомой ситуации, а также выявляют уровень по­нимания изученного материала.

Задания с множественным вы­бором на установление соответствия. Это третья категория заданий, в которой испытуемому предлагается восстановить соответствие между элементами двух списков. В заданиях на соответствие проверяется знания связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку пробле­мы, справа — элементы, подлежащие выбору. К заданиям прилагается стандартная инструкция: «установите соответствие».

Два примера из «Общей психологии»:

 Примеры тестовых форм

1. Установите соответствия между метрической шкалой и ее свойствами

1. Номинальная шкала

а) допускает операции: установления равенства – неравенства, больше – меньше, равенства – неравенства интервалов и равенства – неравенства отношений

2. Порядковая шкала

б) элементы группируются в отдельные классы в соответствии с выраженностью признака, при этом используется единица измерения, в качестве точки отсчета рассматривается 0

3. Интервальная шкала

в) допускает операции: установления равенства – неравенства, больше – меньше и равенства – неравенства интервалов

4. Шкала отношений

г) элементы группируются в отдельные классы, которые получают номера или названия, не имеющие количественного выражения

 

д) допускает лишь операцию установления равенства – неравенства

 

е) элементы группируются в отдельные классы в соответствии с выраженностью признака, при этом используется единица измерения, но точка отсчета выбирается достаточно произвольно

 

ж) допускает операции: установления равенства – неравенства и больше – меньше, т.е. позволяет ранжировать элементы

 

з) элементы группируются в отдельные классы в соответствии с выраженностью признака, но при этом не используется единица измерения

Ответ: 1 г 1д 2з 2ж 3е 3в 4б 4а

2. Установите соответствия между теорией цветового зрения и ее особенностями

1. Теория Юнга и Г.Гельмгольца

а) цветоразличение объяснялось процессами диссимиляции и ассимиляции, происходящими в трех типах клеток сетчатки, ответственных за восприятие трех качеств (красное-зеленое, желтое-синее, затем была добавлена оппозиция белое-черное)

2. Теория Э.Геринга

б) в ней предполагается, что в зрительной сетчатке существуют три вида рецепторов (колбочек), избирательно реагирующих или только на красный цвет, или только на зеленый, или только на синий

 

в) трехкомпонентная теория

 

г) теория оппонентских цветов

Ответ: 1в 1б 2г 2а

 

Фактически данная форма заданий является модификацией задания закрытой формы с множественным выбором, где количество выборов сокращается по мере установления связей. При этом может быть использованы две системы оценивания правильности ответов на соответствия. В одном случае, оценивается каждая правильно установленная пара, в другом – лишь абсолютно правильно сделанное задание (когда все пары установлены правильно).

Задания на установление правильной последовательности. Тестовые задания четвертой формы предназначены для оцен­ки уровня владения последовательностью действий, процессов и т.п. В заданиях приводятся в случайном порядке действия, процессы, элементы, связанные с определенной задачей. Ученик должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте. Стандартная инструкция к заданиям четвертой формы имеет вид: «Установите правильную последовательность».

Задания на установление правильной последовательности до­вольно специфичны — содержание большинства дисциплин под­дается с трудом, а то и не поддается вовсе переводу в четвер­тую форму.

Рекомендации. Хотя в одном тесте достижений может быть собрано несколько различных форм заданий, лучше, когда в тесте используется лишь одна форма. Так, это желательно при итоговом контроле, когда на первый план выходят вопросы достижения точ­ности и сопоставимости оценок. В противном случае приходится использовать специальные методы выравнивания вкладов заданий разных форм в итоговый балл учеников при подведении итогов по тесту.

При выборе формы заданий следует учитывать ряд моментов.

1. Специфические факторы. При принятии решения, какой тип задания использовать, следует помнить о влиянии специфических факторов. Если тест состоит из заданий одного типа, возникает опасность влияния некоторого специфического фактора, связанного с этой частной формой задания. Таким образом, разнообразие типов заданий желательно.

2. Утомление. Источником ошибок при тестировании часто является утомление, особенно в тестах, в работе с которыми необходимы усилия по концентрации, сосредоточению внимания. Разнообразие заданий, вероятно, сделает тест менее монотонным для испытуемых.

3. Эффективность заданий. Основные моменты в конструирова­нии заданий могут быть сформулированы следующим образом:

а) Тип задания с вариантами выбо­ра является стандартным заданием, которое подходит к большинству учебных дисциплин.

б) Для получения подробной фактической информации, связан­ной с содержанием заданий (когда интере­сует большое количество подробной информации), тест включает в себя задания на установление соответствия и альтер­нативные задания (да-нет).

в) Для тестирования понимания материала, представленного в вопросе, полезны альтернативные задания.

г) Имеет смысл разрабатывать тест с заданиями всех типов, хотя и нет необходимости иметь одинаковое количество заданий каждого типа.

4. Упорядочивание заданий теста. Есть несколько правил для упорядочения заданий при испытаниях теста.

а) Располагайте задания каждого типа вместе, чтобы дать возможность испытуемым приспособиться к данному типу заданий.

б) Располагайте задания в порядке трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит слишком много времени на задания, которые он не может решить и, таким образом, лишает себя возможности попытаться выполнить другие, по которым он мог бы получить баллы.

в) Располагайте материал настолько случайно, насколько это возможно. Это снижает монотонность и связанное с ней утомление.

г) Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более полутора часов (для взрослых). Для детей период сосредоточения в тестах способностей должен быть еще более ограниченным.