2.3. Анализ заданий в тестах достижений

К оглавлению
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 
17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 
34 35 36 37 38 39 40 41 42 43 44 45 46 47 

Целью анализа заданий является отбор заданий, формирующих однородную, дискриминативную шкалу (подробнее см. глава 4). Наиболее часто используе­мый метод состоит вычислении по полной выборке доли тех испы­туемых, которые дали ключевые ответы и в определении корреляции каждого задания с суммарным показателем. Так, однородный и дискриминативный тест может быть получен путем отбора заданий, имеющих долю правильно ответивших (в соответствии с «ключом») испытуемых в пределах 80% —20% и высокую корреляцию с общим показателем.

Количество заданий. Необходимо сконструировать примерно вдвое больше заданий, чем войдет в окончательный тест. Величина окончательного теста будет зависеть от его назначения и сущности. Тесты должны быть настолько краткими, насколько возможно, в соответствии с оценками надежности и валидности. Это означает, что в выборочной совокупности должно быть по крайней мере 50 заданий, что обеспечивает достаточную надежность.

Корреляция заданий и суммарного показателя. Существует несколько формул для вычисления корреляции зада­ний с общим показателем.

1. Коэффициент произведения моментов Пирсона, который рекомендуется для заданий с многобалль­ными шкалами ответов. Однако, в случае пяти-балльных шкал (или с меньшим количеством градаций) правомочность использования этого коэффи­циента корреляции сомнительна.

2. Точечно-бисериальная корреляция использует­ся для дихотомических заданий. Ответы на другие задания могут быть приведены к виду «правильно/неправильно» или «ключевой/неключевой ответ».

3. Коэффициент φ можно использовать, если общий показатель приведен к дихотомическому виду («тест выполнен / не выполнен» или «показатель выше / ниже среднего»). Для этого коэффициента предполагается, что это неконти­нуальные градации.

4. Четырехпольный коэффициент корреляции может использоваться как и коэффициент φ. Однако, делается предположение, что градации «тест выполнен/не выполнен» или «верно/неверно» являются континуальными.

Для четырехпольного коэффициента корреляции существует проблема, состоящая в том, что стандартная погрешность является большой: вдвое больше, чем для коэффициента произведения моментов. И четырехпольный коэффициент rtet , и коэффициент φ из-за дихотомизации общего показателя, приводят к отбрасыванию определенных объемов данных.

Критерии отбора заданий теста. Такими критериями являются:

1. Величина теста. Для обеспечения надежности необходимо от 20 до 30 заданий.

2. Содержание. В большинстве тестов желательно использование настолько широкого разнообразия заданий, насколько возможно.

3. Корреляция заданий с общим показателем. Чем выше корреляция, тем лучше задание. Ясно, что следует оставлять в тесте те задания, которые имеют высокую корреляцию с общим показателем, однако на больших выборках эти цифры могут быть и низкими. В идеале, все задания должны иметь корреляцию с общим показателем не ниже 0,2.

4. Уровень трудности. Для боль­шинства тестов принято, что задания со значением Р от 0,80 до 0,20 считаются удовлетворительными. В то же время задание, эффектив­ное в других отношениях, но со значением Р = 0,19 не должно быть отброшено.