Предположим, что теория сложности заданий применяется к набору заданий теста, как описано в главе 16. Используемая программа будет выбирать параметры задания, которые лучше всего характеризуют, каким образом вероятность правильного ответа на определенное задание зависит от уровня способностей индивидуума, измеряемых заданиями теста. Что если одно задание измеряет нечто, очень отличающееся от того, что измеряют другие задания? Например, предположим, что 24 задания оценивают способности в области механики, в то время как одно измеряет словарный запас (легкое задание, написанное таким вычурным языком, что вряд ли кто-либо понимает, чего от него хотят). На что могут быть похожи параметры задания такого типа?

Вероятность «преодоления» словарного задания не будет, скорее всего, существенно зависеть от уровня способностей человека в области механики. В конце концов мы знаем, что существует два совершенно отличных фактора способностей. Следовательно, представляется вероятным, что ХКЗ будет совершенно плоской, почти горизонтальной. Это имеет место в случае, когда задание имеет низкий уровень дискриминации. Таким образом, если при изучении характеристических кривых находятся задания такого типа, может быть, стоит проверить содержание задания. Стоит также проверить, насколько полно одна из моделей, имеющихся в теории сложности заданий, соответствует конкретному заданию. Если задание имеет высокую «остаточную дисперсию» (т.е. вариативность, которую нельзя объяснить тремя параметрами задания), это нередко дает основание полагать, что данное задание измеряет что-то весьма отличное от других и что следует рассмотреть возможность его изъятия из шкалы, хотя процедура изъятия заданий, которые не соответствуют модели, в определенной степени дискуссионна: некоторые будут утверждать, что вместо этого следует использовать более утонченную модель теории сложности заданий. Хемблтон и Сваминатан (Hambleton, Swaminathan, 1985) представляют весьма детальное обсуждение этих проблем.

Однако теория сложности заданий допускает, что набор заданий измеряет один определенный конструкт, и поэтому обычно на практике, прежде чем начать требующий много времени анализ, основанный на теории заданий, проводят быстрый факторный анализ, чтобы проверить, действительно ли выявляется только один фактор. Кажется целесообразным на этой стадии изъять «инородные» (т.е. имеющие низкие нагрузки) задания. Если теорию сложности заданий применять по отношению к набору заданий, измеряющих несколько различных факторов, то целостная процедура распадется на части, поскольку ни одно из них не соответствует модели достаточно хорошо, а оценки параметров могут выглядеть крайне странно, если компьютерная программа вообще сможет выдать решение. Таким образом, если решено выбирать задания с использованием теории заданий и весь анализ продвигается плохо, может быть, стоит проверить, являются ли задания истинно монометричными. Основными недостатками теории сложности заданий являются, конечно, ее теоретическая сложность и необходимость использования специализировнных компьютерных программ.

Смотрите также

Результаты: основной эффект и взаимодействие
Факторные исследования дают два вида результатов: основной эффект и взаимодействие. Основной эффект показывает общее влияние независимых переменных, а взаимодействие отражает совместное действие п ...

Причины использования планов с малым N
Несмотря на популярность в современной психологии планов с большим N, исследования с одним или несколькими испытуемыми внесли и продолжают вносить важный вклад в развитие знаний о поведении. Как в ...

Спам раздражает
Спам раздражает. Спамеров ненавидят все интернет-пользователи, которым приходит в день по 20-80 писем с предложением купить пилюли, вызвать грузчиков или пройти курс английского языка. Про спамеров ...