PsyhologToday.Ru

Очевидно, что написание заданий — решающий шаг в разработке теста. Если они написаны плохо, то никакая психометрическая мудрость не сможет обеспечить надежную и валидную шкалу.

Клайн (Юте, 1986) дает некоторые основанные на здравом смысле эмпирические правила для написания заданий, и я буду опираться на эту работу в следующих трех разделах. У вас может также возникнуть желание заново проверить руководящие указания вашей профессиональной ассоциации по конструированию и использованию психологических тестов, которые могут напоминать рекомендации, представленные в приложении Б. При формировании тестовых заданий необходимо иметь в виду следующие основные положения:

• Задания должны быть соответствующим образом подобраны и касаться каждой отдельной стороны концепта. Арифметический тест не должен базироваться только на задачах на «сложение». Опросник по диагностике депрессии должен включать вопросы, касающиеся разных видов поведения (например, нарушения сна или привычек питания), так же как и чувств. Было бы целесообразно составить список основных граней оцениваемого феномена и написать равное число заданий, затрагивающих каждую грань. Например, учитель может принять решение оценивать арифметические способности на основе умения выполнять деление и умножение письменно в столбик, решать геометрические/тригонометрические задачи, системы уравнений, находить корни квадратные уравнений, производить дифференцирование и интегрирование. Очень часто необходимо будет провести литературный, поиск (или изучить диагностические руководства — такие как Диагностическое статистическое руководство по психическим расстройствам, DSM-IV), чтобы убедиться, что у вас есть полное и законченное понимание предмета, который должен быть оценен.

• Тест должен быть достаточно длинным для гарантии того, что он охватывает все аспекты изучаемого предмета, и надежным. В соответствии с эмпирическими правилами вы можете начать по крайней мере с 30 заданий и уменьшать их количество не менее чем до 20 заданий, хотя, если в изучаемом предмете существует много граней, вы можете нуждаться и в большем их количестве.

• Каждое задание должно оценивать только ту черту, для измерения которой оно предназначено, иначе говоря, ответы на задания не должны зависеть от индивидуальных различий в словарном запасе, социальной желательности (или других переменных, упоминавшихся в главе 17) или от любых иных черт.

• Должно быть тщательно проанализировано соответствие каждого задания данной культуре. В обычном случае это включает имплицитное знание, требуемое для понимания (или решения) проблемы. В примере с арифметическим тестом учитель допускает, что все дети будут в состоянии складывать, вычитать, умножать, делить и понимать порядок выполнения арифметических операций в уравнениях и т.д.

• Важно обеспечить, чтобы задания были логически независимы. В случае личностных тестов убедитесь в том, что, если логически последовательный человек отвечает на какое-либо задание определенным образом, это не «принуждает» его давать какой-либо определенный ответ на любые другие задания. Другими словами, два задания не должны иметь в виду одно и то же. В случае тестов способностей вам не следует основывать одно задание на ответе на предыдущее задание, например: «Задание 1: Сколько будет 2 + 3 ?», «Задание 6: Сколько будет, если ответ на задание 1 умножить на 4?»

• Вы могли понять, что проблема семантической зависимости заданий в личностных шкалах интересует меня особенно сильно. Очень легко создать шкалу с высоким уровнем надежности, перефразируя одно и то же задание несколько раз. Но это искусственная шкала, поскольку задания не отобраны должным образом из всей интересующей области. Поэтому я бы настоятельно советовал формирующим задания исследовать каждую возможную пару их и проверить, не принуждает ли способ, который использует человек, отвечая на одно задание, отвечать на другие определенным образом, обусловленным чем-либо иным, кроме черты, которую тест призван измерять.

Подготовка заданий для тестов способностей

Определите формат ответа, например, открытый (2 + 2 = ?) или множественного выбора [2 + 2 = (а) 4, (б) 22, (в) 5, (г) 3], и, если выбран формат множественного выбора, определите, сколько альтернатив следует предложить. Должно быть предложено по крайней мере четыре альтернативы, чтобы уменьшить эффекты «удачного угадывания».

Напишите равное-количество заданий по каждой теме. При использовании формата множественного выбора постарайтесь сконструировать хорошие, правдоподобные дистракторы (возможно, основывающиеся на анализе ошибок из других тестов) и попытайтесь обеспечить, чтобы задания по каждой теме имели сходные и соответствующие диапазоны трудности.