PsyhologToday.Ru

При попытке снизить неэквивалентность групп с помощью процедуры уравнивания появляется особый вид угрозы внутренней валидности исследования. В только что рассмотренном примере эта проблема не возникла, но в прикладных исследованиях она иногда появляется. Уравнивание описывалось в главе 6 как альтернатива случайному распределению, подходящая для создания эквивалентных групп в случае управляемой независимой переменной. При использовании уравнивания участников разделяют на пары в зависимости от значения переменной уравнивания, а затем случайным образом распределяют по группам (см. о процедуре уравнивания в главе 6). Однако, если при использовании плана с неэквивалентной контрольной группой две группы были набраны из популяций, имеющих значимые отличия друг от друга в отношении переменной уравнивания, уравнивание может вызвать проблемы. Использование процедуры уравнивания в этом случае может усилить эффект регрессии и даже привести к отказу от эффективной программы. Рассмотрим гипотетический пример.

Предположим, вы разрабатываете программу развития навыков чтения у плохо читающих детей. Вы объявляете о наборе добровольцев для участия в новой обучающей программе и отбираете тех, кто наиболее нуждается в помощи (т. е. детей с очень низкими средними результатами). Чтобы держать под контролем социоэкономпческий класс, вы набираете добровольцев, живущих в таких же районах, но в других городах, и создаете из них контрольную группу. Главная задача заключается в том, чтобы создать группы с одинаковыми начальными навыками чтения, поэтому вы решаете уравнять группы в отношении этой переменной. Вы проводите предварительный тест на навыки чтения у добровольцев из изучаемого района и у потенциальных членов контрольной группы, а затем по полученным результатам формируете две группы с одинаковыми средними оценками. Допустим, что результаты теста варьируются от 0 до 50 баллов. Вы решаете для обеих групп отобрать детей со средней оценкой 25 баллов. Далее группа воздействия занимается но разработанной программе, а контрольная группа не подвергается воздействию.

Вы уверены, что ваша программа совершенна и действительно способна помочь множеству детей, и с нетерпением ждете результатов исследования. Поэтому вы шокированы, когда получаете следующие данные:

Экспериментальная Предварительное Программа Заключительное

группа тестирование = 25 по чтению тестирование - 25

Контрольная Предварительное - Заключительное

группа тестирование = 25 тестирование = 29

По-видимому, разработанная программа не просто не работает, но даже препятствует развитию навыков чтения — у контрольной группы обнаружено заметное улучшение! Что же произошло?

Очень вероятно, что эффект регрессии, вызванный процедурой уравнивания, перекрыл эффект экспериментального воздействия. Не забывайте, что экспериментальная группа была сформирована из детей со слабыми навыками чтения как наиболее нуждающихся в этой программе. Если провести тестирование всех детей, попадающих в эту категорию (т. е. в эту популяцию), то средняя оценка может оказаться довольно низкой, скажем 17. Однако при использовании процедуры уравнивания вы были вынуждены отобрать детей с гораздо более высокими оценками, чем в среднем у детей из популяции «плохо читающих». Возможно, что некоторые дети из этой группы в ходе предварительного тестирования получили оценки выше, чем они должны были бы получить, ведь никакой тест не обладает абсолютной надежностью и могла возникнуть некоторая ошибка измерений. Поэтому при заключительном тестировании многие из этих детей получили более низкие оценки вследствие регрессии к среднему. Предположим, что программа была действительно эффективной и увеличивала оценку навыка чтения в среднем на 4 балла. Однако если эффект регрессии состоял в снижении оценки в среднем на 4 балла, то в результате будет обнаружено отсутствие изменений результатов от предварительного к заключительному тестированию:

25 + (+4) + (-4) = 25.

С участниками контрольной группы могло произойти обратное. Возможно, средняя оценка для их популяции была намного выше, чем 25 (например, 35) и они довольно хорошо читали (т. е. образовывали популяцию, отличающуюся от экспериментальной группы). Отбор участников, чьи оценки гораздо ниже, чем в среднем у популяции, проведенный с той целью, чтобы результаты предварительного тестирования соответствовали оценкам экспериментальной группы, мог привести к тому, что из-за эффекта регрессии оценки заключительного тестирования оказались выше. На результаты этих детей, полученные при заключительном тестировании, повлиял такой же эффект регрессии, заключающийся в изменении оценок на 4 балла. Таким образом: