5.2. Доэкспериментальные и квазиэкспериментальные планы

К оглавлению
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 
17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 
34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 
51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 

Между доэкспериментальными и квазиэкспериментальными плана­ми есть одно существенное различие. Доэкспериментальные планы являются руди­ментами вчерашнего дня психологической науки. Между тем как квазиэксперимен­тальное планирование — атрибут ее сегодняшнего и, по мнению многих исследова­телей, завтрашнего дня.

Доэкспериментальные планы, точнее — исследования, которые проводились и проводятся до сих пор по определенным схемам, не учитывают требований, предъявляемых к плану классического экспериментального исследования. Причина — не­знание этих требований или невозможность их учета при проведении реального ис­следования в конкретных условиях. Исследования по схеме доэкспериментальных планов проводились еще до возникновения теории планирования эксперимента.

Квазиэкспериментальные планы являются попыткой учета реалий жизни при проведении эмпирических исследований. Условия, в которые ставит жизнь, а также практические задачи экспериментаторов не всегда позволяют реализовать планы «истинных экспериментов», использовать схемы контроля внешних переменных. Однако научные и научно-прикладные задачи нужно решать. Квазиэкспери­ментальные планы создаются специально с отступлением от схемы «истинного экс­перимента». Исследователь осознает те источники артефактов — внешние перемен­ные, которые он не может контролировать. Для частичной компенсации и контроля эффектов, возникающих при нарушении планов «истинных экспериментов», иссле­дователи используют искусственные схемы, которые и называются квазиэкспери­ментальными планами.

Квазиэксперимент является своеобразным компромиссом между реальностью и «строгостью» методологических предписаний. Однако квазиэксперимент использу­ется не только для решения прикладных проблем, но и для проведения научных ис­следований. Наиболее авторитетные авторы, чьи работы стали классическими, Кокс [Сох D.R., 1958] и Кэмпбелл (1979), сформулировали основные теоретические принципы квазиэкспериментального планирования. Квазиэкспериментальный план используется тогда, когда применение лучшего плана невозможно.

Доэкспериментальные планы служат, скорее, в качестве иллюстрации. В прак­тике научных исследований по возможности их следует избегать.

5.2.1 Доэкспериментальные планы

Кэмпбелл выделяет три вида доэкспериментальных планов. Два из них другой авторитетный автор, МакГиган, относит к квазиэкспериментальным. Мы будем придерживаться взглядов Кэмпбелла; его книга переведена на русский язык и вышла вторым изданием, учебник же МакГигана, к сожалению, широкому кругу читателей недоступен.

К доэкспериментальным планам относятся: а) исследование единичного случая; б) план с предварительным и итоговым тестированием одной группы и в) сравнение статистических групп.

Исследование единичного случая относится к области прошлого. Однократно те­стируется одна группа, подвергнутая воздействию по плану: Х О. Контроль внешних переменных и независимой переменной полностью отсутствует. В таком «исследо­вании» нет никакого материала для сравнения. А ведь с него обычно начинается любая научная работа. Такого рода исследования, как правило, проводятся на пер­вых этапах научной деятельности для сопоставления их результатов с обыденными представлениями о реальности. Но научной информации они не несут.

План с предварительным и итоговым тестированием одной группы часто приме­няется в социологических, социально-психологических и педагогических исследо­ваниях: О1  Х  О2 . В этом плане отсутствует контрольная выборка, поэтому нельзя утверждать, что изменения (разница О1  и  О2) зависимой переменной, регистрируе­мые в ходе тестирования, вызваны именно изменением независимой переменной. Между начальным и конечным тестированием происходят и другие «фоновые» со­бытия, воздействующие на испытуемых наравне с независимой переменной. Кроме того, этот план не позволяет контролировать эффект «естественного развития»: в течение короткого времени — изменение состояния испытуемого (утомление, монотония, скука и др.), а в течение длительного времени — изменения личностных черт. Наконец, эффект тестирования — воздействие предыдущего обследования на последующее — может быть еще одним неконтролируемым фактором, влияющим на изменение зависимой переменной. Можно перечислить и другие источники ар­тефактов — внешние переменные, которые не контролируются этим планом.

Третий вариант доэкспериментального плана — сравнение статистических групп, или, точнее, план для двух неэквивалентных групп с тестированием после воздействия.

Х    О1

      О2

Этот план лучше предыдущего хотя бы тем, что позволяет учитывать эффект те­стирования благодаря введению контрольной группы, а также отчасти контролиро­вать влияние «истории» — фоновых воздействий на испытуемых, и ряд других внеш­них переменных (инструментальную погрешность, регрессию и др.). Но с помощью этого плана невозможно учесть эффект естественного развития, так как нет мате­риала для сравнения состояния испытуемых на данный момент с их начальным со­стоянием (нет предварительного тестирования).

Этот доэкспериментальный план распространен в психологической исследова­тельской практике. Для сравнения результатов контрольной и экспериментальной групп используется t-критерий Стьюдента. Всегда надо иметь в виду, что различия в результатах тестирования могут быть обусловлены не экспериментальным воздей­ствием, а различием состава групп. Этот план, если отбросить экспериментальное воздействие, вполне применим в корреляционном исследовании, но его не следует использовать для проверки гипотез о причинной связи двух переменных.

5.2.2 Квазиэкспериментальные планы

Т.Д. Кук и Д.Т. Кэмпбелл [Cook Т. D., Campbell D. Т., 1976] разра­ботали теоретические основания применения квазиэкспериментальных планов в психологическом исследовании. Существуют два типа квазиэкспериментальных планов: а) планы экспериментов для неэквивалентных групп; б) планы дискретных временных серий.

Квазиэкспериментом является любое исследование, направленное на установ­ление причинной зависимости между двумя переменными («если А, то В»), в кото­ром отсутствует предварительная процедура уравнивания групп или «параллельный контроль» с участием контрольной группы заменен сравнением результатов не­однократного тестирования группы (или групп) до и после воздействия.

Если пользоваться строгими определениями экспериментального и квазиэкспе­риментального исследований, то эксперимент с одним испытуемым следует отнести к квазиэкспериментам. В то же время квазиэкспериментальные планы времен­ных серий по сути являются модификацией доэкспериментального плана

О1    Х    О2

О3          О4

Выбираются две естественные группы, например два параллельных школьных класса. Обе группы тестируются. Затем одна группа подвергается воздействию (ста­вится в особые условия деятельности), а другая — нет. Через определенное время обе группы проходят тестирование повторно. Результаты первого и второго тести­рования обеих групп сопоставляются; для сравнения используют t-критерий Стьюдента и дисперсионный анализ. Различие О2 и О4 свидетельствует о естественном развитии и фоновом воздействии. Разница результатов первичного тестирования двух групп позволяет установить меру их эквивалентности в отношении измеряе­мой переменной. Для выявления эффекта действия независимой переменной с по­мощью t-критерия сравнивать нужно не О2 и О4, a dO12 и dO34, т.е. величины сдвигов показателей во времени. Значимость различия приростов показателей будет свиде­тельствовать о влиянии независимой переменной на зависимую. Примером такого исследования является психолого-педагогический эксперимент. На первом этапе мы тестируем с помощью дидактического теста уровень знаний учащихся по иностран­ному языку (словарный запас). Экспериментальную группу обучаем мнемотехническим приемам при заучивании слов, а контрольная занимается с учителем, как и прежде. Затем проводится второе тестирование, и если прирост словарного запаса будет выше в экспериментальном классе, чем в контрольном, то мнемотехника по­лезна для запоминания иностранных слов.

Этот план аналогичен плану истинного эксперимента для двух групп с тестиро­ванием до и после воздействия. Главными источниками артефактов являются раз­личия в составе групп. В первую очередь на результаты эксперимента может повли­ять «эффект смешения», т. е. взаимодействия состава группы с факторами тестиро­вания, фоновых событий, естественного развития и др. Например, если для участия в эксперименте отобраны параллельные классы А и В, то в В могут оказаться дети с меньшим IQ, чем в А, поэтому различия в результатах (увеличение запаса слов от первого тестирования ко второму) могут быть обусловлены большей обучаемостью первой группы по сравнению со второй. Чем больше сходство экспериментальной и контрольной групп, тем более валидны результаты, получаемые с помощью этого плана.

Кэмпбелл различает два варианта отбора групп. В первом случае в исследовании участвуют естественные группы, которые по отношению к самой процедуре экспе­римента не отбираются. Поэтому эффект состава группы может присутствовать, но он не столь значим. Во втором случае экспериментальная группа формируется из добровольцев, а аналогичную контрольную группу приходится комплектовать дру­гим способом (принуждением, обещанием оплаты и т. д.). При этом фактор состава группы может оказать решающее влияние на различие в результатах эксперимен­тальной и контрольной групп.

Существует множество других вариантов квазиэкспериментальных планов для неэквивалентных групп: так называемые «лоскутные планы», планы «множествен­ных серий замеров», план с контрольными выборками для предварительного и итогового тестирования и т.д. Интересующихся проблемой квазиэкспериментального планирования я отсылаю к монографии Кэмпбелла «Модели эксперимента в соци­альной психологии и прикладных исследованиях» (1980). Рассмотрим в качестве примеров еще два плана.

План с предварительным и итоговым тестированием различных рандомизирован­ных выборок отличается от истинного эксперимента тем, что предварительное те­стирование проходит одна группа, а итоговое (после воздействия) — эквивалент­ная (после рандомизации) группа, которая подверглась воздействию:

Этот план называют также «имитацией плана с начальным и конечным тестиро­ванием». Главный его недостаток — невозможность контролировать влияние фак­тора «истории» — фоновых событий, происходящих наряду с воздействием в пери­од между первым и вторым тестированием.

Усложненным вариантом этого плана является схема с контрольными выборка­ми для предварительного и итогового тестирования. В этом плане используются 4 рандомизированные группы, но воздействию подвергаются лишь 2 из них, причем тестируется после воздействия одна. План имеет следующий вид:

В том случае, если рандомизация проведена удачно, т.е. группы действительно эквивалентны, данный план по качеству не отличается от планов «истинного экспе­римента». Он обладает наилучшей внешней валидностью, поскольку позволяет ис­ключить влияние основных внешних переменных, ее нарушающих: взаимодействие предварительного тестирования и воздействия; взаимодействие состава групп и экс­периментального воздействия; реакцию испытуемых на эксперимент. Не удается лишь исключить фактор взаимодействия состава групп с факторами естественного развития и фона, так как отсутствуют возможности сравнить влияния предваритель­ного и последующего тестирования на экспериментальную и контрольную группы. Особенность плана состоит в том, что каждая из четырех групп тестируется всего лишь один раз: либо в начале, либо в конце исследования.

План этот применяется крайне редко. В большинстве учебников по эксперимен­тальной психологии он даже не упоминается. Кэмпбелл также утверждает, что этот план ни разу не был реализован.

Гораздо чаще, чем приведенные выше «экстравагантные» планы, применяются схемы квазиэкспериментов, которые имеют общее название «дискретные времен­ные серии». Для классификации этих планов можно выделить два основания: иссле­дование проводится 1) с участием одной группы или нескольких; 2) с одним воздей­ствием либо серией. Следует заметить, что планы, в которых реализуется серия од­нородных или разнородных воздействий с тестированием после каждого воздействия, получили в советской и российской психологической науке по традиции на­звание «формирующие эксперименты». По своей сути они, конечно, являются ква­зиэкспериментами со всеми присущими таким исследованиям нарушениями внеш­ней и внутренней валидности.

Используя такие планы, мы с самого начала должны отдавать себе отчет в том, что в них отсутствуют средства контроля внешней валидности. Невозможно про­контролировать взаимодействие предварительного тестирования и эксперименталь­ного воздействия, ликвидировать эффект систематического смешения (взаимодей­ствия состава групп и экспериментального воздействия), проконтролировать реак­цию испытуемых на эксперимент и определить эффект взаимодействия между различными экспериментальными воздействиями.

Квазиэкспериментальные планы, построенные по схеме временных серий на од­ной группе, по структуре сходны с экспериментальными планами для одного испы­туемого.

План дискретных временных серий чаще всего используется в психологии раз­вития, педагогической, социальной и клинической психологии. Суть его состоит в том, что первоначально определяется исходный уровень зависимой переменной на группе испытуемых с помощью серии последовательных замеров. Затем исследова­тель воздействует на испытуемых экспериментальной группы, варьируя независи­мую переменную, и проводит серию аналогичных измерений. Сравниваются уров­ни, или тренды, зависимой переменной до и после воздействия. Схема плана выгля­дит так:

Главный недостаток плана дискретных временных серий в том, что он не дает возможности отделить результат влияния независимой переменной от влияния фо­новых событий, которые происходят в течение исследования. Чтобы ликвидировать эффект «истории», рекомендуют использовать экспериментальную изоляцию испы­туемых.

Модификацией этого плана является другой квазиэксперимент по схеме времен­ных серий, в котором воздействие перед замером чередуется с отсутствием воздей­ствия перед замером:

Чередование может быть регулярным или случайным. Этот вариант подходит лишь в том случае, когда эффект воздействия обратим. При обработке данных, по­лученных в эксперименте, серии разбивают на две последовательности и сравнива­ют результаты тех замеров, где было воздействие, с результатами тех замеров, где оно отсутствовало. Для сравнения данных используется t-критерий Стьюдента с числом степеней свободы п - 2 (где п — число ситуаций одного типа).

Планы временных серий часто реализуются на практике (как я уже заметил, в советской педагогической психологии формирующий эксперимент считался чуть ли не единственным вариантом доказательного исследования). При их реализации час­то наблюдается известный «эффект Хотторна». Впервые его обнаружили Диксон и Ротлизбергер в 1939 г., когда проводили исследование на заводах Хотторна в Чика­го. Предполагалось, что изменение системы организации труда позволит повысить его производительность. В результате оказалось, как выявили опросы рабочих, что само по себе участие в эксперименте повысило их мотивацию к труду. Испытуемые поняли, что ими лично интересуются, и стали работать продуктивнее. Чтобы конт­ролировать этот эффект (по своей сути он не отличается от плацебо-эффекта в ква­зиэкспериментах, проводимых по методу временных серий), используется конт­рольная группа.

Схема плана временных серий для двух неэквивалентных групп, из которых одна не получает воздействия, выглядит так:

Квазиэксперимент позволяет контролировать действие фактора фоновых воздей­ствий (эффект «истории»). Обычно именно этот план рекомендуется исследовате­лям, проводящим эксперименты с участием естественных групп в детских садах, школах, клиниках или на производстве. Его можно назвать планом формирующего эксперимента с контрольной выборкой. Реализовать этот план весьма трудно, но в том случае, если удается провести рандомизацию групп, он превращается в план «истинного формирующего эксперимента».

Возможна комбинация этого плана и предыдущего, в котором чередуются серии с воздействием и его отсутствием на одной выборке.

5.2.3 Планы eх-post-facto

В заключение рассмотрим еще один специфический метод, который часто применяется в психологии. У него есть несколько наименований: экспери­мент, на который ссылаются, эксперимент ex-post-facto и т.д. Он часто применяет­ся в социологии, педагогике, а также в нейропсихологии и клинической психологии. В социологических исследованиях его часто использовали в 1930-40-е гг. Тогда же социолог Ф. С. Чейз ввел название этого метода и разработал схемы анализа дан­ных. В социологии и педагогике стратегия его применения состоит в следующем. Экспериментатор сам не воздействует на испытуемых. В качестве воздействия (по­зитивного значения независимой переменной) выступает некоторое реальное собы­тие из их жизни. Отбирается группа «испытуемых», подвергшаяся воздействию, и группа, не испытавшая его. Отбор осуществляется на основании данных об особен­ностях «испытуемых» до воздействия; в качестве сведений могут выступать личные воспоминания и автобиографии, сведения из архивов, анкетные данные, медицин­ские карты и т.д. Затем проводится тестирование зависимой переменной у предста­вителей «экспериментальной» и контрольной групп. Данные, полученные в резуль­тате тестирования групп, сопоставляются и делается вывод о влиянии «естествен­ного» воздействия на дальнейшее поведение испытуемых. Тем самым план ex-post-facto имитирует схему эксперимента для двух групп с их уравниванием (лучше — рандомизацией) и тестированием после воздействия.

Эквивалентность групп достигается либо методом рандомизации, либо методом попарного уравнивания, при котором сходные индивиды относятся к разным груп­пам. Метод рандомизации дает более надежные результаты, но применим лишь то­гда, когда выборка, из которой мы формируем контрольную и основную группы, до­статочно велика.

Этот план реализуется во многих современных исследованиях. Типичным явля­ется исследование посттравматического стресса, который возникает у некоторых лиц, оказавшихся в ситуациях, выходящих за пределы обычного жизненного опыта, связанных с угрозой для здоровья человека и его жизни. Посттравматический стресс встречается у многих (но не у всех) участников войны, жертв насилия, свидетелей и жертв природных и техногенных катастроф и т.д. Изучение причин возникновения посттравматического стресса проводится по следующей схеме: выделяется выборка лиц, перенесших воздействие боевой ситуации, катастрофы и т.п., тестируется на предмет наличия посттравматического синдрома; результаты сопоставляются с ре­зультатами контрольной выборки. Наилучшей стратегией формирования основной и контрольной выборки является предварительный отбор «испытуемых» для тести­рования на основе анкетных данных и рандомизация групп. Но в реальности может проводиться диагностика только тех лиц, перенесших воздействие травматического фактора, которые сами обращаются с просьбой пройти обследование к психологам либо врачам. Таким образом, может существовать риск, что выборка добровольцев будет сильно отличаться от всей популяции перенесших травматическое воздей­ствие. В первую очередь эти отличия проявляются в повышенной частоте встречае­мости синдрома посттравматического стресса. Эффект воздействия травматическо­го фактора на популяцию будет преувеличен. И вместе с тем эксперимент ex-post-facto — единственно возможный способ проведения таких исследований (над этими проблемами работает лаборатория психологии посттравматических состояний Ин­ститута психологии РАН, руководитель — Н. В. Тарабрина).

Метод ex-post-facto часто применяется в нейропсихологии: травмы головного мозга, поражения определенных структур предоставляют уникальную возможность для выявления локализации психический функций. Травмы коры больших полуша­рий во время войны (в первую очередь второй мировой) дали, как это ни кощун­ственно звучит, богатейший материал нейропсихологам и нейрофизиологам, в том числе — отечественным (работы Лурии и его школы).