Валидность психологического эксперимента
Качество и успешность любого исследования связываются в науке с его объективностью. Объективность — это категория, определяющая независимость результатов эксперимента от настроя, состояния, мнения и действий исследователя. То есть субъективность, присущая и выставляемая в качестве позитивной характеристики качественных исследований, активно элиминируется в эксперименте. Здесь следует обратить внимание на снижение субъективного влияния исследователя, с одной стороны, и повышение достоверности средств и методов изучения психологической реальности — с другой. Субъективность исследования может снижаться по мере роста эмпирического опыта экспериментатора. Категория же «достоверность» полностью относится к инструменту и организации эксперимента. В психометрии под достоверностью понимается некая совокупная позитивная оценка методов воздействия и регистрации психологических результатов. Здесь важной является система проверки методов по направлениям валидности, надежности, прогностичности и нормированное™1.
Наиболее важную функцию — контроля переменных — выполняет исследователь в рамках проверки валидности эксперимента. Здесь следует обратить особое внимание на понятийную область, относящуюся к проблематике контроля валидности как базовой деятельности экспериментатора.
В общем смысле термин «валидность» определяется как степень соответствия измеряемой переменной исследуемому свойству реального объекта, т.е. исследователь стремится измерить переменную, которая действительно связана и отражает исследуемое свойство, явление, феномен, посредством эксперимента. Валидность, как правило, представляется в психологической литературе двумя основными типами: внутренняя и внешняя валидность.
Внутренняя валидность. По мнению Р. Готтсданкера (R. Gottsdanker)[1][2], внутренняя валидность — это выяснение того, насколько хорошо эксперимент представляет безупречный эксперимент полного соответствия, т.е. измеряемые переменные отражают реальную ситуацию. Д. Кэмпбелл[3]определяет валидность в виде указания на то, что именно экспериментальное воздействие привело к изменениям в данном эксперименте.
К внутренней валидности можно отнести такие ее виды, как концептуальная, содержательная, конструктная, операционная и эмпирическая валидности. Концептуальная валидность — это соответствие структуры измеряемых переменных авторской концепции. Содержательная валидность, по мнению А. Анастази[4], означает систематическую проверку содержания метода с тем, чтобы установить, соответствует ли оно измеряемой области сознания, личности и поведения человека, т.е. отражает ли возможности эксперимента но измерению какой-либо психической переменной. Конструктная валидность показывает, насколько результаты исследования могут рассматриваться в качестве теоретического конструкта, фактора, свойства и др., т.е. такую исследовательскую ситуацию, когда результаты эксперимента подтверждают гипотетические конструкты экспериментатора. Операционная валидность представляет собой некое отражение в конкретных экспериментальных операциях (создания условий и получения зависимой переменной) независимых и зависимых переменных. Эмпирическая валидность уточняет возможность эксперимента по измерению определенных психических функций, доведя его до фиксации наличия статистической связи между психическими функциями и данными измерения.
Внешняя валидность — это мера возможности обобщения выводов о том, на какие популяции, ситуации, объекты, условия могут быть распространены результаты эксперимента, независимые переменные, параметры воздействия и т.д. Внешняя валидность — это наиболее трудно доказуемая характеристика исследования, потому что результаты, полученные на конкретной экспериментальной выборке, даже при условии ее качественной и количественной репрезентативности, могут быть перенесены на другую выборку лишь условно. Нельзя гарантировать идентичность иной экспериментальной выборки, соответствие условий и обстоятельств, имеющих место в данном эксперименте, новым, иным условиям и обстоятельствам, что превращает наши исследования и результаты в условно-эквивалентные исследования.
В теории экспериментальной психологии существует два категорично противоположных мнения по проблеме внешней валидности исследования.
Во-первых, распространено утверждение Д. Юма о том, что индукция или обобщение никогда не могут быть достаточно обоснованы логически. Если внутренняя валидность может быть определена в рамках логики вероятностной статистики, то проблемы внешней валидности до конца не разрешимы никаким ясным и убедительным способом. Если мы проводим исследование на определенной совокупности испытуемых, то очень высока вероятность погрешности при распространении полученных результатов на другую выборку.
Во-вторых, многие ученые разделяют постулат Дж. С. Милля (J. S. Mill) о законообразности природы или «склеенности» (stickiness) природы, который гласит, что чем ближе два события в пространстве и во времени, а также по измеренным значениям по некоторым или по всем параметрам, тем в большей степени они будут следовать одним и тем же законам[5].
Надеемся, что читатель выберет оптимальный путь и увидит разрешение проблемы внешней валидности в корректном построении экспериментального исследования.
К факторам, влияющим на внутреннюю валидность эксперимента, Д. Кэмпбелл относил следующие: фон — это конкретные события, происходящие в период эксперимента наряду с экспериментальным воздействием; естественное развитие — изменение испытуемых, являющееся следствием течения времени и не связанное с конкретными событиями и воздействиями; эффект тестирования — влияние выполнения экспериментальных заданий, применяющихся при измерении зависимых переменных, на результаты повторного испытания; инструментальную погрешность, которая появляется ввиду нестабильности измерительного инструмента и влияния нестандартности психологических измерений на их результаты; статистическую регрессию — отбор экспериментальных и контрольных групп на основе крайних показателей и оценок испытуемых1; отбор испытуемых, который иногда приводит к неэквивалентности групп по составу, вызывающей появление систематической ошибки в результатах («смещение выборки»); отсев — это неравномерность выбывания испытуемых из сравниваемых групп в ходе лонгитюдных исследований; взаимодействие фактора отбора с естественным развитием — иногда может приниматься за результаты экспериментального воздействия; реактивный эффект, или эффект взаимодействия тестирования, который представляет собой восприимчивость испытуемых к экспериментальному воздействию под влиянием предварительного тестирования или объявления о включении испытуемого в экспериментальную группу. Возможны «адаптация» или «дезадаптация» испытуемых к психологическому измерению и участию в эксперименте. В первом случае человек быстро привыкает к ситуации и ведет себя, как «нужно» экспериментатору. Во втором случае он может долгое время находиться в состоянии возбуждения, торможения, напряжения и не способен адекватно выполнять экспериментальную работу.
Значимыми факторами, влияющими на внутреннюю валидность, которые следует учитывать экспериментатору при планировании психологического эксперимента, также являются: сомнения по поводу направления причинно-следственной связи; имитация воздействия независимой переменной; компенсаторное уравнивание воздействия; компенсаторное соперничество между испытуемыми контрольной и экспериментальной групп; деморализация испытуемых, вызванная обидой в связи с обделенностыо желаемым воздействием; особенности фона в данной группе испытуемых: взаимодействие факторов отбора и фона[6][7].
К факторам, влияющим па внешнюю валидность эксперимента, относятся:
- — эффекты взаимодействия фактора отбора и экспериментального воздействия, характеризующиеся тем, что отбор участников эксперимента осуществляется с условием их адекватного поведения под влиянием стимула, нарушение которого в ситуации формирования непрофильной выборки может внести «смещение» эффекта эксперимента;
- — условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, определяющие невозможность распространения экспериментальных данных на естественные, неэкспериментальные условия, так как вне их люди могут вести себя по-другому;
- — взаимная интерференция экспериментальных воздействий — это неоднократное экспериментальное воздействие на испытуемых в виде остаточных «следов» более ранних экспериментальных воздействий, проявляющихся, например, в форме «научения».
Оптимальными способами повышения валидности эксперимента являются предварительное планирование, выбор схемы или его «дизайн». Д. Кэмпбелл в качестве образца предложил 16 основных схем (планов) эксперимента. На этапе подготовки к экспериментальному психологическому исследованию известны по крайней мере три доэкспериментальных «плана». К схемам «истинного» эксперимента относятся три экспериментальных плана, в которых используется контрольная группа. Десять квазиэкспериментальных планов могут служить в качестве ориентира для исследователей и быть применимы в реальных психологических условиях. Анализ экспериментального дизайна представлен в главе 5.
Таким образом, проектирование процедуры эксперимента обеспечивает успешность применения экспериментального метода в психологии. От оптимально разработанной организационной модели зависит в целом эффективность и достоверность эмпирических результатов исследования.
Понятие валидности эксперимента. внешняя и внутрянняя. их связь
Виды валидности – это направления сравнений реально проводимых экспериментов с мысленными образцами. Оценка валидности связана как с оценкой реализации выбранных форм экспериментального контроля, так и с оценкой системы умозаключений при организации исследования с точки зрения следования нормативам экспериментального вывода. Нормативы, связанные с возможными обобщениями из психологических экспериментов, предполагают разведение разных видов валидности.
Внутренняя и внешняя валидность – обязательно обсуждаемые аспекты правильного эксперимента, будь то эксперимент в научных или практических целях. Отличия в выводах из этих экспериментов будут касаться того, как строится обобщение: переносится ли оно на других людей, другие ситуации, виды деятельности или на теоретическую модель.
Внутренняя валидность эксперимента обеспечивает вывод только об исследуемой зависимости, т.е. об отношении между независимой и зависимой переменными, но ничего не сообщает о возможности ее распространения за пределы данной экспериментальной ситуации. Если полученные данные характеризуются ненадежностью или наличием смешений (систематических, несистематических, сопутствующих), то нельзя считать обоснованным утверждение, формулируемое в экспериментальной гипотезе, даже если получен соответствующий ей экспериментальный эффект.
Если внутренняя валидность проведенного эксперимента оценивается высоко, то из этого также еще не следует, что установленная экспериментально зависимость соответствует чему-либо в реальности. Так, в лабораторных экспериментах экспериментальная модель может представлять модель научную, репрезентирующую определенные связи между операционализированными переменными. Возможны случаи, когда для этих моделей потом не находятся те виды субъективной реальности, которые они были призваны репрезентировать в экспериментальной ситуации. Тем самым не находится той эмпирии, на которую можно было бы перенести обобщение установленной в эксперименте зависимости.
Внутренняя валидность является непременным условием любого эксперимента Кэмпбелл выделил восемь основных факторов, нарушающих внутреннюю валидность эксперимента. Перечислим их. Первую группу можно назвать факторами выборки:
1. Селекция — неэквивалентность групп по составу, которая вызывает систематическую ошибку в результатах.
2. Статистическая регрессия — частный случай ошибки селекции, когда группы отбирались на основе «крайних» показателей (иначе — корреляция из-за неоднородности группы).
3. Экспериментальный отсев — неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу.
4. Естественное развитие — изменение испытуемых, являющееся следствием течения времени, без связи с конкретными событиями изменение состояния (голод, усталость, болезнь и др.), свойств индивида (возрастные перемены, накопление опыта и др.).
Внешняя валидность, предполагающая решение проблем соответствия (НП, ЗП, ДП), обеспечивает возможность обобщения на те виды ситуаций или виды деятельности, которым соответствуют экспериментально контролируемые переменные. Если речь идет о теоретических обобщениях, то оценка внешней валидности уступает место оценке конструктной валидности. Решение вопросов о конструктной и внешней валидности приводит исследователя к выбору типа эксперимента: естественного («дублирующего реальный мир»), искусственного (улучшающего реальный мир) или лабораторного.
Экспериментальный метод предполагает построение исследования с целью отвержения неадекватных объяснений или «неверных» теорий как не соответствующих эмпирически установленным зависимостям. Чаще неразличение продуктивного теоретизирования и псевдотеоретизирования связано с тем, что всегда необходим существенный «прорыв» в обобщении, чтобы соотнести хотя бы посредством гипотетических конструктов [68] закономерности, устанавливаемые при построении экспериментальных ситуаций (экспериментальных моделей) и теоретических моделей. Только содержательное обсуждение устанавливаемой в каузальной гипотезе связи между переменными, учитывающее объяснительные принципы, сложившиеся в рамках конкретных психологических школ, позволяет исследователю настаивать на реальности, т.е. «эмпирической загруженности», стоящих за переменными психологических понятий и исследуемых зависимостей. Анализ эмпирической загруженности следующих из теории гипотез выполняет при этом существенную роль «ограничителя» для утверждения псевдозакономерностей [82].
Понятие конструктной валидности охватывает соответствующий аспект оценки правильности построения эксперимента: насколько обоснованным был переход от представленных в теоретической гипотезе понятий – психологических конструктов к эмпирическим их репрезентациям как НП, ЗП, ДП, а также насколько объяснение установленной зависимости действительно следует из представляемой автором теории. Еще до выбора конкретных методик или уже при их обосновании экспериментатор осуществляет тот «прорыв» в обобщении (от теории к эмпирии), который связан с множественностью экспериментальных воплощений универсальных высказываний. Один и тот же конструкт (например, понятие агрессии или фрустрации) может предполагать разные модели возникновения и регуляции исследуемых феноменов, т.е. всегда возникает вопрос, какая авторская позиция стоит за используемым психологическим понятием. Эта позиция во многом определит, как будут конкретизированы переменные на уровне экспериментальной и контргипотез.
Уже рассмотренная проблема возможной множественной интерпретации одной и той же экспериментальной зависимости фиксирует другой аспект конструктной валидности, а именно: насколько обоснованным выглядит авторское введение гипотетических конструктов в каузальную зависимость как объяснение связи между НП и ЗП. Известно, что отсутствие сильных конкурирующих объяснений – это третье условие причинного вывода. В реальности конкурирующие объяснения остаются всегда, вопрос только в том, насколько более обоснованной выступает авторская интерпретация по сравнению с другими объяснениями той же установленной зависимости. Понятно, что эта оценка – содержательная, а не только формально-логическая (что тоже должно учитываться – как проявление логической компетентности автора). Само принятие той или иной позиции может характеризовать пристрастия экспериментатора, однако оценка конструктной валидности уже не может быть столь же пристрастной, поскольку она связана с отражением в гипотезе накопленных знаний об исследуемой реальности.
Итак, оценка обоснованности перехода от уровня теоретических положений к уровню экспериментальной и контргипотезы – вопросы конструктной валидности эксперимента. Решение проблем операционализации переменных в методических процедурах их измерения (и управления) – вопросы операциональной валидности. Если обобщение зависимости включает перенос ее на «жизненные», т.е. реальные, виды ситуаций и деятельности человека – это решение проблем соответствия переменных с точки зрения внешней, или, как ее теперь иногда называют, экологической валидности.
Оценка операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического воплощения. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована при достаточно разном «техническом» или операциональном воплощении управляемых и измеряемых переменных.
Популяционные гипотезы, имеющие целью перенос обобщений на конкретные группы людей и целые популяции, могут оцениваться с помощью использования мысленных образцов, но не могут быть проверены в умственном плане. Те дополнительные переменные, которые должны быть учтены исследователем в целях обобщения, не обеспечивают обоснования условий необходимости или достаточности в контексте представленности в реальном поведении людей или в реальных ситуациях действия именно тех механизмов, которые рассматривались в МЭ.
Факторы, угрожающие внутренней валидности эксперимента, рассматриваются в связи с обсуждением формального планирования как условия принятия решений об экспериментальном факте. Разработка межгрупповых или интраиндивидуальных планов направлена в первую очередь на обеспечение контроля внутренней валидности. Применительно к стратегиям отбора испытуемых в группы из популяций следует также обсуждать взаимосвязь внешней (популяционной) и внутренней валидности, поскольку этими стратегиями решаются одновременно две задачи: обеспечение репрезентативности выборки испытуемых, и эквивалентности сравниваемых групп.
Внешняя валидность определяет, в какой мере результаты, полученные в эксперименте, будут соответствовать жизненной ситуации, послужившей «первообразом» для эксперимента. Кроме того, внешняя валидность характеризует возможность обобщения, переноса результатов, полученных в эксперименте, на весь класс жизненных ситуаций, к которым принадлежит «первообразная», и на любые другие.
Надо сказать, что внешняя валидность имеет особое значение на эмпирической стадии развития науки. В принципе возможны такие эксперименты, которые не соответствуют никаким реальным жизненным ситуациям, а служат лишь для проверки гипотез, источником которых является развитая теория. В развитых науках исследователи стремятся избегать «прямого замыкания». Экспериментальный результат — реальность, так как понятно, что эксперимент строится исходя из требований проверяемой теории, а не из требований соответствия реальности. Моделирование некоторых условий, например в экспериментах по сенсорной депривации или выработке классических условных рефлексов, не соответствует никакой жизненной реальности. При условии, если под реальностью понимать то, что было, а не то, что потенциально может быть. Поэтому многостраничные рассуждения такого солидного автора, как Готтсданкер, по поводу «экспериментов полного соответствия» или «экспериментов, улучшающих реальность», кажутся надуманными и архаичными.
Но нельзя отрицать значение «внешней валидности» для эксперимента, если учитывать общее состояние психологической науки, а не «передовой» край психологической теории.
Внешняя валидность иногда трактуется как характеристика эксперимента, определяющая возможность переноса (обобщения) полученных результатов на различные времена, места, условия и группы людей (или животных). Однако возможность переноса является следствием двух причин: 1) соответствия условий эксперимента его «первообразной» жизненной ситуации («репрезентативность» эксперимента); 2) типичности самой «первообразной» ситуации для реальности («репрезентативность» ситуации). Выбранная для моделирования в эксперименте ситуация может быть совершенно нерепрезентативной с точки зрения жизни той группы испытуемых, которая участвует в эксперименте, или являться редкой и нетипичной.
Внешняя валидность, как определяет ее Готтсданкер, влияет прежде всего на достоверность выводов, которую дают результаты реального эксперимента по сравнению с экспериментом полного соответствия. Для достижения высокой внешней валидности нужно, чтобы уровни дополнительных переменных в эксперименте соответствовали их уровням в реальности. Эксперимент, который не имеет внешней валидности, считается неверным. Добавим, что он неверен, если источником гипотезы является реальность, обыденное знание, а не теория. Эксперимент, не соответствующий реальности, может обладать совершенной внутренней и операциональной валидностью. Другое дело, что прямой перенос его результатов в реальность невозможен без учета влияния на зависимую переменную помимо независимой и дополнительных переменных.
Очевидно, что достижение полной внешней валидности невозможно в принципе, поэтому любое «чистое» аналитическое исследование является внешне невалидным. Вместе с тем рекомендуется максимально учитывать влияние дополнительных переменных на экспериментальный эффект, так как неизвестно, когда будет построена теория для их объяснения, а данные, возможно, придется использовать на практике.
Заботу о внешней валидности эксперимента особо проявляют исследователи, работающие в прикладных областях: клинической психологии, педагогической и организационной психологии. Это понятно, ибо для решения своих повседневных задач им чаще приходится прибегать к постановке экспериментов, имитирующих реальность. По сути, историческая дискуссия сторонников лабораторного эксперимента и «естественного эксперимента» была отражением разного методического подхода специалистов, занимавшихся фундаментальной или прикладной психологией. В настоящее время факторами, влияющими на внешнюю валидность, считают неустранимые особенности эксперимента, отличающие его от реальной ситуации. Кэмпбелл ставит знак равенства между внешней валидностью, репрезентативностью эксперимента и возможностью генерализации его результатов. Он относит к факторам, угрожающим внешней валидности, в первую очередь эффекты, связанные с особенностями объекта исследования: обучаемость, наличие памяти, способность эмоционально реагировать на ситуации. Кэмпбелл называет главные причины нарушения внешней валидности:
1. Эффект тестирования — уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием тестирования. Например, предварительный контроль знаний учеников может повысить их интерес к новому учебному материалу. Поскольку генеральная совокупность предварительному тестированию не подвергается, то результаты для нее могут быть нерепрезентативными.
2. Условия проведения исследования. Они вызывают реакцию испытуемого на эксперимент. Следовательно, его данные нельзя переносить на лиц, не принимавших участия в эксперименте, этими лицами является вся генеральная совокупность, кроме экспериментальной выборки.
3. Взаимодействие факторов отбора и содержания экспериментального воздействия. Их следствия — артефакты (в экспериментах с добровольцами или испытуемыми, участвующими по принуждению).
4. Интерференция экспериментальных воздействий. Испытуемые обладают памятью и обучаемостью. Если эксперимент состоит из нескольких серий, то первые воздействия не проходят для них бесследно и сказываются на появлении эффектов от последующих воздействий.
Большинство причин нарушения внешней валидности связано с особенностями психологического эксперимента, проводимого с участием человека, которые отличают психологическое исследование от эксперимента, осуществляемого специалистами других естественных наук.
На взаимодействие процедуры тестирования и содержания экспериментального воздействия первым обратил внимание в 1949 г. Р. Л. Соломон [Solomon R.L., 1949] при проведении исследования школьников: предварительное тестирование снижало эффективность обучения. Исследование социальных установок показало, что предварительное тестирование оказывало влияние на установки личности и ее подверженность убеждению, а в экспериментах Ховленда, наоборот, ослабляло убеждающее воздействие фильмов.
Эффект тем больше, чем необычнее процедура тестирования и чем более сходно по содержанию экспериментальное воздействие с тестом. Для того чтобы избежать эффекта предварительного тестирования, Кэмпбелл рекомендует применять экспериментальные планы с предварительно не тестируемыми группами.
Как уже отмечалось, «взаимодействие состава группы и воздействия» связано с неслучайным участием испытуемых в эксперименте. Реакция может быть двух типов: готовность добровольцев «подвергнуться воздействию» и отказ, негативная реакция тех, кто принудительно привлечен к участию в эксперименте. В исследованиях по научению могут согласиться участвовать только интеллектуально одаренные люди. Выбывание испытуемых в ходе эксперимента может вызываться экспериментальным воздействием. К примеру, лица, потерпевшие неудачу при выполнении заданий на мотивацию достижения, могут отказаться от участия в последующих сериях.
Естественно, практически невозможно элиминировать лишь фактор «реакции на эксперимент». Еще раз отметим, что проблема внутренней валидности разрешима в принципе, так как можно подобрать соответствующие процедуры планирования эксперимента и математической обработки результатов, чтобы обеспечить заданный уровень их достоверности.
Согласно Кэмпбеллу, проблема внешней валидности как репрезентативности эксперимента по отношению к реальности неразрешима, так как индукция, т.е. обобщение, никогда не может быть полностью объективна.
Проблема внешней валидности как адекватности ситуации эксперимента его «первообразной» жизненной ситуации также неразрешима логическими и математическими средствами: она требует привлечения всей совокупности научных психологических знаний для описания ситуации в целом.
§
Следует различать контроль независимой переменной и контроль «прочих» или внешних (побочных и дополнительных переменных). Контроль независимой переменной состоит в ее активном варьировании или знании закономерности ее изменения. Второй смысл понятия «контроль» — управление внешними, «прочими» переменными эксперимента. Влияние внешних переменных сводится к эффекту смешения.
Различают два основных способа контроля независимой переменной. Эти способы лежат в основе двух типов эмпирического исследования: активного и пассивного. Напомним, что в психологии к активным относятся деятельностный метод (эксперимент) и коммуникативный (беседа), а к пассивным — наблюдение и измерение. Пассивные методы называют также методами систематизированной регистрации, или систематизированного наблюдения (включая в него и процедуру измерения).
В эксперименте контроль независимой переменной производится с помощью активного манипулирования, варьирования. При систематизированном наблюдении (также — измерении) контроль осуществляется за счет отбора (селекции) требуемых значений независимой переменной из числа уже существующих переменных. Примером активного контроля является, например, изменение громкости сигнала, подаваемого экспериментатором в наушники. Примером пассивного контроля может служить разбиение группы учеников на неуспевающих, среднеуспевающих и хорошо успевающих при исследовании влияния уровня успешности обучения на статус личности в учебной группе.
При планировании исследования следует иметь в виду, что принципы, предъявляемые к формированию плана для активного и пассивного исследований, одни и те же, за исключением контроля эффектов, связанных с экспериментальным воздействием.
Существует несколько основных приемов контроля над влиянием внешних («прочих») переменных на результат эксперимента:
1) элиминация внешних переменных;
2) константность условий;
3) балансировка;
4) контрбалансировка;
5) рандомизация.
Эти приемы, разумеется, не позволяют полностью избежать воздействий со стороны «прочих» переменных, однако их выполнение является своеобразной профилактической процедурой: мытье рук перед едой не дает 100 %-й гарантии от заболевания дизентерией, но существенно снижает вероятность заболевания.
15. Доэкспериментальные планы их характеристика.
Доэкспериментальные планы, точнее — исследования, которые проводились и проводятся до сих пор по определенным схемам, не учитывают требований, предъявляемых к плану классического экспериментального исследования. Причина — незнание этих требований или невозможность их учета при проведении реального исследования в конкретных условиях. Исследования по схеме доэкспериментальных планов проводились еще до возникновения теории планирования эксперимента.
5.2.1 Доэкспериментальные планы
Кэмпбелл выделяет три вида доэкспериментальных планов. Два из них другой авторитетный автор, МакГиган, относит к квазиэкспериментальным. Мы будем придерживаться взглядов Кэмпбелла; его книга переведена на русский язык и вышла вторым изданием, учебник же МакГигана, к сожалению, широкому кругу читателей недоступен.
К доэкспериментальным планам относятся: а) исследование единичного случая; б) план с предварительным и итоговым тестированием одной группы и в) сравнение статистических групп.
Исследование единичного случая относится к области прошлого. Однократно тестируется одна группа, подвергнутая воздействию по плану: Х О. Контроль внешних переменных и независимой переменной полностью отсутствует. В таком «исследовании» нет никакого материала для сравнения. А ведь с него обычно начинается любая научная работа. Такого рода исследования, как правило, проводятся на первых этапах научной деятельности для сопоставления их результатов с обыденными представлениями о реальности. Но научной информации они не несут.
План с предварительным и итоговым тестированием одной группы часто применяется в социологических, социально-психологических и педагогических исследованиях: О1 Х О2 . В этом плане отсутствует контрольная выборка, поэтому нельзя утверждать, что изменения (разница О1и О2) зависимой переменной, регистрируемые в ходе тестирования, вызваны именно изменением независимой переменной. Между начальным и конечным тестированием происходят и другие «фоновые» события, воздействующие на испытуемых наравне с независимой переменной. Кроме того, этот план не позволяет контролировать эффект «естественного развития»: в течение короткого времени — изменение состояния испытуемого (утомление, монотония, скука и др.), а в течение длительного времени — изменения личностных черт. Наконец, эффект тестирования — воздействие предыдущего обследования на последующее — может быть еще одним неконтролируемым фактором, влияющим на изменение зависимой переменной. Можно перечислить и другие источники артефактов — внешние переменные, которые не контролируются этим планом.
Третий вариант доэкспериментального плана — сравнение статистических групп, или, точнее, план для двух неэквивалентных групп с тестированием после воздействия.
Х О1
О2
Этот план лучше предыдущего хотя бы тем, что позволяет учитывать эффект тестирования благодаря введению контрольной группы, а также отчасти контролировать влияние «истории» — фоновых воздействий на испытуемых, и ряд других внешних переменных (инструментальную погрешность, регрессию и др.). Но с помощью этого плана невозможно учесть эффект естественного развития, так как нет материала для сравнения состояния испытуемых на данный момент с их начальным состоянием (нет предварительного тестирования).
Этот доэкспериментальный план распространен в психологической исследовательской практике. Для сравнения результатов контрольной и экспериментальной групп используется t-критерий Стьюдента. Всегда надо иметь в виду, что различия в результатах тестирования могут быть обусловлены не экспериментальным воздействием, а различием состава групп. Этот план, если отбросить экспериментальное воздействие, вполне применим в корреляционном исследовании, но его не следует использовать для проверки гипотез о причинной связи двух переменных.
16. Факторные эксперименты их планы
5.1.3 Факторные планы
Факторные эксперименты применяются тогда, когда необходимо проверить сложные гипотезы о взаимосвязях между переменными. Общий вид подобной гипотезы: «Если А1, А2,…, А n, то В». Такие гипотезы называются комплексными, комбинированными и др. При этом между независимыми переменными могут быть различные отношения: конъюнкции, дизъюнкции, линейной независимости, аддитивные или мультипликативные и др. Факторные эксперименты являются частным случаем многомерного исследования, в ходе проведения которого пытаются установить отношения между несколькими независимыми и несколькими зависимыми переменными. В факторном эксперименте проверяются одновременно, как правило, два типа гипотез:
1) гипотезы о раздельном влиянии каждой из независимых переменных;
2) гипотезы о взаимодействии переменных, а именно — как присутствие одной из независимых переменных влияет на эффект воздействия на другой.
Факторный эксперимент строится по факторному плану. Факторное планирование эксперимента заключается в том, чтобы все уровни независимых переменных сочетались друг с другом. Число экспериментальных групп равно числу сочетаний уровней всех независимых переменных.
Сегодня факторные планы наиболее распространены в психологии, поскольку простые зависимости между двумя переменными в ней практически не встречаются.
Существует множество вариантов факторных планов, но на практике применяются далеко не все. Чаще всего используются факторные планы для двух независимых переменных и двух уровней типа 2х2. Для составления плана применяется принцип балансировки. План 2х2 используется для выявления эффекта воздействия двух независимых переменных на одну зависимую. Экспериментатор манипулирует возможными сочетаниями переменных и уровней. Данные приведены в простейшей таблице (табл. 5.6).
Реже используются четыре независимые рандомизированные группы. Для обработки результатов применяется дисперсионный анализ по Фишеру.
Так же редко используются другие версии факторного плана, а именно: 3х2 или 3х3. План 3х2 применяется в тех случаях, когда нужно установить вид зависимости одной зависимой переменной от одной независимой, а одна из независимых переменных представлена дихотомическим параметром. Пример такого плана — эксперимент по выявлению воздействия внешнего наблюдения на успех решения интеллектуальных задач. Первая независимая переменная варьируется просто: есть наблюдатель, нет наблюдателя. Вторая независимая переменная — уровни трудности задачи. В этом случае мы получаем план 3х2 (табл. 5.7).
Вариант плана 3х3 применяется в том случае, если обе независимые переменные имеют несколько уровней и есть возможность выявить виды связи зависимой переменной от независимых. Этот план позволяет выявлять влияние подкрепления на успешность выполнения задании разной трудности (табл. 5.8).
Таблица 5.6
2-я переменная | 1-я переменная | |
| Есть | Нет | |
| Есть | 1 | 2 |
| Нет | 3 | 4 |
Таблица 5.7
1-я переменная | 2-я переменная | ||
| Легкая | Средняя | Трудная | |
| Есть наблюдатель | 1 | 2 | 3 |
| Нет наблюдателя | 4 | 5 | 6 |
Таблица 5.8
Уровень сложности задачи | Интенсивность стимуляции | ||
| Низкая | Средняя | Высокая | |
| Низкий | 1 | 2 | 3 |
| Средний | 4 | 5 | 6 |
| Высокий | 7 | 8 | 9 |
В общем случае план для двух независимых переменных выглядит как N х М. Применимость таких планов ограничивается только необходимостью набора большого числа рандомизированных групп. Объем экспериментальной работы чрезмерно возрастает с добавлением каждого уровня любой независимой переменной.
Планы, используемые для исследования влияния более двух независимых переменных, применяются редко. Для трех переменных они имеют общий вид L х М х N.
Чаще всего применяются планы 2х2х2: «три независимые переменные — два уровня». Очевидно, добавление каждой новой переменной увеличивает число групп. Общее их число 2, где п — число переменных в случае двух уровней интенсивности и К — в случае К-уровневой интенсивности (считаем, что число уровней одинаково для всех независимых переменных). Примером этого плана может быть развитие предыдущего. В случае, когда нас интересует успешность выполнения экспериментальной серии заданий, зависящая не только от общей стимуляции, которая производится в форме наказания — удара током, но и от соотношения поощрения и наказания, мы применяем план 3х3х3.
Таблица 5.9
| | L1 | L2 | L3 |
| М 1 | A1 | В 2 | С 3 |
| М 2 | В 2 | С 3 | А 1 |
| м 3 | С 3 | А 1 | В 2 |
Упрощением полного плана с тремя независимыми переменными вида L х М х N является планирование по методу «латинского квадрата». «Латинский квадрат» применяют тогда, когда нужно исследовать одновременное влияние трех переменных, имеющих два уровня или более. Принцип «латинского квадрата» состоит в том, что два уровня разных переменных встречаются в экспериментальном плане только один раз. Тем самым процедура значительно упрощается, не говоря о том, что экспериментатор избавляется от необходимости работать с огромными выборками.
Предположим, что у нас есть три независимые переменные, с тремя уровнями каждая:
1. L1, L2, L3
2. М1,М2,М3
3. А, В, С
План по методу «латинского квадрата» представлен в табл. 5.9.
Такой же прием используется для контроля внешних переменных (контрбалансировка). Нетрудно заметить, что уровни третьей переменной N (А, В, С,) встречаются в каждой строке и в каждой колонке по одному разу. Комбинируя результаты по строкам, столбцам и уровням, можно выявить влияние каждой из независимых переменных на зависимую, а также степень попарного взаимодействия переменных.
«Латинский квадрат» позволяет значительно сократить число групп. В частности, план 2х2х2 превращается в простую таблицу (табл. 5.10).
Применение латинских букв в клеточках для обозначения уровней 3-й переменной (А — есть, В — нет) традиционно, поэтому метод назван «латинский квадрат».
Более сложный план по методу «греко-латинского квадрата» применяется очень редко. С его помощью можно исследовать влияние на зависимую переменную четырех независимых. Суть его в следующем: к каждой латинской группе плана с тремя переменными присоединяется греческая буква, обозначающая уровни четвертой переменной.
Рассмотрим пример. У нас четыре переменные, каждая из которых имеет три уровня интенсивности. План по методу «греко-латинского квадрата» примет такой вид (табл. 5.11).
Для обработки данных применяется метод дисперсионного анализа по Фишеру. Методы «латинского» и «греко-латинского» квадрата пришли в психологию из агробиологии, но большого распространения не получили. Исключением являются некоторые эксперименты в психофизике и психологии восприятия.
Главная проблема, которую удается решить в факторном эксперименте и невозможно решить, применяя несколько обычных экспериментов с одной независимой переменной, — определение взаимодействия двух переменных.
Таблица 5.10
2-я переменная | 1-я переменная | |
| Есть | Нет | |
| Есть | А | В |
| Нет | В | А |
Таблица 5.11
| | L1 | L2 | L3 |
| М1 | А a | В b | С g |
| М2 | В b | С g | А a |
| М3 | С g | А a | В b |
Рассмотрим возможные результаты простейшего факторного эксперимента 2х2 с позиций взаимодействий переменных. Для этого нам надо представить результаты опытов на графике, где по оси абсцисс отложены значения первой независимой переменной, а по оси ординат — значения зависимой переменной. Каждая из двух прямых, соединяющих значения зависимой переменной при разных значениях первой независимой переменной (А), характеризует один из уровней второй независимой переменной (В). Применим для простоты результаты не экспериментального, а корреляционного исследования. Условимся, что мы исследовали зависимость статуса ребенка в группе от состояния его здоровья и уровня интеллекта. Рассмотрим варианты возможных отношений между переменными.
Первый вариант: прямые параллельны — взаимодействия переменных нет (рис. 5.1).
Больные дети имеют более низкий статус, чем здоровые, независимо от уровня интеллекта. Интеллектуалы имеют всегда более высокий статус (независимо от здоровья).
Второй вариант: физическое здоровье при наличии высокого уровня интеллекта увеличивает шанс получить более высокий статус в группе(рис 5.2).
В этом случае получен эффект расходящегося взаимодействия двух независимых переменных. Вторая переменная усиливает влияние первой на зависимую переменную.
Третий вариант: сходящееся взаимодействие — физическое здоровье уменьшает шанс интеллектуала приобрести более высокий статус в группе. Переменная «здоровье» уменьшает влияние переменной «интеллект» на зависимую переменную. Есть и другие случаи этого варианта взаимодействия:
переменные взаимодействуют так, что увеличение значения первой приводит к уменьшению влияния второй с изменением знака зависимости (рис. 5.3).
У больных детей, обладающих высоким уровнем интеллекта, меньше шанс получить высокий статус, чем у больных детей с низким интеллектом, а у здоровых — связь интеллекта и статуса позитивная.
Теоретически возможно представить, что больные дети будут иметь больший шанс получить высокий статус при высоком уровне интеллекта, чем их здоровые низкоинтеллектуальные сверстники.
Последний, четвертый, возможный вариант наблюдаемых в исследованиях отношений между независимыми переменными: случай, когда между ними существует пересекающееся взаимодействие, представленное на последнем графике (рис. 5.4).
Итак, возможны следующие взаимодействия переменных: нулевое; расходящееся (с различными знаками зависимости); пересекающееся.
Оценка величины взаимодействия проводится с помощью дисперсионного анализа, а t-критерий Стьюдента используется для оценки значимости различий групповых `X.
Во всех рассмотренных вариантах планирования эксперимента применяется способ балансировки: различные группы испытуемых ставятся в разные экспериментальные условия. Процедура уравнивания состава групп позволяет производить сравнение результатов.
Однако во многих случаях требуется планировать эксперимент так, чтобы все его участники получили все варианты воздействия независимых переменных. Тогда на помощь приходит техника контрбалансировки.
Планы, в которых воплощается стратегия «все испытуемые — все воздействия», Мак-Колл [McCall W. А., 1923] называет ротационными экспериментами, а Кэмпбелл — «сбалансированными планами». Чтобы не было путаницы между понятиями «балансировка» и «контрбалансировка», будем использовать термин «ротационный план».
Ротационные планы строятся по методу «латинского квадрата», но, в отличие от рассмотренного выше примера, по строкам обозначены группы испытуемых, а не уровни переменной, по столбцам — уровни воздействия первой независимой переменной (или переменных), в клеточках таблицы — уровни воздействия второй независимой переменной.
Пример экспериментального плана для 3 групп (А, B, С) и 2 независимых переменных (X, Y) с 3 уровнями интенсивности (1-й, 2-й, 3-й) приводим ниже. Нетрудно заметить, что этот план можно переписать и так, чтобы в клеточках стояли уровни переменной Y (табл. 5.12).
Кэмпбелл включает этот план в число квазиэкспериментальных на основании того, что неизвестно, контролируется ли с его помощью внешняя валидность. Действительно, вряд ли в реальной жизни испытуемый может получить серию таких воздействий,как в эксперименте.
Что касается взаимодействия состава групп с другими внешними переменными, источниками артефактов, то рандомизация групп, согласно утверждению Кэмпбелла, должна минимизировать влияние этого фактора.
Суммы по столбцам в ротационном плане свидетельствуют о различиях в уровне эффекта при разных значениях одной независимой переменной (X или Y), а суммы по строкам должны характеризовать различия между группами. Если группы рандомизированы удачно, то межгрупповых различий быть не должно. Если же состав группы является дополнительной переменной, возникает возможность ее проконтролировать. Схема контрбалансировки не позволяет избежать эффекта тренировки, хотя данные многочисленных экспериментов с применением «латинского квадрата» не позволяют делать такой вывод.
Таблица 5.12
Группа | Уровни 1-й переменной | ||
| X1 | X2 | X3 | |
| А | Y1 | Y2 | Y3 |
| В | Y2 | Y3 | Y1 |
| С | Y3 | Y1 | Y2 |
Подводя итог рассмотрению различных вариантов экспериментальных планов, предлагаем их классификацию. Экспериментальные планы различаются по таким основаниям:
1. Число независимых переменных: одна или больше. В зависимости от их числа применяется либо простой, либо факторный план.
2. Число уровней независимых переменных: при 2 уровнях речь идет об установлении качественной связи, при 3 и более — количественной связи.
3. Кто получает воздействие. Если применяется схема «каждой группе — своя комбинация», то речь идет о межгрупповом плане. Если же применяется схема «все группы — все воздействия», то речь идет о ротационном плане. Готтсданкер называет его кросс-индивидуальным сравнением.
Схема планирования эксперимента может быть гомогенной или гетерогенной (в зависимости от того, равно или не равно число независимых переменных числу уровней их изменения).
17. Эксп.планы временных серий
5.1.4 Планы экспериментов для одного испытуемого
Эксперименты на выборках с контролем переменных — ситуация, которую широкого стали использовать в психологии с 1910-1920-х гг. Особое распространение экспериментальные исследования на уравненных группах получили после создания выдающимся биологом и математиком Р. А. Фишером теории планирования экспериментов и обработки их результатов (дисперсионный и ковариационный анализы). Но психологи применяли эксперимент задолго до появления теории планирования исследования выборок. Первые экспериментальные исследования проводились с участием одного испытуемого — им являлся сам экспериментатор либо его ассистент. Начиная с Г. Фехнера (1860), в психологию пришла техника экспериментирования для проверки теоретических количественных гипотез.
Классическим экспериментальным исследованием одного испытуемого стала работа Г. Эббингауза, которая была проведена в 1913 г. Эббингауз исследовал явление забывания с помощью заучивания бессмысленных слогов (изобретенных им же). Он заучивал серию слогов, а затем пытался их воспроизвести через определенное время. В итоге была получена классическая кривая забывания: зависимость объема сохраненного материала от времени, прошедшего с момента заучивания (рис. 5.5).
В эмпирической научной психологии взаимодействуют и борются три исследовательские парадигмы. Представители одной из них, традиционно идущей от естественнонаучного эксперимента, считают единственно достоверным знанием только то, которое добывается в экспериментах на эквивалентных и репрезентативных выборках. Основной аргумент сторонников этой позиции — необходимость контроля внешних переменных и нивелирования индивидуальных различий для нахождения общих закономерностей.
Представители методологии «экспериментального анализа поведения» критикуют сторонников статистического анализа и планирования экспериментов на выборках. По их мнению, нужно проводить исследования с участием одного испытуемого и с применением определенных стратегий, которые позволят в ходе эксперимента редуцировать источники артефактов. Сторонниками этой методологии являются такие известные исследователи, как Б. Ф. Скиннер, Г. А. Мюррейидр.
Наконец, классическое идиографическое исследование противопоставляется как экспериментам с участием одного испытуемого, так и планам, изучающим поведение в репрезентативных выборках. Идиографическое исследование предусматривает изучение индивидуальных случаев: биографий или особенностей поведения отдельных людей. Примером являются замечательные работы Лурии «Потерянный и возвращенный мир» и «Маленькая книжка о большой памяти».
Во многих случаях исследования, проводимые с участием одного испытуемого, являются единственно возможным вариантом. Методология исследования одного испытуемого разрабатывалась в 1970—1980-е гг. многими авторами: А. Кезданом, Т. Кратохвиллом, Б. Ф. Скиннером, Ф.-Дж. МакГиганом и др.
В ходе эксперимента выявляются два источника артефактов: а) ошибки в стратегии планирования и в проведении исследования; б) индивидуальные различия.
Если создать «правильную» стратегию проведения эксперимента с одним испытуемым, то вся проблема сведется лишь к учету индивидуальных различий. Эксперимент с одним испытуемым возможен тогда, когда: а) индивидуальными различиями можно пренебречь в отношении переменных, изучаемых в эксперименте, все испытуемые признаются эквивалентными, поэтому возможен перенос данных на каждого члена популяции; б) испытуемый уникален, и проблема прямого переноса данных неактуальна.
Стратегия экспериментирования с одним испытуемым разработана Скиннером для исследования процесса обучения. Данные в ходе исследования представляются в форме «кривых обучения» в системе координат «время» — «общее число ответов» (кумулятивная кривая). Кривая обучения первоначально анализируется визуально; рассматриваются ее изменения во времени. Если функция, описывающая кривую, изменяется при изменении воздействия А на В, то это может свидетельствовать о наличии причинной зависимости поведения от внешних воздействий (А или В).
Исследование по схеме «один испытуемый» ( single- subject research) называется также планированием временных серий. Основным показателем влияния независимой переменной на зависимую при реализации такого плана является изменение характера ответов испытуемого от воздействия на него изменения условий эксперимента во времени. Существует ряд основных схем применения этой парадигмы. Простейшая стратегия — схема А—В. Испытуемый первоначально выполняет деятельность в условиях А, а затем — в условиях В (см. рис. 5.8).
При использовании этого плана возникает закономерный вопрос: а сохранила бы кривая ответов прежний вид, если бы не было воздействия? Проще говоря, эта схема не контролирует эффект плацебо. Кроме того, неясно, что привело к эффекту: может быть, воздействие оказала не переменная В, а какая-либо иная переменная, не учтенная в эксперименте.
Поэтому чаще применяется другая схема: А—В—А. Первоначально регистрируется поведение испытуемого в условиях А, затем условия изменяются (В), а на третьем этапе происходит возвращение прежних условий (А). Изучается изменение функциональной связи между независимой и зависимой переменными. Если при изменении условий на третьем этапе восстанавливается прежний вид функциональной зависимости между зависимой и зависимой переменными, то независимая переменная считается причиной, которая может модифицировать поведение испытуемого (рис. 5.9).
Однако и первый, и второй варианты планирования временных серий не позволяют учесть фактор кумуляции воздействий. Возможно, к эффекту приводит сочетание — последовательность условий (А и В). Неочевидно и то, что после возврата к ситуации В кривая примет тот же вид, каким он был при первом предъявлении условий В.
Примером плана, который дважды воспроизводит один и тот же экспериментальный эффект, является схема А—В—А—В. Если при 2-м переходе от условий А к условиям В будет воспроизведено изменение функциональной зависимости ответов испытуемого от времени, то это станет доказательством экспериментальной гипотезы: независимая переменная (А, В) влияет на поведение испытуемого.
Рассмотрим простейший случай. В качестве зависимой переменной выберем общий объем знаний студента. В качестве независимой — занятия физкультурой по утрам (например, гимнастикой у-шу). Предположим, что комплекс у-шу благоприятно влияет на общее психическое состояние студента и способствует лучшему запоминанию (рис. 5.10).
Очевидно, что занятие гимнастикой благоприятно отразилось на обучаемости.
Существуют различные варианты планирования по методу временных серий. Различают схемы регулярного чередования серий (АВ-АВ), серии стохастических последовательностей и схемы позиционного уравнивания (пример: АВВА). Модификациями схемы А—В—А—В являются схема А—В—А—В—А или более длительная: А— В— А— В— А— В— А.
Применение более «длинных» временных планов увеличивает гарантию обнаружения эффекта, но приводит к утомлению испытуемого и другим кумулятивным эффектам.
Кроме того, план А—В—А—В и его различные модификации не снимают три важнейшие проблемы:
1. Что было бы с испытуемым, если бы никакого воздействия не было (эффект плацебо)?
2. Не является ли последовательность воздействий А—В сама по себе еще одним воздействием (побочной переменной)?
3. Какая причина привела к эффекту: если на месте В не было бы воздействия, повторился бы эффект?
Для контроля эффекта плацебо в серию А—В—А—В включают условия, «имитирующие» либо воздействие А, либо воздействие В. Рассмотрим решение последней проблемы. Но сначала проанализируем такой случай: допустим, студент постоянно занимается у-шу. Но периодически на стадионе или в спортивном зале появляется симпатичная девушка (просто зритель) — воздействие В. План А— В— А— В выявил повышение эффективности учебных занятий студента в периоды появления переменной В. Что является причиной: присутствие зрителя как такового или конкретной симпатичной девушки? Для проверки гипотезы о наличии конкретной причины эксперимент строится по следующей схеме: А—В—А—С—А. Например, в четвертый временной период на стадион приходит другая девушка или скучающий пенсионер. Если эффективность занятий значительно снизится (не та мотивация), то это будет свидетельствовать о конкретной причине ухудшения обучаемости. Возможен и вариант проверки воздействия условия А (занятия у-шу без зрителей). Для этого надо применить план А—В—С—В. Пусть студент какое-то время в отсутствие девушки прекратит занятия. Если же повторное появление ее на стадионе приведет к тому же эффекту, что и в первый раз, то причина повышения успеваемости — в ней, а не только в занятиях у-шу (рис. 5.11).
Прошу не принимать пример всерьез. В действительности происходит как раз все наоборот: увлечение девушками резко снижает успеваемость студентов.
Существует множество приемов проведения исследований с участием одного испытуемого. Примером развития плана А—В является «план альтернативных воздействий». Воздействия А и В рандомизированно распределяются во времени, например по дням недели, если речь идет о разных способах избавления от курения. Затем определяются все моменты, когда было воздействие А; строится кривая, соединяющая соответствующие последовательные точки. Выделяются все моменты времени, когда было «альтернативное» воздействие В, и в порядке следования во времени также соединяются; строится вторая кривая. Затем сравниваются обе кривые и выявляется, какое воздействие более эффективно. Эффективность определяется по величине роста или падения кривой (рис. 5.12).
Синонимами термина «план альтернативных воздействий» являются: «план сравнения серий», «план синхронизированных воздействий», «план множественных расписаний» и т.д.
Другой вариант — реверсивный план. Он применяется для исследования двух альтернативных форм поведения. Первоначально регистрируется базовый уровень проявления обеих форм поведения. Первое поведение может актуализироваться с помощью специфического воздействия, а второе, несовместимое с ним, провоцируется одновременно другим типом воздействия. Эффект двух воздействий оценивается. Через определенное время сочетание воздействий реверсируется так, что первая форма поведения получает воздействие, которое инициировало вторую форму поведения, а вторая — воздействие, релевантное первой форме поведения. Такой план используется, например, при исследовании поведения маленьких детей (рис.5.13).
В психологии обучения применяют метод смены критериев, или «план возрастания критериев». Суть его состоит в том, что регистрируется изменение поведения испытуемого в ответ на прирост (фазы) воздействия. Увеличение регистрируемого параметра поведения фиксируется, и следующее воздействие осуществляется лишь после выхода испытуемого на заданный уровень критерия. После стабилизации уровня исполнения испытуемому предъявляют следующую градацию воздействия. Кривая успешного эксперимента (подтверждающего гипотезу) напоминает сбитую каблуками лестницу, где начало ступени совпадает с началом уровня воздействия, а конец ее — с выходом испытуемого на очередной критерий.
Способом, позволяющим нивелировать «эффект последовательности», является инверсия последовательности воздействий — план А—В—В—А. Эффекты последовательности связаны с влиянием предшествующего воздействия на последующее (иное название — эффекты порядка, или эффекты переноса). Перенос может быть положительным или отрицательным, симметричным или асимметричным. Последовательность А—В—В—А называется позиционно уравненной схемой. Как отмечает Готтсданкер, воздействие переменных А и В обусловлено эффектами раннего или позднего переноса. Воздействие А связано с поздним переносом, а В — с ранним. Кроме того, если присутствует кумулятивный эффект, то два идущих подряд воздействия В могут влиять на субъекта как единое суммарное воздействие. Эксперимент может быть удачным лишь в том случае, если эти эффекты незначительны. Рассмотренные выше варианты планов с регулярным чередованием или со случайными последовательностями чаще всего очень длинны, поэтому их трудно реализовать.
Если подвести краткий итог, можно сказать, что схемы предъявления воздействия применяются в зависимости от возможностей, которые есть у экспериментатора.
Случайная последовательность воздействий получается путем рандомизации заданий. Ее применяют в экспериментах, требующих большого числа проб. Случайное чередование воздействий гарантирует от проявления эффектов последовательности.
При малом числе проб рекомендуется схема регулярного чередования типа А— В—А—В. Следует обратить внимание на периодичность фоновых воздействий, которые могут совпадать с действием независимой переменной. Например, если давать один тест на интеллект утром, а второй — всегда вечером, то под влиянием утомления эффективность выполнения второго теста будет понижаться.
Позиционно уравненная последовательность может быть пригодна лишь тогда, когда число воздействий (заданий) мало и влияние раннего и позднего переноса несущественно.
Но ни одна из схем не исключает проявления дифференцированного асимметричного переноса, когда влияние предшествующего воздействия А на эффект от воздействия В больше, чем влияние предшествующего воздействия В на эффект от воздействия А (или же наоборот).
Разнообразные варианты планов для одного испытуемого обобщили Д. Барлоу и М. Херсен в монографии «Экспериментальные планы для единичных случаев» ( Single case experimental designs, 1984)(табл. 5.13).
Таблица 5.13
Основные артефакты в исследовании на одном испытуемом практически неустранимы. Трудно представить, как можно устранить эффекты, связанные с необратимостью событий. Если эффекты порядка или взаимод
§
Квазиэкспериментом является любое исследование, направленное на установление причинной зависимости между двумя переменными («если А, то В»), в котором отсутствует предварительная процедура уравнивания групп или «параллельный контроль» с участием контрольной группы заменен сравнением результатов неоднократного тестирования группы (или групп) до и после воздействия.
Если пользоваться строгими определениями экспериментального и квазиэкспериментального исследований, то эксперимент с одним испытуемым следует отнести к квазиэкспериментам. В то же время квазиэкспериментальные планы временных серий по сути являются модификацией доэкспериментального плана
О1 Х О2
О3 О4
Выбираются две естественные группы, например два параллельных школьных класса. Обе группы тестируются. Затем одна группа подвергается воздействию (ставится в особые условия деятельности), а другая — нет. Через определенное время обе группы проходят тестирование повторно. Результаты первого и второго тестирования обеих групп сопоставляются; для сравнения используют t-критерий Стьюдента и дисперсионный анализ. Различие О2и О4 свидетельствует о естественном развитии и фоновом воздействии. Разница результатов первичного тестирования двух групп позволяет установить меру их эквивалентности в отношении измеряемой переменной. Для выявления эффекта действия независимой переменной с помощью t-критерия сравнивать нужно не О2и О4, a dO12 и dO34, т.е. величины сдвигов показателей во времени. Значимость различия приростов показателей будет свидетельствовать о влиянии независимой переменной на зависимую. Примером такого исследования является психолого-педагогический эксперимент. На первом этапе мы тестируем с помощью дидактического теста уровень знаний учащихся по иностранному языку (словарный запас). Экспериментальную группу обучаем мнемотехническим приемам при заучивании слов, а контрольная занимается с учителем, как и прежде. Затем проводится второе тестирование, и если прирост словарного запаса будет выше в экспериментальном классе, чем в контрольном, то мнемотехника полезна для запоминания иностранных слов.
Этот план аналогичен плану истинного эксперимента для двух групп с тестированием до и после воздействия. Главными источниками артефактов являются различия в составе групп. В первую очередь на результаты эксперимента может повлиять «эффект смешения», т. е. взаимодействия состава группы с факторами тестирования, фоновых событий, естественного развития и др. Например, если для участия в эксперименте отобраны параллельные классы А и В, то в В могут оказаться дети с меньшим IQ, чем в А, поэтому различия в результатах (увеличение запаса слов от первого тестирования ко второму) могут быть обусловлены большей обучаемостью первой группы по сравнению со второй. Чем больше сходство экспериментальной и контрольной групп, тем более валидны результаты, получаемые с помощью этого плана.
Кэмпбелл различает два варианта отбора групп. В первом случае в исследовании участвуют естественные группы, которые по отношению к самой процедуре эксперимента не отбираются. Поэтому эффект состава группы может присутствовать, но он не столь значим. Во втором случае экспериментальная группа формируется из добровольцев, а аналогичную контрольную группу приходится комплектовать другим способом (принуждением, обещанием оплаты и т. д.). При этом фактор состава группы может оказать решающее влияние на различие в результатах экспериментальной и контрольной групп.
Существует множество других вариантов квазиэкспериментальных планов для неэквивалентных групп: так называемые «лоскутные планы», планы «множественных серий замеров», план с контрольными выборками для предварительного и итогового тестирования и т.д. Интересующихся проблемой квазиэкспериментального планирования я отсылаю к монографии Кэмпбелла «Модели эксперимента в социальной психологии и прикладных исследованиях» (1980). Рассмотрим в качестве примеров еще два плана.
План с предварительным и итоговым тестированием различных рандомизированных выборок отличается от истинного эксперимента тем, что предварительное тестирование проходит одна группа, а итоговое (после воздействия) — эквивалентная (после рандомизации) группа, которая подверглась воздействию:
Этот план называют также «имитацией плана с начальным и конечным тестированием». Главный его недостаток — невозможность контролировать влияние фактора «истории» — фоновых событий, происходящих наряду с воздействием в период между первым и вторым тестированием.
Усложненным вариантом этого плана является схема с контрольными выборками для предварительного и итогового тестирования. В этом плане используются 4 рандомизированные группы, но воздействию подвергаются лишь 2 из них, причем тестируется после воздействия одна. План имеет следующий вид:
В том случае, если рандомизация проведена удачно, т.е. группы действительно эквивалентны, данный план по качеству не отличается от планов «истинного эксперимента». Он обладает наилучшей внешней валидностью, поскольку позволяет исключить влияние основных внешних переменных, ее нарушающих: взаимодействие предварительного тестирования и воздействия; взаимодействие состава групп и экспериментального воздействия; реакцию испытуемых на эксперимент. Не удается лишь исключить фактор взаимодействия состава групп с факторами естественного развития и фона, так как отсутствуют возможности сравнить влияния предварительного и последующего тестирования на экспериментальную и контрольную группы. Особенность плана состоит в том, что каждая из четырех групп тестируется всего лишь один раз: либо в начале, либо в конце исследования.
План этот применяется крайне редко. В большинстве учебников по экспериментальной психологии он даже не упоминается. Кэмпбелл также утверждает, что этот план ни разу не был реализован.
Гораздо чаще, чем приведенные выше «экстравагантные» планы, применяются схемы квазиэкспериментов, которые имеют общее название «дискретные временные серии». Для классификации этих планов можно выделить два основания: исследование проводится 1) с участием одной группы или нескольких; 2) с одним воздействием либо серией. Следует заметить, что планы, в которых реализуется серия однородных или разнородных воздействий с тестированием после каждого воздействия, получили в советской и российской психологической науке по традиции название «формирующие эксперименты». По своей сути они, конечно, являются квазиэкспериментами со всеми присущими таким исследованиям нарушениями внешней и внутренней валидности.
Используя такие планы, мы с самого начала должны отдавать себе отчет в том, что в них отсутствуют средства контроля внешней валидности. Невозможно проконтролировать взаимодействие предварительного тестирования и экспериментального воздействия, ликвидировать эффект систематического смешения (взаимодействия состава групп и экспериментального воздействия), проконтролировать реакцию испытуемых на эксперимент и определить эффект взаимодействия между различными экспериментальными воздействиями.
Квазиэкспериментальные планы, построенные по схеме временных серий на одной группе, по структуре сходны с экспериментальными планами для одного испытуемого.
План дискретных временных серий чаще всего используется в психологии развития, педагогической, социальной и клинической психологии. Суть его состоит в том, что первоначально определяется исходный уровень зависимой переменной на группе испытуемых с помощью серии последовательных замеров. Затем исследователь воздействует на испытуемых экспериментальной группы, варьируя независимую переменную, и проводит серию аналогичных измерений. Сравниваются уровни, или тренды, зависимой переменной до и после воздействия. Схема плана выглядит так:
Главный недостаток плана дискретных временных серий в том, что он не дает возможности отделить результат влияния независимой переменной от влияния фоновых событий, которые происходят в течение исследования. Чтобы ликвидировать эффект «истории», рекомендуют использовать экспериментальную изоляцию испытуемых.
Модификацией этого плана является другой квазиэксперимент по схеме временных серий, в котором воздействие перед замером чередуется с отсутствием воздействия перед замером:
Чередование может быть регулярным или случайным. Этот вариант подходит лишь в том случае, когда эффект воздействия обратим. При обработке данных, полученных в эксперименте, серии разбивают на две последовательности и сравнивают результаты тех замеров, где было воздействие, с результатами тех замеров, где оно отсутствовало. Для сравнения данных используется t-критерий Стьюдента с числом степеней свободы п — 2 (где п — число ситуаций одного типа).
Планы временных серий часто реализуются на практике (как я уже заметил, в советской педагогической психологии формирующий эксперимент считался чуть ли не единственным вариантом доказательного исследования). При их реализации часто наблюдается известный «эффект Хотторна». Впервые его обнаружили Диксон и Ротлизбергер в 1939 г., когда проводили исследование на заводах Хотторна в Чикаго. Предполагалось, что изменение системы организации труда позволит повысить его производительность. В результате оказалось, как выявили опросы рабочих, что само по себе участие в эксперименте повысило их мотивацию к труду. Испытуемые поняли, что ими лично интересуются, и стали работать продуктивнее. Чтобы контролировать этот эффект (по своей сути он не отличается от плацебо-эффекта в квазиэкспериментах, проводимых по методу временных серий), используется контрольная группа.
Схема плана временных серий для двух неэквивалентных групп, из которых одна не получает воздействия, выглядит так:
Квазиэксперимент позволяет контролировать действие фактора фоновых воздействий (эффект «истории»). Обычно именно этот план рекомендуется исследователям, проводящим эксперименты с участием естественных групп в детских садах, школах, клиниках или на производстве. Его можно назвать планом формирующего эксперимента с контрольной выборкой. Реализовать этот план весьма трудно, но в том случае, если удается провести рандомизацию групп, он превращается в план «истинного формирующего эксперимента».
Возможна комбинация этого плана и предыдущего, в котором чередуются серии с воздействием и его отсутствием на одной выборке.
