Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности.
Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять эти отличия полнее, необходимо разобраться в том, что, собственно говоря, является «ошибкой» исследования.
Количественные социологические исследования являются разновидностью исследований, в основании которых лежит математическая теория вероятности. В числе аксиоматических предпосылок этой теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, соответственно, могут различаться по своим демографическим признакам, установкам и т. д. , причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.
Основным критерием, характеризующим исследование статистического типа, является надежность, т. е. воспроизводимость полученных результатов. Если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны — значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. Однако вопрос их валидности этим далеко не исчерпывается.
В математической социологии валидность исследования принято трактовать как степень соответствия средства измерения тому, что подлежало измерению [19, с. 2б]. Словарь поясняет далее, что в строгом смысле слова валидизация возможна лишь при наличии независимого внешнего критерия, но такая ситуация в социологии является редкостью. Во всех остальных случаях валидность результатов количественных опросов является не более чем гипотезой, оценка степени правдоподобия которой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, является очень серьезной и плохо осознанной проблемой.
Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле этого слова. Строго говоря, количественные исследования надежны лишь в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. Если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.
Сравнивая количественные и качественные методы с точки зрения их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют — и этот аспект обычно слабо подчеркивается даже в специальной литературе — другие классы задач, в которых указанное соотношение прямо противоположно.
В задачу нашего учебника не входит рассмотрение вопросов методологии качественных методов вообще. Специфика фокус-групп, а также индивидуальных глубоких интервью, если они проводятся большими сериями, состоит в том, что к ним, по крайней мере теоретически, также применимы статистические критерии обоснованности, хотя и иные, чем в количественных исследованиях.
Текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с точки зрения разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:
1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.