Во-первых, в анкете могут обнаружиться как «лишние» (нерелевантные) блоки вопросов, так и, что еще важнее, отсутствующие, но содержательно необходимые (релевантные) блоки вопросов.
Во-вторых, как уже отмечалось в главе второй, анкеты, составленные отечественными социологами, почти всегда грешат недостаточной логической разветвленностью, упуская многие широко распространенные в действительности типологические случаи. Следует подчеркнуть, что первые же несколько интервью, проведенные по априорно составленной анкете, выявляют большое количество «недостающих» вопросов как первого, так и второго типа.
Наконец, третий уровень – это уровень самих вопросов и содержащихся в них подсказок-закрытий. Этот уровень можно охарактеризовать как «тонкую» или окончательную доводку анкеты. Перечень возможных пороков формулировок вопросов и закрытий, в общем, описан в отечественной литературе, но, несмотря на это, недостатки такого рода постоянно воспроизводятся в составляемых отечественными социологами анкетах.
Сопоставление результатов анкетных опросов (как пилотажных, так и массовых) с результатами глубокого интервью по этим анкетам демонстрирует, что «гладкость» или «легкость» заполнения анкет сидящими в зале респондентами часто бывает кажущейся. Практика показывает, что респонденты в подавляющем большинстве случаев как-то отвечают даже на те вопросы, которые содержат в себе грубые методические пороки. Этот эффект становится понятным, если учесть, что с психоэнергетической точки зрения респонденту легче ответить на вызывающий сомнение вопрос, чем идти и выяснять по этому поводу отношения с лицами, проводящими анкетирование. Лишь свободное интервью, в котором респондента просят сообщать обо всех испытываемых им затруднениях и сопутствующих мыслях, может выявить, насколько неадекватным может быть такой «гладко» заполняемый вопрос.
В качестве примера приведем выдержку из методического интервью, проведенного по просьбе автора Галиной Вохменцевой. Респондент – молодой рабочий, прошедший службу в армии, со средним образованием.
«Респондент (зачитывает вопрос анкеты): ЧТО ТАКОЕ ХОРОШАЯ РАБОТА? ЧТО ОНА ДОЛЖНА ДАВАТЬ ЛЮДЯМ?
Интервьюер: Понятен вопрос?
Респондент: Да, понятен.
Интервьюер: Читайте дальше.
Респондент (читает первый вариант закрытия):
1. Постоянно совершенствоваться.
После прочтения респондентом этой подсказки диктофон зафиксировал 40-секундную паузу. Затем респондент трижды пытался начать какую-то фразу, отражающую его мнение по поводу данной формулировки, но эта фраза у него не складывалась. Наконец он сказал: «Что значит «постоянно совершенствоваться?» Я этого не понимаю. Это квалификацию повышать, что ли? Но тогда так и надо было написать. А так это бессодержательно... »
В завершение данного параграфа следует рассмотреть вопрос о выборке в пилотажных исследованиях. В отечественных источниках указывается, что объем выборки должен составлять от 50 до 100 человек. По нашему мнению, существуют разные типы пилотажей, и объем выборки при их проведении должен быть различным. В целом при проведении пилотажных исследований сохраняет силу принцип, согласно которому меньшей степени формализации опроса должен соответствовать и меньший объем выборки. Можно, конечно, провести по анкете и 100 свободных интервью, однако целесообразнее двигаться поэтапно, осуществляя, как уже было сказано, 3-5 пилотажных исследований, и проводя после каждого этапа доработку и коррекцию инструментария. Думается, что по ни разу не пилотировавшейся анкете достаточно провести свободное интервью с 5-10 респондентами. Как показывает практика, этого числа бесед оказывается более чем достаточно для осознания необходимости существенной ее переработки. Следующие этапы пилотажа могут потребовать опроса большего числа респондентов с целью выявления различных неучтенных анкетой типологических случаев, уже сравнительно редких, но возможно составляющих 10-15% в выборке. Степень формализации вопросника может при этом, наверное, возрастать, но отрефлексированным методическим опытом по данному вопросу мы не располагаем. С целью снижения трудоемкости исследования по увеличенной выборке может пилотироваться уже не вся анкета, а лишь отдельные ее блоки или вопросы. Выборки для пилотажей должны составляться по типу квотных, чтобы при опросе были учтены различия в ролевых позициях и, по возможности, в типах личности респондентов.
Приложение: Сопоставление результатов обследования методом анкеты и методом глубокого интервью
Приведем пример неадекватности анкеты на самом первом из названных выше уровней, т. е. на уровне ее полного несоответствия реальной действительности. Речь пойдет об описании поставленного самой жизнью методического эксперимента, в ходе которого одна и та же проблема параллельно изучалась двумя различными методами: анкетой и глубоким интервью.
Исходный заказ на исследование был сформулирован в конце 70-х годов работниками аппарата Минуглепрома СССР и состоял в том, чтобы изучить причины очень высокой сменяемости линейных руководителей среднего звена на угольных шахтах. При прохождении по административным инстанциям (от заказчика к руководству института ВНИИуголь, от руководства института – к руководителю социологической лаборатории названного института) суть заказа существенно исказилась.