Дельфийский метод

Одним из методов оценивания качества образовательных сайтов предлагают Дельфийский метод или метод Дельф - метод экспертного прогнозирования путем организации системы сбора экспертных оценок, а также с использованием метода факторного анализа - математической и статистической обработки и последовательной корректировки на основе результатов каждого цикла обработки.

Дельфийский метод состоит в проведении независимого и неоднократного анкетирования экспертов. Сначала определяется, какие вопросы будут изучаться, кто будет в этом участвовать и каким образом получаемая информация будет использоваться. Если большого разброса в мнениях не ожидается, можно привлекать 10-15 человек; если же расхождение предполагается существенное, рекомендуется расширить круг опрашиваемых.

Для сбора данных проводится трех - четырехразовое анкетирование. Первая анкета содержит расширенные вопросы. После заполнения экспертами анкет они возвращаются разработчикам и обрабатываются. На основе результатов первой анкеты составляется вторая. В ней экспертов просят ранжировать отдельные элементы, отразить согласие или несогласие с оценкой других опрашиваемых, объяснить свою точку зрения. Таким образом, устанавливается совпадение или различие во мнениях по различным приоритетам. Ответы анализируются, а замечания (предложения) суммируются. На основе результатов второго анкетирования составляется третья анкета. Экспертов просят пересмотреть их предыдущие ответы в свете коллективного мнения и дать дополнительные предложения (комментарии). Кроме того, их просят ранжировать перечисленные пункты по принципу их значимости. Как правило, третье анкетирование является заключительным, однако если мнения опрашиваемых существенно различаются, может возникнуть необходимость в проведении еще одного анкетирования.

Данный метод позволяет избежать конфронтации людей, придерживающихся разных точек зрения (участников не заставляют соглашаться с мнением большинства). Дельфийский метод, кроме того, позволяет сократить затраты, так как не предусматривает выезды и сборы участников в каких-то определенных местах. Преимущество метода в том, что он может быть реализован с применением электронной почты.

Однако данный метод имеет и недостатки. Для его реализации необходимо довольно много времени (чем хуже в местности средства коммуникации, тем больше времени потребуется). Опрашиваемые должны уметь хорошо излагать свои мысли, так как данный метод основан на получении информации в письменной форме. Анкетируемые должны обладать высоким уровнем мотивации, так как никто не поощряет их за заполнение анкет.

Возможный алгоритм проведения оценки образовательных интернет-ресурсов:

- Провести каталогизацию образовательных сайтов (разбить все претендующие сайты на название "образовательные" согласно типологии образовательных сайтов.
- Отобрать по специальным требованиям специалистов-экспертов.
- Эксперты оценивают один и тот же ресурс по каждому критерию по 5-ти балльной шкале - 0, 1, 2, 3, 4. Это наименее трудоемко. Если экспертов 10 и более можно отбросить 30-40% самых низких и самых высоких оценок, и найти среднее арифметическое. Это будет только предварительная оценка.
- Результат доводится до экспертов, и они оценивают реcурс еще раз окончательно, чтобы повысилась согласованность экспертных оценок).
- Провести обработку результатов оценки по методу факторного анализа, используя теорию статистики.