среда, 24 апреля 2013 г.

Оцениваем метапредметные результаты. Часть 1: формы Google


В прошлом году (как раз в апреле 2012) я прошла тренинг на “Образовательной Галактике Intel” у Ольги Фёдоровны Брыксиной по ФГОС. С того времени прежний вариант работы с учениками стал никак невозможен. То есть с апреля 2012 года я стала работать по ФГОС на отдельно взятых предметах “Информатика” и “Информационно-коммуникационные технологии” (“мы никогда уже не станем прежними...”(с))

Я коренным образом переработала методику преподавания моего предмета, но хочу рассказать сейчас вовсе не об этом, а о тех самых УУД (метапредметных результатах выполнения основной образовательной программы), о которых так много говорят в связи со ФГОС и которые так сложно формализовать и измерить! На многих педагогических семинарах и конференциях в ответ на вопрос о том, как измерить УУД, я слышу лишь общие фразы. Что же делать учителю?

Ольга Фёдоровна Брыксина, с которой мы уже год как плодотворно сотрудничаем, была так любезна, что дала мне возможность ознакомиться и обсудить с ней материалы ее мастер-класса "Критериальный подход к оценке on-line продуктов в условиях ФГОС", который она проводила на конференции в Санкт-Петербурге. Недели обсуждения не прошли бесследно: я вошла в данный проект и уже провела 3 урока, революционно изменив систему оценивания и самооценивания на уроке. Ольга Фёдоровна описала свой опыт в статье на Галактке, а я представляю его в своем блоге

Немного процитирую О.Ф. Брыксину: “Основной вывод: мы должны научиться оценивать освоенные учащимися СПОСОБЫ ДЕЯТЕЛЬНОСТИ - метапредметные результаты. И поскольку мы хотим уйти от субъективизма и интуитивного подхода к оцениванию, то, очевидно, что единственно рациональным решением будет КРИТЕРИАЛЬНЫЙ  подход.”

В рамках курса по созданию Интернет-сайтов (в рамках предмета “Технология” в 10 классе) мной разработан блок уроков, позволяющих добавить на сайт различное содержимое, расширяющее возможности сайтов и привлекающее пользователей сети. В рамках этого проекта мы проводим изучение форм Google с точки зрения 2-х аспектов:
  • создание формы, которая позволит собрать создателям сайта максимальное полезную информацию про посетителей сайта;
  • оценка данных из форм (основные принципы анализа данных) и презентация результатов

Мною в сотрудничестве с Ольгой Фёдоровной был разработан оценочный лист для урока по созданию Google-форм. Методика работы по его созданию изначально была такова (см. левую часть таблицы):
  • Мы анализируем требования ФГОС (выписаны из стандарта соотвествующие метапредметные результаты)
  • Соотносим их с конкретной деятельностью учащихся (к каждому метапредметному результату ставим в соответствие деятельность учащихся, которые важны и по которым можно отследить результат)

Далее все сформулированные результаты мы перенесли в понятном для учеников виде в карту самооценки учащихся. Получился вот такой лист самооценки. Рассмотрим предполагаемые результаты подробнее.

Если говорить о познавательных УУД, то их можно оценить по следующим критериям:

  • все вопросы в форме соответствуют теме исследования и работают на результат;
  • все вопросы мотивируют к изучению темы проекта;
  • для каждого вопроса выбран оптимальный тип структуры вопроса;
  • в форме присутствуют вопросы всех возможных типов;
  • определены ключевые точки, по которым анализируется форма;
  • результаты заполнения формы оценены на соответствие поставленной цели и сформулированной гипотезе
  • результат анализа глубок и не имеет внутренних противоречий;

Регулятивные УУД можно проследить по следующим показателям:
  • Обозначена четкая цель создания формы и гипотеза исследования;
  • Выполнены все этапы работы: выбор темы, подбор материала, создание формы, встраивание формы в блог, проведение опроса, анализ и интерпретация результатов, представление результатов другим ученикам, оценка форм и анализов других учащихся

Коммуникативные УУД прослеживаются по следующим показателям:
  • формулировки вопросов четкие и ясные, настраивают отвечающего на положительное отношение к опросу, вызывают желание ответить на вопрос;
  • при оценивании выражается личное отношение учащихся к полученной в результате анкетирования информации;
  • учащиеся ответили на все вопросы других групп, высказали свое мнение по их формам, проанализировали их отзывы на свою форму

Казалось бы, самое сложное - это сделать ту самую оценочную карту и - вуаля! - результаты у нас в кармане! Но не тут-то было.
Оказалось, что ученики 10 класса имеют весьма слабые навыки в самооценке полученных результатов и совершенно не могут воспользоваться оценочным листом ДО работы и во время ее выполнения для самоконтроля, а зачастую не могут и адекватно оценить себя.
Давайте обратимся к полученным результатам по 1 блоку работы (создание формы). Вы можете посмотреть все формы, созданные учащимися, их самооценку и оценку ЭТИХ ЖЕ работ по тем же критериям мной, а так же корреляции между этими показателями. Я была в шоке от того, что ТОЛЬКО ОДИН! ученик оценил себя так же, как оценила его я. в остальных случаях было явное завышение или занижение результатов.

Если же посчитать корреляции по вопросам (см. внизу страницы), то оказалось, что только по объективному критерию (все ли типы вопросов использованы при создании формы) мы сошлись в оценке!

Пришло понимание того, что часть вопросов в оценочной форме были лишними, что формулировка вопросов была слишком сложной, что учеников надо учить адекватно оценивать себя и “присматриваться” к критериям заранее, ДО работы, а не после ее.

При анализе результатов форм и создании презентаций с анализами результатов у нас получилась следующая картина: часть учеников стала более вдумчиво относиться к критериям и более точно оценивать себя, часть учеников (с отрицательными корелляциями) видимо спутала показатели максимальной выраженности (2) и не выраженности (0) критерия. В любом случае, совпадений самооценок учащихся и моих оценок стало больше, а вот из-за отсуствия объективных критериев, выраженных в числовом эквиваленте, совпадений в моих оценках и оценках учащихся по вопросам выявить не удалось.

Выводы напрашиваются сами собой: работа с критериальным оцениванием ОЧЕНЬ важна на уроке, потому что:
  • ученики наконец-то видят цель работы и постоянно держат ее в поле зрения (физически, на листочке) - это ОЧЕНЬ дисциплинирует и не дает “свернуть с курса”;
  • ученики работают по плану, им ясно, что нужно сделать на каждом этапе, они планируют свою деятельность и понимают, где находятся в данный момент
  • ученики работают на осязаемый результат, в конце урока каждый видит, что он РАБОТАЛ, что работы было очень много, что группа СПРАВИЛАСЬ, появляется удовлетворение своей работой, желание доделать работу полностью, сделать ее как можно лучше!
  • ученики понимают, что работа состоит из множества частей, и все их надо учитывать, что все они работают на общий результат. Чаще ученики вступают в коммуникацию на уроке между собой и между группами: им важно понять, как лучше достичь поставленной цели, как интерпретировать тот или иной результат;
  • ученики видят, как работает каждая группа, учатся оценивать друг друга, учатся ставить вопросы, разумно подмечать недостатки и фиксировать достоинства других работ

Дети не хотят работать по-старому, хотя работа по-новому требует от них гораздо больших усилий. Очень виден разный уровень владения УУД, видно, кому чего не хватает, какие качества “западают”. Мне как учителю важно помочь ребятам преодолеть трудности, направить их в нужном направлении, иногда просто поддержать или выслушать, чтоб они сами попытались сформулировать затруднение и смогли найти решение возникших проблем.

Сегодня мы работали с лентами времени. Думаю, в начале мая можно будет уже говорить об окончательном результате, но сейчас уже видно: мы двигаемся к совпадению оценок! Но предстоит долгая работа по совершенствованию навыков смыслового чтения, самоконтроля и самооценки, структурирования информации, грамотного обсуждения работы своей группы и других групп.

Так же хочу представить окончательный вариант оценочного листа по формам Google с упрощенными и выверенными формулировками критериев.