От чего зависит эффективность учебной аналитики

Дарья Васянина:

— Есть тонкая грань между понятиями учебной и продуктовой аналитики. Чтобы не путаться, можно думать про обучение в целом как про продукт, и тогда это можно совместить.

Это то, что описывает, насколько образовательный продукт успешно проходят студенты, для которых он сделан.
Как далеко они продвигаются, как счастливы в этом процессе, насколько успешно подобраны задания и как быстро они выполняются.

Это core-история, а рядом могут быть дополнения-спутники, например, взаимодействие преподавателя со студентами.


Соня Смыслова:

— На мой взгляд, продуктовая и учебная аналитика — не одно и то же. Образование больше, чем продукт, и в нём есть процессы, которые не становятся продуктовыми. А это значит, что территория аналитики частично ограничивается.

С методической точки зрения учебная аналитика — это один из хороших инструментов, которые помогают увидеть сложности и проблемы. Но он работает, когда мы понимаем, какие ещё инструменты нам нужны. В том числе инструменты, которые не позволяют рационально измерить образовательный процесс. Потому что вся идея аналитики исходит из того, что мы можем измерять то, с чем работаем.

Например, когда обучение связано ценностной с трансформацией, то измерение будет с ограниченным инструментарием. И полагаться будем не на рациональное — скорее, на субъективную позицию тьютора, педагога. В этом случае он отслеживает изменения, которые невозможно оцифровать.


Дмитрий Аббакумов:

— Учебная аналитика в её классическом понимании состоит из следующих элементов:

Систематический подход означает, что мы должны регулярно собирать данные: как учатся студенты, как работает продукт в целом, его образовательная часть. Какие ошибки студенты допускают, как просматривают контент, какую обратную связь дают, трудно ли им, комфортно ли, интересно ли. Это могут быть опросные методы, симуляторы, тренажёры, задачи, дизайн-проекты, даже офлайн-активности. Полученные данные мы в дальнейшем оцифровываем.

Для анализа интересно посмотреть на средние значения, отклонения, связи.

Это методы, которые позволяют на основании наблюдаемого сделать выводы о невидимом: освоил или не освоил, трудно или нет, понял или не понял, появился скилл на горизонте или нет. Эта группа методов отличает учебную аналитику от общей. А вот в плане визуализации арсенал учебной аналитики полностью совпадает с общеаналитическим. Это графики, распределения, сети.

Нужно убедиться, что те, кто использует результаты учебной аналитики, однозначно понимают их и могут сделать валидные выводы на их основе.

В более широком понимании это для каждого свои цели и задачи, которых помогло достигнуть обучение за пределами программы. Здесь можно выделить два пространства: одно формулируется на уровне пользователя, второе — на уровне тех, кто эту программу делает.

Наталья Воробьёва:

— Для нас важно завершение, доходимость. У проекта свой подход в составлении программы, курс построен как история. Студент понимает ценность только по завершении обучения, и важно, чтобы оно был пройдено полностью. Если человек поучился и бросил, у него нет эффекта завершённости, понимания, как соединить элементы, к чему он пришёл.

Важно задавать вопрос о целях студентов, чтобы понимать мотивацию.

Когда к нам приходят студенты, мы даём им заполнить анкету. С помощью простого вопроса «Зачем вы сюда пришли?» можно прощупать, какой изначальный запрос у людей. Найти работу, например. Может оказаться, что цели вообще у HR-менеджеров. Им нужно потратить бюджет на обучение большого числа продуктологов: найти понятный путь подготовки, чтобы они оперировали общими терминами и одинаково понимали, что имеют в виду.


Дарья Васянина:

— Мы смотрим сколько времени человек проводит на платформе, как часто туда приходит, конверсию на уровне продукта, оцениваем доходимость и выполнение целей.

Например, во взрослом эдтехе важнее, что у человека успешно получился трансфер в новую профессию, чем-то, что он прошёл все модули программы.

Необходимое условие хорошей метрики — понимание, куда она стремится.

Понятно, что в конверсии это рост, в оттоке — снижение.
А есть неочевидные моменты. Например, количество итераций: сколько раз сдаётся или не сдаётся задание. Как оценить эту метрику, куда она должна стремиться? Не всегда понятно, в какую сторону держать баланс в таких метриках. Поэтому, на мой взгляд, важна однонаправленность.

Дмитрий Аббакумов:

— У метрик есть качественная характеристика, которая называется валидностью: насколько она показывает то, что должна показывать. Любую метрику, которая используется для оценки образовательной программы, нужно пропускать через этот фильтр.

Ещё пример: нет смысла измерять освоенность образовательной программы как количество прокликанных уроков — это ничего нам не говорит об освоенности программы, лишь о техническом прохождении. Что нужно сделать? Измерительный инструмент, например, симулятор или рабочую ситуацию.

Каждый раз, когда разрабатываем метрику, мы должны думать о двух вещах:

Да, есть метрики, в которых не всегда понятно куда идти, что брать за таргет.

Например, получилась статистика, что 60% студентов на этой дистанции допускают 700 попыток. Хорошо для нас это или не очень? А как по другим продуктам? Замеряем и сравниваем ситуацию на других курсах.

Если мы начнём анализировать курсы, сравнивать, находить закономерности, то в какой-то момент, исходя из статистического мышления, получим образ таргета.

Нужно в первую очередь думать о студенте и его достижениях. Аналитика — это инструмент для помощи студенту.


Соня Смыслова:

— С точки зрения методиста, образовательного дизайнера ситуация чуть более сложная. Далеко не в любой команде есть тот, кто умеет работать с данными: читать, анализировать, делать выводы. Если в команде есть такой человек, то это классное преимущество: тогда будет построение и применение учебных метрик, которые понятны и валидны.

Во многих ситуациях и многих командах такого нет. И нам нужно, чтобы человек, который вовсе не аналитик, смотрел на графики, данные и мог сделать выводы.

Для методиста наглядны качественные метрики, по которым можно увидеть большое количество публикаций, разборов, примеров, исследований про применимость, стандарты, взаимосвязи между ними.

Запись беседы — в зале Коворкинг на сайте конференции.

Ещё конспекты конференции:
Офлайн против онлайна: комьюнити в университете и в дополнительном образовании