Как AI-виджет забрал ответы на вопросы учеников на себя и оптимизировал работу учителей на 21%: реальный кейс внедрения ИИ в EdTech

Ева — ИИ-помощник на базе ChatGPT. Мы создали ее, чтобы оптимизировать затраты на работу преподавателей в онлайн-школах. До Евы мы с товарищем работали в других EdTech-компаниях и видели, как много вопросов студенты задают преподавателям. И как много ресурсов нужно, чтобы их обработать.

Нашей гипотезой было то, что на вопросы может отвечать ChatGPT. Онлайн-школа оптимизирует ресурсы, а пользователи получают высокое качество обучения — помощник сможет отвечать в любое время и закрывать потребность в постоянной поддержке. Конечно же, в образовательном процессе есть куча нюансов, но мы пытались закрыть самый простой кейс «Не знаю как решить задание, помоги».

В школе есть два типа курсов — бесплатные и платные. На платных курсах ежемесячно обучаются больше трех тысяч студентов. И каждый из них может получить поддержку преподавателей. Преподаватели отвечали лично на каждый запрос.

Студентам бесплатных курсов тоже отвечали на запросы, но их было мало. Отправить вопрос можно было на почту или в Дискорд.

Количество обращений не фиксировали — собрали данные уже спустя год, чтобы сравнить с результатами после внедрения Евы.

karpov.courses — первопроходцы, одними из первых захотели внедрить наш продукт, им досталась самая первая версия Евы — «голая» модель ChatGPT в виджете. Не было ни личного кабинета, где можно настроить Еву, ни оценки ответов — ничего, только кусок кода, который им нужно было вставить себе на платформу, и худо-бедно нарисованный виджет.

Его раскатили на небольшую группу студентов. По откликам студентов стало ясно, что Ева помогает в обучении. Тогда один за другим руководители курсов попросили внедрить Еву в свои программы. Кстати, Еву можно настроить по-разному на разных курсах, под «настроить» я имею в виду задать ей системный промпт или подсказки для студентов перед открытием виджета.

Параллельно мы много думали о том, чтобы внедрить возможность дообучения Евы, чтобы ее можно было «зафреймить» своими знаниями. К этому мы пришли чуть позже, выкатив фичу загрузки своих собственных файлов в почти неограниченном размере, но конкретно школе Карпова это даже было не нужно, обычная chatgpt прекрасно себя показывала при решение вопросов по программированию и аналитике.

Ева выросла благодаря обратной связи от студентов, которой с нами регулярно делились. Мы видели, что студентам нравится, а что еще стоит доработать — допиливали продукт под конечного пользователя.

Большая часть студентов рада возможности получать ответы от Евы и позитивно оценила помощь.

Прямо в виджете студент ставит оценку ответу.

После оценки можно оставить развернутую обратную связь — рассказать, что у Евы получилось хорошо, а что не очень.

И руководители курсов смогут увидеть в кабинете долю дизлайков и даже что конкретно понравилось или не понравилось.

Я спросил, почему в школе Карпова так прижилась Ева. Казалось бы, ценность чат-бота должна быть ниже, чем ценность эксперта. Но не в нашем случае.

Тут важно, что мы никак не уменьшили для самих студентов помощь экспертов. Они могут задавать столько же вопросов, сколько и раньше. Однако, мы подсветили, что Ева в отличии от людей может помогать 24/7. А еще навык работы с GPT сейчас ну очень важен, в том числе и для дальнейшей работы, и у нас они в течение обучения могут его развить. Поэтому они только рады такой доп возможности. Ксения Барковская, лид студенческого сервиса в karpov.courses.

ИИ-помощника не скрывают — Ева есть в программах курсов, и ей посвящен отдельный раздел на сайте.

Застали блокировку OpenAI API для российских пользователей. Тогда мы, как можно быстрее, обеспечили стабильный доступ к OpenAI с помощью прокси-серверов. Прокси-сервера — это надежное решение, их стабильность мы можем поддерживать, несмотря на блокировки. Благодаря ним у Евы всегда есть доступ к последним обновлениям ChatGPT.

Ева перекрывала контент на мобильных устройствах и планшете. Еву нельзя было скрыть, и пользователи стали указывать на это в комментариях. Мы исправили виджет, и теперь Еву можно скрыть.

Но в целом всё прошло гладко, а Ева работала стабильно — об этом мы печемся больше всего.

Евой воспользовались 30 000+ студентов платных и бесплатных курсов. В результате внедрение Евы может повысить вовлеченность — на это мы влияем напрямую, так как студенты не уходят в сторонние сервисы, если что-то не получается, а остаются на платформе школы.

Преподаватели стали пользоваться Евой для создания контента. Благодаря Еве у преподавателей есть доступ к ChatGPT, для которого не нужны сервисы-посредники. Так что преподаватели тоже оптимизируют свою работу.

Интерес студентов к общению с ИИ вырос. Помимо бурного роста пользователей Евы интерес к ней видно еще и по конверсии в начало второй сессии в недельных когортах новых пользователей — она выросла с 31% летом 2023 до 52% летом 2024.

И точно так же это видно по времени перехода ко второй сессии общения с Евой — оно сильно уменьшилось, ученики все охотнее возвращаются к чат-боту за помощью. В сентябре 2023 года перерыв между первой и второй сессией составлял 1,72 дня. Сейчас же студенты переходят ко второй сессии через 0,89 дня. То есть, в два раза быстрее.

Эти и другие метрики вовлеченности можно посмотреть в личном кабинете после внедрения Евы.

Ну и самое главное — снизилось количество вопросов, которые закрывают преподаватели — на 21,35%. Переложите эти результаты на свой бизнес и поймете, насколько это может быть выгодно в деньгах.

Для расчета эффективности я собрала данные по среднему количеству студентов, вопросов от студентов к экспертам и экспертов на смене до внедрения Евы. Посчитала их зависимость друг от друга. Построила прогноз, сколько должно было быть вопросов от студентов и экспертов на сменах по выросшему кол-ву студентов, если бы не было Евы и сравнила с тем, что есть на самом деле сейчас. Количество студентов по сравнению с периодом до внедрения Евы выросло на 172,97%.Количество вопросов выросло на 115,76%. Это позволило оптимизировать затраты на экспертов на 21,35%, нежели это потребовалось бы без Евы. Понятное дело, что это не чистый прогноз, так как он не учитывает сезонность, но он вполне отражает реальную ситуацию. Ксения Барковская, лид студенческого сервиса в karpov.courses.

За это время мы улучшили Еву, и сейчас она может работать не только как голая GPT-модель:

• Появился «Режим учителя» — в нём Ева не отвечает на вопросы студентов напрямую. Вместо этого она дает наводящие вопросы и подсказки.
• Еву можно дополнить своими знаниями (knowledge base).
• Еву можно бесшовно интегрировать в интерфейс — полностью адаптировать под фирменный стиль компании.
• Совсем скоро: Ева сможет проводить опросы студентов, например, для того, чтобы провести какой-нибудь тест и собрать результаты.

Ева растёт и развивается с каждым новым клиентом — мы реагируем на запросы и добавляем нужные функции.

Подключение такое же простое, как интеграция фейсбук пикселя на сайт:

1. Регистрируетесь на Evahelp.ai.
2. Создаете проект со своим доменом.
3. Вставляете код на сайт.
4. Вуаля, можно тестировать Еву.

Плюс в том, что не нужно много ресурсов разработки — интегрировать Еву может и проджект менеджер.