Открытый диалог
Сервис с AI-агентом для экспертной проверки эссе
Задача
“
Открытый диалог «Будущее мира. Новая платформа глобального роста» — это международная платформа для обмена идеями развития экономики: людей, технологий, связей, среды, инициатором которой стал Национальный центр «Россия». Для участия в проекте нужно написать эссе по одному из четырёх векторов и прислать его в даты заявочной кампании; победители получают денежные призы, а также рассмотрение своих инициатив на уровне государств. Наша задача как технологического партнёра — сделать сервис, который систематизирует и оценивает эссе по методологии заказчика.
Что мы сделали
Спроектировали архитектуру сервиса. «Узким местом» программы эссе были большие объёмы при ограниченных ресурсах экспертной команды: во время первой заявочной кампании получили 696 эссе из 102 стран. Наш сервис должен автоматизировать этот процесс, «научившись» методологии экспертов и объективной оценке большого объёма эссе на разных языках, а также выдавая подробный отчёт.
Мы предложили решение на основе AI-агента ODI из пяти модулей: от приёма материалов до выдачи результатов в админ-панели. Это не просто промпт, а полностью автоматизированный сервис с веб-интерфейсом, который:
- принимает эссе из облачного хранилища,
- оценивает их по согласованной методике,
- формирует структурированный скоринг по критериям,
- даёт объяснение, почему выставлены именно такие оценки,
- предоставляет заказчику статистику и отчётность.
Настроили модуль формирования методологии. Чтобы языковая модель оценивала эссе, нужно задать ей промпт с методологией. Для этого мы провели несколько сессий с экспертами Открытого диалога, разработали принципы анализа материала, матрицу критериев, систему начисления баллов. Чтобы исключить додумывание, настроили «температуру генерации» на 0,2 — то есть LLM не старается угодить запросу, а даёт «холодный», строгий ответ.
Также разработали интерфейс управления методологией, в котором можно менять уже заданные правила, добавлять новые, кластеризировать их и назначать степень влияния на итоговый результат, сохранять конкретные версии методологии и переключаться между ними.
Настроили систему оценки и отчётности. AI-агент не просто выставляет баллы, а комментирует своё решение по каждому критерию. Весь этот массив данных — оценки по критериям, комментарии/обоснования, краткая сводка и итоговый вердикт — выгружаются в таблицу. Это нужно, чтобы эксперты Открытого диалога могли дополнительно оценить самые сильные эссе.
Агент также умеет определять машинную генерацию, прогонять через антиплагиат и отсеивать эссе, которые не прошли проверку.
Агент также умеет определять машинную генерацию, прогонять через антиплагиат и отсеивать эссе, которые не прошли проверку.
Первую «проверку боем» AI-агент ODI проходит уже во время текущей заявочной кампании. После сбора заявок, конкурсного отбора и определения победителей, лучшие идеи рассмотрят эксперты со всего мира на конференциях Открытого диалога.
Команда проекта
Шер Хамраев
Руководитель проекта
Руководитель проекта
Святослав Козин
Разработчик AI-решений
Разработчик AI-решений
Артём Мытников
Системный аналитик
Системный аналитик
Владислав Василевский
Разработчик
Разработчик
