1) кандидат филологических наук, доцент, заведующий кафедрой лингвистики и перевода, Южно-Уральский государственный университет (национальный исследовательский университет), Россия, Челябинск, babinaoi@susu.ru 2) магистрант Института лингвистики и международных коммуникаций, Южно-Уральский государственный университет (национальный исследовательский университет), Россия, Челябинск, anastb6@mail.ru
В статье предложена функциональная схема автоматизации оценки технических компетенций сотрудников IT-компании с применением модели автоматической проверки ответов на вопросы теста технического ассесмента открытого типа. Для получения эталонного ответа на вопрос теста используется генерация с поддержкой найденной релевантной информации на базе большой языковой модели GPT-4o. Далее нейросетевая модель осуществляет оценку компетенций посредством сравнения ответов пользователей с эталонными ответами; все ответы предварительно векторизуются с применением предобученной русско- язычной модели FastText. Разработанная модель сравнения ответов выполнена в форме сиамской нейросети, построенной на базе многослойного перцептрона, которая на выходе имеет нейрон-регрессор, предсказывающий значения в диапазоне от 1 до 10. Экспериментальная часть исследования проводилась на наборе данных, включающем пары вопросов и ответов теста технических компетенций, оцененных экспертами. Результаты показали, что качество модели по метрике среднеквадратичной ошибки (MSE) на тестовой выборке составило 0,036, что свидетельствует о высокой корреляции между оценками модели и экспертными оценками. Разработанная модель и функциональная схема автоматизации технического ассесмента могут способствовать оптимизации процессов рекрутинга и мониторинга компетенций сотрудников, а также более глубокому пониманию их реальных знаний и навыков в контексте быстро меняющихся технологий.
трансформер; генеративная нейросеть; большие языковые модели; GPT-4o; сиамская нейросеть; многослойный перцептрон; технический ассесмент; гене-рация с поддержкой релевантной информации.
Скачать текст статьиДля цитирования: Бабина О.И., Быкова А.С. Моделирование оценки технических компетенций с применением ответов агента GPT // Человек: Образ и сущность. Гуманитарные аспекты. Москва. ИНИОН РАН, 2025. № 2 (62). С. 156-172. DOI: 10.31249/chel/2025.02.09