1) доктор филологических наук, профессор, заведующий лабораторией языковой конвергенции, НИУ «Высшая школа экономики – Санкт-Петербург», Россия, Санкт-Петербург, akolmogorova@hse.ru 2) младший специалист тестирования, Общество с ограниченной ответственностью «Яндекс Крауд», Россия, Москва, va.khleb@yandex.ru
В статье рассматриваются результаты применения методологии, известной как Байесовская сыворотка правды (BTS), в эмоциональной разметке текстов для последующего обучения нейросетевых моделей. Суть метода состоит в том, что информантов сначала просят оценить некоторый феномен со своей собственной точки зрения, а затем – предсказать, какой ответ (или оценку) выберет наибольший процент других отвечающих на тот же опросник. Мы приме-нили данную методологию для оценки 120 разметчиками 300 эмоциональных текстов, извлеченных из группы «Подслушано» социальной интернет-сети ВКонтакте, где они имели эмоциональные хештеги. В основе дизайна разметки лежала PAD-модель Рассела – Мехрабиана. При обработке результатов сравнивались средние значения стандартного отклонения в личных и предсказанных оценках по каждой из трех шкал модели. Сформировав подкорпусы текстов с наибольшей рассогласованностью личной и предсказанной оценок, мы проанализировали их, выявив частотные слова для каждого из подкорпусов. Получены следующие выводы: 1) разброс личных оценок и предсказанных оценок в собранном датасете не имеет статистически значимых отличий; 2) в подкорпусы текстов с наибольшим расхождением личной и предсказанной эмоциональной оценки попадают тексты, посвященные трем типам социальных ситуаций: взаимоотношения внутри пары, отношения мать – ребенок, а также девиантное поведение, подвергающее риску безопасность семьи и других членов социума; 3) наибольшее число текстов, в которых наблюдается значимое расхождение оценок, маркированы хештегами, связанными с эмоциями страха, отвращения, удивления, воодушевления и грусти.
эмоциональные тексты; разметка; Байесовская сыворотка правды; детектирование эмоций; модель эмоций PAD.
Скачать текст статьиДля цитирования: Колмогорова А.В., Хлебникова В.А. Поможет ли Байесовская сыворотка правды повысить достоверность разметки эмоциональных текстов? (case study) // Человек: Образ и сущность. Гуманитарные аспекты. Москва. ИНИОН РАН, 2025. № 2 (62). С. 45-68. DOI: 10.31249/chel/2025.02.03