Недавнее исследование, проведённое в Университете Вуллонгонга, оценило способность ИИ сдавать экзамен по юриспруденции для бакалавров. Хотя ответы, сгенерированные ИИ, были практически неотличимы от ответов, написанных человеком, результаты значительно различались. ИИ отлично справлялся с вопросами в формате эссе, но испытывал трудности со сложными юридическими рассуждениями и критическим анализом. Результаты показывают, что ИИ может помогать в изучении юриспруденции, но пока не способен заменить человеческий интеллект при принятии сложных юридических решений.
Исследование и его методология
В тестировании приняли участие 225 человек, и оно состояло из двух частей. Одна часть включала в себя чтение тематического исследования о преступлениях, а другая — написание эссе и ответы на короткие вопросы. Целью экзамена было проверить знания испытуемых в области права и их способность критически мыслить и формулировать рациональные аргументы.
Ответы были созданы с помощью ИИ с использованием различных моделей. Изначально пять ответов были подготовлены путём простого ввода экзаменационных вопросов в программу без каких-либо конкретных инструкций. Ещё пять ответов были подготовлены с помощью подробных подсказок и соответствующих юридических материалов для повышения эффективности. Важно отметить, что эти ответы были написаны от руки в официальных экзаменационных бланках и представлены анонимно вместе с реальными ответами студентов. Преподаватели оценивали их, не зная, какие из них были созданы ИИ.
Как искусственный интеллект сдал экзамен по юриспруденции
Исследование показало, что ответы, написанные ИИ, было трудно отличить от ответов, написанных человеком. Преподаватели не подозревали, что какие-либо ответы были написаны моделью ИИ. Однако работы, созданные ИИ, не были особенно хороши.
Ответы, созданные без подсказок, оказались неудовлетворительными: три из них были оценены на «неудовлетворительно», а два — на «удовлетворительно». В среднем эти ответы, сгенерированные ИИ, оказались лучше, чем у 4,3% студентов. При использовании подробных подсказок результаты улучшились: один ответ, сгенерированный ИИ, получил 73,3%, а другой — 78%. В среднем ответы, сгенерированные ИИ с подсказками, оказались лучше, чем у 39,9% студентов.
ИИ продемонстрировал сильные стороны в ответах в стиле эссе, но испытывал трудности со сложным юридическим анализом. Неспособность применять тонкие рассуждения указывает на текущие ограничения ИИ в решении интеллектуально сложных задач в сфере юридического образования.
Последствия для образования и использования искусственного интеллекта
Исследование подчёркивает, что ИИ пока не способен заменить человеческий интеллект в задачах, требующих критического мышления. Вместо этого ИИ следует рассматривать как инструмент для улучшения обучения и анализа, а не как замену человеческим усилиям.
Возможно, университетам придётся пересмотреть традиционные методы оценки, чтобы внедрить обучение с использованием ИИ. Поощрение студентов к использованию ИИ для составления, проверки и доработки работ может быть ценным подходом, подчёркивающим роль человеческого контроля и критического мышления в академической среде.