Нейросеть ГигаЧат подтвердила уровень знаний, достаточный для успешной сдачи экзамена по направлению «Математика и компьютерные науки» на уровне выпускника магистратуры. В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 («хорошо»), сообщает пресс-служба Сбербанка.
Аттестация проходила в два этапа. Сначала модель прошла тестирование на 500 уникальных вопросах закрытого типа в формате MMLU. Они охватывали девять тем в области компьютерных наук: алгоритмы и структуры данных, базы данных, кибербезопасность, программное обеспечение, программирование, сети и оборудование, специализированное ПО, управление и искусственный интеллект. Средний показатель правильных ответов модели на вопросы составил 76,9%.
Второй этап — очный экзамен с участием аттестационной комиссии, состоящей из восьми докторов технических и физико-математических наук. Эксперты комиссии выбрали три билета из 45, по которым проводили оценку знаний нейросети. Каждый билет содержал два задания — теоретическое и практическое. Эксперты не только проверяли ответы, но и задавали уточняющие вопросы, просили объяснить ход рассуждений и анализировали работу модели с нестандартными формулировками. По итогам очного экзамена модель набрала 7 из 10 баллов по шкале Сколтеха, что соответствует итоговой оценке 4 («хорошо»).
Напомним, ранее ГигаЧат успешно сдал ЕГЭ по обществознанию, профильные экзамены по медицине, финансам, экономике, музыковедению и другим направлениям в ведущих вузах страны.
