МУИТ и ODS.AI проверят AI-агентов на реальных ошибках в коде

В рамках международного соревнования SWE MERA Challenge, которое продлится с 13 июля по 18 ноября 2026 года, оценивают способность AI-агентов работать с целыми программными проектами, а не только генерировать отдельные фрагменты кода. Организаторами челленджа выступают Международный университет информационных технологий (МУИТ) и платформа ODS.AI, сообщили в пресс-службе вуза. Мероприятие проходит в рамках ICSE 2027 — одной из крупнейших конференций по программной инженерии.

Фото: МУИТ

Участникам предстоит решать задачи, приближенные к работе инженера-программиста. AI-агент получает код с ошибкой, анализирует его, находит проблему и предлагает исправление. Финальное решение должно пройти автоматические тесты и не нарушить работу других компонентов системы.

Авторы бенчмарка SWE MERA, представленного на EMNLP 2025, отмечают: если задача и ее решение доступны публично, модель могла встретить их еще на этапе обучения. По их данным, в SWE-bench в 32,67 процента успешных решений могла быть утечка информации, а в 31,08 процента на результат влияли особенности тестов. Поэтому на финальных этапах участники получают свежие ошибки из open-source-проектов, собранные прямо перед стартом. Решения проверяются в изолированной среде без интернета и доступа к тестам. Коммерческие API запрещены — используются только открытые модели на предоставленной инфраструктуре.

«Мы проверяем не способность модели воспроизводить известные решения, а то, насколько AI-агент способен разобраться в новом для него коде, найти источник ошибки и предложить корректное исправление», — отметил соавтор бенчмарка, профессор-исследователь АО «МУИТ» Валентин Малых.

По словам представителей IT-вуза, база соревнования включает 4 670 реальных задач из 815 открытых репозиториев на Go, Python и PHP. Для запуска моделей используются GPU NVIDIA и серверные мощности университета.

Фото: МУИТ

Для МУИТ SWE MERA Challenge является важной частью концепции AI-Driven University, в рамках которой искусственный интеллект активно внедряется в обучение и исследования, а студенты и молодые ученые решают задачи международного уровня.

«Современный университет должен не просто знакомить студентов с новыми технологиями, а создавать среду, в которой они становятся участниками их развития», — пояснил председатель правления — президент АО «МУИТ» Рустем Бигари.

В учебном заведении подчеркивают, что для Казахстана такие инициативы — это возможность участвовать в международных исследованиях AI и программной инженерии, развивать собственную экспертизу и представлять результаты отечественных исследователей и разработчиков на международном уровне.

Принять участие в челлендже можно индивидуально или в составе команды до пяти человек. Три лучшие команды представят свои разработки на конференции ICSE 2027 в Дублине.