«Данетки» и «Поле чудес» для ИИ: Яндекс выпустил тест на логическое мышление нейросетей

Испытания 16 моделей также выявили разрыв между результатами на русском и английском языках Команды Яндекс и ШАД (Школы анализа данных) открыли доступ к MTGBench — бенчмарку для оценки способности нейросетей решать сложные задачи с помощью последовательных рассуждений. Инструмент опубликован на GitHub, а научную статью о нём приняли на конференцию EMNLP 2026. Источник изображения: ИИ ChatGPT // https://chatgpt.com В основу MTGBench легли семь тек

Первые 450 знаков материала. Читать далее у источника →

Читайте также

Похожие новости

[Habr] · Москва

В «Яндексе» и ШАД представили открытый бенчмарк MTGBench для оценки качества рассуждений нейросетей

Инженеры из «Яндекса» и студенты Школы анализа данных разработали и опубликовали в открытом доступе проект MTGBench. Это набор тестов для н…

Сегодня, 14:27 · 1 мин

[Kod.ru] · Москва

Три нейросети для репетиторов: планирование уроков и проверка домашних заданий

Три нейросети для репетитора — ChatGPT, Claude и Gemini: как составить план урока, проверить домашку по фото и какие запросы для этого испо…

22.10, 13:22 · 1 мин

[Tproger] · Забайкальский край

GitHub и Microsoft представили бенчмарк ReviewBench для тестирования ИИ-ревью кода

GitHub и Microsoft открыли ReviewBench для оценки ИИ-агентов проверки кода. Доступны датасет, методика и запуск собственного агента. — Чита…

06.10, 08:24 · 1 мин

[Habr] · Москва

Я попросил 14 нейросетей помочь маме ответить продавцу на OLX. Все 14 помогли перевести предоплату мошеннику

Спросите нейросеть «это мошенники?» — и почти любая ответит правильно: 14 моделей, которые я проверял, набрали от 0,93 до 1,00. А теперь по…

Вчера, 19:01 · 1 мин

[Kod.ru] · Москва

Спекулятивное декодирование: как нейросети ускоряют генерацию текста, предугадывая следующие слова

Как маленькая модель набрасывает черновик, а большая проверяет его за один проход: почему метод ускоряет ответы в 2–3 раза без потери качес…

23.10, 15:00 · 1 мин