ШІ зазнав невдачі там, де впорається дитина: що стало для нього фіаско

Дослідники з Единбурзького університету Шотландії перевірили, як нейромережі від Google, OpenAI та Anthropic розпізнають час на аналогових циферблатах. Виявилося, що у 75% випадків штучний інтелект помиляється, особливо коли годинник має римські цифри або незвичні стрілки.

Про це сказано на сайті університету.

Так, вчені перевірили, чи можуть системи штучного інтелекту, які обробляють текст і зображення, відомі як мультимодальні великі мовні моделі (MLLM), відповідати на запитання, пов’язані з часом, дивлячись на зображення годинника чи календаря.

Для експерименту було використано різні типи циферблатів:

• класичні годинники з арабськими цифрами;
• циферблати з римськими цифрами (I, II, III…);
• годинники зі стилізованими стрілками (незвичної форми);
• циферблати різних кольорів;
• варіанти із секундною стрілкою та без неї

Результати експерименту показали, що більшість мовних моделей в кращому випадку встановлювали правильне положення годинникової стрілки менш ніж у чверті випадків. А от коли на годиннику були римські цифри або стилізовані стрілки, то помилки траплялися частіше.

Найгірше ШІ справлявся з годинниками, на яких:

• були римські цифри – через складні позначення ШІ часто плутав, який це час;
• були художні або стилізовані стрілки – незвична форма вводила моделі в оману;
• відтінки циферблата були нестандартними – наприклад, на темному фоні штучний інтелект гірше розрізняв контури стрілок.

Отож, попри свої передові можливості в обробці тексту й зображень, сучасні нейромережі виявилися погано навченими на задачах розпізнавання часу.

Це може бути пов’язано з тим, що:

1. Аналогові годинники рідко зустрічаються у навчальних наборах – сучасний світ орієнтується на цифрові технології, а не механічні циферблати.
2. Годинникові стрілки мають різну довжину – моделі можуть неправильно визначати, яка з них показує години, а яка хвилини.
3. Контекстний аналіз ШІ не враховує фізичні правила – наприклад, нейромережі не розуміють, що хвилинна стрілка на цифрі 12 означає рівну годину.

Ці результати демонструють обмеження сучасних мультимодальних моделей: хоча вони можуть генерувати тексти, аналізувати зображення та навіть розпізнавати складні шаблони, звичайний механічний годинник все ще залишається для них проблемою. Це нагадує, що штучний інтелект, хоч і здається розумним, все ще має прогалини у базовому візуальному аналізі.

Офіційно результати дослідження будуть оголошені у Сінгапурі 28 квітня 2025 року на семінарі “Міркування та планування великих мовних моделей” під час Тринадцятої міжнародної конференції з вивчення представлень (ICLR).

“Більшість людей вміють визначати час і користуватися календарями з раннього віку. Наші висновки підкреслюють значну прогалину в здатності штучного інтелекту виконувати те, що є досить базовими навичками для людей. Ці недоліки необхідно усунути, якщо системи штучного інтелекту мають бути успішно інтегровані в чутливі до часу реальні програми, такі як планування, автоматизація та допоміжні технології”, – заявили науковці.