Дослідники з Единбурзького університету Шотландії перевірили, як нейромережі від Google, OpenAI та Anthropic розпізнають час на аналогових циферблатах. Виявилося, що у 75% випадків штучний інтелект помиляється, особливо коли годинник має римські цифри або незвичні стрілки.
Про це сказано на сайті університету.
Так, вчені перевірили, чи можуть системи штучного інтелекту, які обробляють текст і зображення, відомі як мультимодальні великі мовні моделі (MLLM), відповідати на запитання, пов’язані з часом, дивлячись на зображення годинника чи календаря.
Для експерименту було використано різні типи циферблатів:
- класичні годинники з арабськими цифрами;
- циферблати з римськими цифрами (I, II, III…);
- годинники зі стилізованими стрілками (незвичної форми);
- циферблати різних кольорів;
- варіанти із секундною стрілкою та без неї
Результати експерименту показали, що більшість мовних моделей в кращому випадку встановлювали правильне положення годинникової стрілки менш ніж у чверті випадків. А от коли на годиннику були римські цифри або стилізовані стрілки, то помилки траплялися частіше.
Найгірше ШІ справлявся з годинниками, на яких:
- були римські цифри – через складні позначення ШІ часто плутав, який це час;
- були художні або стилізовані стрілки – незвична форма вводила моделі в оману;
- відтінки циферблата були нестандартними – наприклад, на темному фоні штучний інтелект гірше розрізняв контури стрілок.
Отож, попри свої передові можливості в обробці тексту й зображень, сучасні нейромережі виявилися погано навченими на задачах розпізнавання часу.
Це може бути пов’язано з тим, що:
- Аналогові годинники рідко зустрічаються у навчальних наборах – сучасний світ орієнтується на цифрові технології, а не механічні циферблати.
- Годинникові стрілки мають різну довжину – моделі можуть неправильно визначати, яка з них показує години, а яка хвилини.
- Контекстний аналіз ШІ не враховує фізичні правила – наприклад, нейромережі не розуміють, що хвилинна стрілка на цифрі 12 означає рівну годину.
Ці результати демонструють обмеження сучасних мультимодальних моделей: хоча вони можуть генерувати тексти, аналізувати зображення та навіть розпізнавати складні шаблони, звичайний механічний годинник все ще залишається для них проблемою. Це нагадує, що штучний інтелект, хоч і здається розумним, все ще має прогалини у базовому візуальному аналізі.
Офіційно результати дослідження будуть оголошені у Сінгапурі 28 квітня 2025 року на семінарі “Міркування та планування великих мовних моделей” під час Тринадцятої міжнародної конференції з вивчення представлень (ICLR).
“Більшість людей вміють визначати час і користуватися календарями з раннього віку. Наші висновки підкреслюють значну прогалину в здатності штучного інтелекту виконувати те, що є досить базовими навичками для людей. Ці недоліки необхідно усунути, якщо системи штучного інтелекту мають бути успішно інтегровані в чутливі до часу реальні програми, такі як планування, автоматизація та допоміжні технології”, – заявили науковці.