ШІ перетворює нудні картинки та схеми в підручниках на анімації (відео)

Модель зробить навчання наочнішим і цікавішим, вважають розробники.

Дослідники з Університету Колорадо в Боулдері навчили ШІ перетворювати статичні ілюстрації в підручниках на інтерактивні тривимірні симуляції. Інструмент “доповненої фізики” дає змогу учням оживляти діаграми та схеми за допомогою iPad, щоб зробити навчання наочним і захопливим.

Система заснована на моделі Segment Anything і дає змогу користувачам виділяти окремі об’єкти на зображенні, призначати їм ролі та застосовувати до них закони фізики. Наприклад, статичне зображення лижника на трампліні перетворюється на анімовану симуляцію, у якій учні можуть регулювати параметри тертя та спостерігати за зміною траєкторії руху.

Розробка отримала нагороду за найкращу доповідь на 37-му щорічному симпозіумі ACM з програмного забезпечення та технологій користувацького інтерфейсу. Тестування показало, що система успішно перетворює діаграми на працюючі симуляції в 60% випадків. Інструмент уже протестували викладачі та студенти. Учасники відзначили можливість проведення “власних маленьких експериментів”.

Дослідники планують розширити можливості системи за межі фізики, щоб створювати інтерактивні версії діаграм для інших предметів. У майбутньому розробники хочуть за допомогою окулярів доповненої реальності перетворювати будь-які 2D-схеми на тривимірні інтерактивні моделі.