Ми еволюціонували для лінійного світу. Якщо ви йдете протягом години, ви пройдете певну відстань. Пройдіть дві години, і ви пройдете вдвічі більшу відстань. Ця інтуїція добре служила нам на саванні. Але вона катастрофічно невдається, коли стикається з штучним інтелектом та основними експоненційними тенденціями у його серці.
З моменту, коли я почав працювати над ШІ в 2010 році, обсяг навчальних даних, які використовуються для передових моделей ШІ, зріс на приблизно 1 трильйон разів – від приблизно 10¹⁴ операцій з плаваючою точкою (основна одиниця обчислення) для ранніх систем до понад 10²⁶ операцій з плаваючою точкою для найбільших моделей сьогодні. Це вибух. Все інше в ШІ випливає з цього факту.
Скептики продовжують передбачати стіни. І вони продовжують помилятися в обличчя цього епічного покоління обчислень. Часто вони вказують на те, що закон Мура сповільнюється. Вони також згадують відсутність даних, або посилаються на обмеження щодо енергії.
Але коли ви дивитесь на поєднані сили, що ведуть цю революцію, експоненціальна тенденція здається досить передбачуваною. Щоб зрозуміти це, варто глянути на складну та швидкозмінну реальність під заголовками.
Подумайте про навчання ШІ як про кімнату, повну людей, що працюють з калькуляторами. Протягом років додавання обчислювальної потужності означало додавання більше людей з калькуляторами до цієї кімнати. Більшість часу ці робітники сиділи без діла, б’ючи пальцями по столах, чекаючи на числа для їх наступного розрахунку. Кожна пауза була втраченим потенціалом. Сьогоднішня революція виходить за рамки просто більше і кращих калькуляторів (хоча вона їх надає); це фактично про те, щоб забезпечити, щоб всі ці калькулятори ніколи не зупинялися, і щоб вони працювали разом як одне ціле.
Три прогреси зараз збігаються, щоб це зробити. По-перше, базові калькулятори стали швидше. Чіпи Nvidia забезпечили понад семиразове збільшення сирової продуктивності всього за шість років, від 312 терафлопсів у 2020 році до 2,250 терафлопсів сьогодні. Наш власний чіп Maia 200, випущений у січні цього року, забезпечує на 30% кращу продуктивність за долар, ніж будь-яке інше обладнання у нашому парку. По-друге, числа надходять швидше завдяки технології під назвою HBM, або пам’яті з високою пропускною здатністю, яка стосується чіпів вертикально, як маленькі хмарочоси; останнє покоління, HBM3, потроює пропускну здатність свого попередника, живить дані процесорам достатньо швидко, щоб вони були постійно зайняті. По-третє, кімната людей з калькуляторами перетворилася на офіс, а потім на цілу кампус або місто. Технології, такі як NVLink та InfiniBand, з’єднують сотні тисяч GPU в суперкомп’ютери розміру складу, які функціонують як одиничні когнітивні сутності. Кілька років тому це було неможливо.
Усі ці досягнення об’єднуються, щоб забезпечити значно більше обчислень. Де навчання мовної моделі займало 167 хвилин на восьми GPU у 2020 році, зараз це займає менше чотирьох хвилин на еквівалентному сучасному обладнанні. Щоб пояснити це: закон Мура передбачив б лише приблизно 5-кратне покращення протягом цього періоду. Ми побачили 50-кратне зростання. Ми перейшли від двох GPU, які навчали AlexNet, модель впізнавання зображень, яка розпочала сучасний бум у глибокому навчанні в 2012 році, до понад 100 000 GPU в сьогоднішніх найбільших кластерах, кожен з них окремо набагато потужніший, ніж його попередники.
Потім є революція в програмному забезпеченні. Дослідження від Epoch AI показує, що обчислювання, необхідне для досягнення фіксованого рівня продуктивності, зменшується приблизно вдвічі кожні вісім місяців, набагато швидше, ніж традиційне подвоєння закону Мура кожні 18-24 місяці. Витрати на обслуговування деяких останніх моделей знизилися від 900 до 900 на річній основі. ШІ стає радикально дешевшою для впровадження.
Цифри для недалекого майбутнього так само вражаючі. Подумайте про те, що провідні лабораторії збільшують потужність майже в 4 рази щорічно. З 2020 року обчислювання, використане для навчання передових моделей, зросло в 5 разів кожен рік. Прогнозується, що глобальне обчислення, яке є важливим для ШІ, досягне 100 мільйонів еквівалентів H100 до 2027 року, вдесятеро збільшившись за три роки. Покладіть все це разом, і ми поглядаємо на щось на зразок ще 1000 разів ефективніших обчислень до кінця 2028 року. Це можливо, що до 2030 року ми додаємо щорічно ще 200 гігаватів обчислень – що відповідає піку енергоспоживання Великої Британії, Франції, Німеччини та Італії разом.
Що нам це дає? Я вважаю, що це приведе до переходу від чат-ботів до майже людських агентів – напівавтономних систем, здатних писати код протягом днів, виконувати проекти тривалістю в тижні та місяці, телефонувати, укладати угоди, керувати логістикою. Забудьте про простих помічників, які відповідають на питання. Подумайте про команди ШІ, які обговорюють, співпрацюють та виконують завдання. Зараз ми тільки на початку цього переходу, і наслідки виходять далеко за межі технологій. Кожна галузь, заснована на когнітивній роботі, буде перетворена.
Очевидне обмеження тут – це енергія. Одна рекламна стійка ШІ розміром з холодильник споживає 120 кіловатт, що відповідає 100 домів. Але цей голод стикається з іншою експоненційною: вартість сонячних панелей зменшилася майже вдвічі за 50 років; вартість батарей знизилася на 97% за три десятиліття. Є шлях до чистого масштабування, який вже стає видимим.
Капітал вкладено. Інженерія виконується. Кластери на 100 мільярдів доларів, енергетичні потяги на 10 гігават, суперкомп’ютери розміру складу … це вже не наукова фантастика. Зараз починається будівництво цих проектів у США та по всьому світу. В результаті ми рухаємося до справжнього когнітивного багатства. У Microsoft AI це світ, для якого планується та будується наш лабораторія суперінтелекту.
Скептики, звиклі до лінійного світу, продовжуватимуть передбачати зменшення віддачі. Вони продовжуватимуть бути здивовані. Вибух обчислень – технологічна історія наших часів, крапка. І це все ще тільки початок.
Мустафа Сулейман є генеральним директором Microsoft AI.
