AMD представила першу малу мовну модель для сімейства Llama

Оскільки AMD планує зайняти провідні позиції у сфері штучного інтелекту, вона не тільки розробляє нове обладнання, але й робить ставку на програмне забезпечення, намагаючись завоювати нові сегменти ринку, в яких ще не домінує Nvidia

AMD представила першу малу мовну модель для сімейства Llama Фото: unsplash.com, freepik.com

Так, згідно з офіційним повідомленням, компанія представила свою першу малу мовну модель AMD-135M, яка належить до сімейства Llama і призначена для розгортання в приватному бізнесі. Неясно, чи пов’язана нова модель з нещодавнім придбанням компанією Silo AI, але це явний крок у напрямку задоволення потреб багатьох клієнтів.

Створення та головна перевага AMD-135M

AMD-135M — це перша мала мовна модель сімейства Llama, яка була навчена з нуля на прискорювачах AMD Instinct™ MI250, використовуючи 670 мільярдів токенів. Модель поділена на дві версії: AMD-Llama-135M та AMD-Llama-135M-code.

Великі мовні моделі зазвичай використовують авторегресивний підхід для виконання запитів. Однак основним обмеженням цього підходу є те, що кожен прохід вперед може генерувати лише один токен, що призводить до низької ефективності доступу до пам’яті та впливає на загальну швидкість виконання.

Цікаве по темі: Експерти з Волл-стріт спрогнозували вартість акцій AMD на наступні 12 місяців

Поява так званого «спекулятивного декодування» вирішила цю проблему. Основний принцип полягає у використанні малої чернеткової моделі для генерування набору токенів-кандидатів, які потім перевіряються більшою цільовою моделлю. Цей підхід дозволяє кожному проходу вперед генерувати кілька токенів без втрати продуктивності, значно зменшуючи споживання пам’яті та забезпечуючи поліпшення швидкості в кілька разів.

Прискорення продуктивності виводу

«Використовуючи код AMD-Llama-135M як чорнову модель для CodeLlama-7b, ми протестували продуктивність виведення зі спекулятивним декодуванням і без нього на прискорювачі MI250 для дата-центру та AI-процесорі Ryzen™ (з NPU) для AI ПК. Для конкретних конфігурацій, які ми тестували, використовуючи код AMD-Llama-135M як чорнову модель, ми побачили прискорення на Instinct MI250, процесорі Ryzen AI, а також на Ryzen AI NPU, порівняно з виведенням без спекулятивного декодування. AMD-135M SLM забезпечує наскрізний робочий процес, охоплюючи як навчання, так і виведення, на обраних платформах AMD», — йдеться у звіті AMD.

Крім того, тести продуктивності моделі не залежать від апаратного середовища.

Ознайомтеся з іншими популярними матеріалами:

OpenAI представила інноваційні ШІ-моделі: чим особливі

Apple та Nvidia планують інвестувати в OpenAI: деталі

ШІ може стати розумнішим за людину раніше, ніж очікувалося — Сем Альтман