На своїй щорічній конференції I/O у вівторок компанія Google представила новий чип Trillium для навчання та запуску базових великих мовних моделей (LLM), таких як Gemma та Gemini. Про це йдеться у блозі Google.
Trillium – це шоста ітерація Tensor Processing Unit (TPU) від Google, яка на 67% енергоефективніша та майже у 5 разів швидша за свого попередника TPU v5.
Google планує використовувати Trillium у своєму гіперкомп’ютері зі штучним інтелектом, суперкомп’ютерній архітектурі, розробленій для найсучасніших робочих навантажень, пов’язаних із ШІ, і зробить чипи доступними для підприємств вже до кінця року.
«Trillium TPU досягають разючого 4,7-кратного збільшення максимальної обчислювальної продуктивності на чип порівняно із TPU v5e. Ми подвоїли ємність і пропускну здатність пам’яті високої смуги пропускання (HBM), а також пропускну здатність Interchip Interconnect (ICI) порівняно із TPU v5e», – написав у блозі Амін Вахдат, генеральний менеджер систем і хмарного штучного інтелекту в Google.
За його словами, підвищення продуктивності обчислень досягається шляхом розширення розміру блоків множення матриці (MXU) і підвищення тактової частоти. Це дає змогу швидше навчати наступну хвилю базових моделей і запускати їх із меншою затримкою та нижчою вартістю.
MXU є частиною архітектури мікросхеми TPU. Як правило, чип TPU містить одне або кілька TensorCores. Кожне з них складається з одного або кількох MXU, векторної одиниці та скалярної одиниці.
Чипи Trillium можуть масштабувати до 256 TPU в одному модулі із високою пропускною здатністю та низькою затримкою.
Окрім того, Trillium постачається із багатозрізковою технологією Google, яку компанія вперше представила у попередній версії під час презентації TPU v5e минулого року в серпні.
Технологія Multislice, за словами фахівців компанії, дає змогу корпоративним користувачам легко масштабувати моделі ШІ за межі фізичних блоків TPU – до десятків тисяч мікросхем Cloud TPU v5e або TPU v4.
До випуску цієї технології навчальні завдання з використанням TPU обмежувалися одним фрагментом мікросхем TPU, обмежуючи розмір найбільших завдань максимальним розміром фрагмента 3072 мікросхеми для TPU v4.
Читайте також на ProIT найголовніше з Google I/O: ШІ Gemini інтегрується в усі продукти Google.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
