Інтерес до штучного інтелекту (ШІ) досяг апогею у 2023 році. За 6 місяців після запуску OpenAI у листопаді 2022 року ChatGPT, найвідомішого та найбільш ефективного чат-бота в Інтернеті, популярність теми «Штучний інтелект» у пошуковій системі Google зросла майже в 4 рази. До серпня 2023 року одна третина респондентів останнього глобального опитування McKinsey заявила, що їхні організації використовують генеративний штучний інтелект, повідомляє The Economist.
Як розвиватимуться технології у 2024 році? Є три основні параметри, за якими дослідники вдосконалюють моделі ШІ: розмір, дані та програми.
Почнімо з розміру. Протягом останніх кількох років загальноприйнятою догмою досліджень ШІ було те, що більше означає краще. Хоча комп’ютери стали меншими, незважаючи на те, що вони стали потужнішими, це не стосується великих мовних моделей (LLM), розмір яких вимірюється мільярдами або трильйонами «параметрів».
За даними дослідницької фірми SemiAnalysis, GPT-4 – LLM, на якій працює нинішня версія ChatGPT, – вимагав понад 16 тисяч спеціалізованих чипів графічного процесора. На його навчання знадобилося кілька тижнів, що коштувало більш ніж $100 мільйонів.
Згідно з даними NVIDIA, витрати на те, щоб змусити навчені моделі відповідати на запити користувачів, тепер перевищують витрати на навчання під час розгортання LLM у будь-якому розумному масштабі.
У міру того, як моделі ШІ перетворюються на комерційні товари, все більше уваги приділяється підтримці продуктивності, що одночасно робить їх меншими та швидшими. Один зі способів зробити це – навчити меншу модель використовувати більше навчальних даних. Наприклад, Chinchilla (LLM, розроблена у 2022 році компанією Google DeepMind) перевершує GPT-3 OpenAI, незважаючи на те, що вона на чверть менша за розміром (навчена на основі вчетверо менших даних).
Інший підхід полягає у зменшенні чисельної точності параметрів, які містить модель. Команда з Університету Вашингтона показала, що можна втиснути модель розміром із Chinchilla у один графічний процесор без помітного зниження продуктивності.
Важливо, що невеликі моделі пізніше набагато дешевше використовувати. Деякі навіть можуть працювати на ноутбуці чи смартфоні.
Дані. Моделі ШІ – це машини прогнозування, які стають ефективнішими, коли їх навчають на більшій кількості даних. Але фокус також зміщується зі «скільки» на «наскільки добре». Це особливо актуально, оскільки стає все важче знайти додаткові навчальні дані. Аналіз у 2022 році показав, що запаси нового високоякісного тексту можуть вичерпатися у найближчі кілька років.
Використання вихідних даних моделей для навчання майбутніх моделей може призвести до зменшення ефективності, тому впровадження LLM робить Інтернет менш цінним як джерело навчальних даних. Але кількість – це ще не все.
Визначення правильного поєднання тренувальних даних – все ще більше мистецтво, ніж наука. І моделі все частіше навчаються на комбінаціях типів даних, включаючи природну мову, комп’ютерний код, зображення та навіть відео, що дає їм нові можливості.
Які нові програми можуть з’явитися? ШІ розвивається швидше, ніж люди можуть цим скористатися. Показ того, що, можливо, перетворився на з’ясування практичного. Найважливіший прогрес буде не у якості самих моделей, а в тому, як навчитися їх більш ефективно використовувати.
Наразі існують такі основні способи використання LLM:
- Перший, «оперативна інженерія», приймає їх такими, як вони є, і подає їм конкретні підказки. Цей метод передбачає створення вхідних фраз або запитань, які спрямовують модель на отримання бажаних результатів.
- Другий – «точне налаштування» моделі для покращення її продуктивності при виконанні конкретного завдання. Це включає надання попередній моделі додаткового циклу навчання з використанням вузького набору даних, адаптованого до цього завдання. Наприклад, LLM можна налаштувати за допомогою статей із медичних журналів, щоб краще відповідати на запитання, пов’язані зі здоров’ям.
- Третій підхід полягає у вбудовуванні LLM у більшу, потужнішу архітектуру.
Одним із прикладів цього є «доповнена пошукова генерація» – техніка, яка поєднує LLM із додатковим програмним забезпеченням і базою даних знань на певну тему, щоб зменшити ймовірність виникнення неправди. Коли їй ставлять запитання, система спочатку шукає у своїй базі даних. Якщо вона знаходить щось доречне, то потім передає запитання разом із фактичною інформацією до LLM, вимагаючи, щоб відповідь була згенерована на основі наданої інформації.
Надання джерел у такий спосіб означає, що користувачі можуть бути більш впевненими у точності відповідей. Також це дає змогу персоналізувати LLM як NotebookLM Google, що дозволяє користувачам створювати власні бази даних знань.
Раніше ми повідомляли, що штучний інтелект поки створює, а не знищує робочі місця.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодну публікацію!
