Компанія Red Hat нещодавно випустила Red Hat Enterprise Linux AI – оптимізовану для ШІ InstructLab для точного налаштування моделей і Podman AI Lab для створення і тестування програм на основі штучного інтелекту.
Компанія співпрацює з IBM, щоб використовувати моделі Granite як опцію за замовчуванням у своїх наборах інструментів і як основу для своїх продуктів Lightspeed.
Також було покращено OpenShift AI – платформу, випущену минулого року для масштабного розгортання застосунків покоління AI. Компанія оголосила, що Lightspeed, генеративний інструмент ШІ, який уже вбудовано як помічник у платформу автоматизації Red Hat Ansible, поширюється на OpenShift і Red Hat Enterprise Linux.
Як повідомляє Network World, є дві основні речі, які відрізняють підхід Red Hat від інших компаній.
По-перше, інструменти та платформи Red Hat зосереджені на розробниках, а не лише на командах з обробки даних. Це означає, що підприємствам не доведеться шукати дорогих спеціалістів з ШІ для створення своїх систем.
По-друге, це незалежність від платформи. Підприємства можуть розгортати на prem, у приватних хмарах або в будь-якій публічній хмарі та використовувати моделі IBM Granite, або одну з моделей, перевірених Red Hat та її спільнотою, або будь-яку іншу доступну модель ШІ.
Мета полягає в тому, щоб компаніям було простіше, дешевше і швидше створювати та розгортати генеративні рішення ШІ.
Орієнтація на розробників
Замість того, щоб будувати модель із нуля, розробники беруть наявну базову модель, тонко налаштовують її та створюють конвеєр або застосунок відповідно до конкретних випадків використання підприємства.
Red Hat дає змогу розробникам використовувати наявний досвід для створення генеративних програм ШІ замість того, щоб вивчати абсолютно новий набір інструментів.
В основі RHEL AI – модель Granite від IBM, яка поширюється за ліцензією з відкритим кодом Apache 2. Це більш зручна для підприємств ліцензія, ніж багато інших генеративних моделей ШІ з відкритим кодом. Meta Llama, наприклад, використовує унікальну ліцензію, яка обмежує використання моделі та не кваліфікується як ліцензія із відкритим кодом.
InstructLab – зручний для розробників набір інструментів, який дозволяє нефахівцям з обробки даних налаштовувати модель. Фактично, це для будь-якого експерта в галузі, який хоче додати навички, пов’язані з предметною сферою, вважають у Red Hat.
Зазвичай моделі навчаються за допомогою пар запитання-відповідь. OpenAI, наприклад, вимагає від користувачів надіслати принаймні 50 пар для точного налаштування ChatGPT, але часто потрібні тисячі цих запитань. InstructLab достатньо кількох пар зразків запитань, щоб розглянути таксономію знань і створити більше пар запитань і відповідей одного типу.
Потім ці нові пари запитань і відповідей використовуються для точного налаштування моделі, яка відповідає вимогам компанії. Цю нову, точно налаштовану модель можна запустити на RHEL AI для створення прототипів або невеликих випадків використання або розгорнути за допомогою OpenShift AI у масштабі.
Якщо надходять нові дані, і компанія не хоче перенавчати модель, вона може додати нову інформацію у формі пошуково-доповненої генерації або RAG. Зазвичай це векторна база даних або граф знань, який використовується для додавання контексту до запиту Gen AI.
Моделі ШІ наразі не мають вбудованих елементів керування доступом. RHEL AI має інструменти, необхідні розробникам для створення ідентичності та контролю доступу до моделей і систем, а OpenShift AI можна використовувати для розгортання цих програм та елементів керування у масштабі.
Microsoft, Google, AWS, Adobe, Canva та інші постачальники також пропонують юридичне відшкодування для користувачів своїх моделей ШІ. Але це переважно комерційні моделі, які працюють у власному середовищі провайдера. Компенсація Red Hat поширюється на моделі з відкритим вихідним кодом Granite незалежно від того, де вони розгорнуті.
Майбутнє гібридного ШІ
Контейнери дозволяють підприємствам легко переміщувати робочі навантаження між локальними центрами обробки даних, приватною хмарою та загальнодоступними хмарами залежно від потреб і спрощують масштабування інфраструктури.
За допомогою контейнерної платформи OpenShift і платформи автоматизації Ansible Red Hat оптимізує створення, розгортання та керування складними архітектурами, такими як ті, що необхідні для генеративного штучного інтелекту.
Інші постачальники також пропонують інструменти, необхідні для створення або налаштування моделей. Red Hat конкурує з Google Cloud Vertex AI, Amazon Bedrock, Azure AI, DataRobot, Dataiku, Databricks у тому, що стосується генеративного ШІ та інтелектуального ШІ, однак Red Hat вертикально інтегрує стек наукових даних між ОС, хмарою та наукою про дані, вважають у компанії.
Менше контекстне вікно, менші моделі
Одним із головних обмежень сучасної стратегії штучного інтелекту Red Hat є те, що конкретні моделі Granite, які Red Hat використовує в RHEL AI та для свого помічника Lightspeed, мають розмір контекстного вікна 8192 маркери. Контекстне вікно – це обсяг пам’яті, який модель має в одному сеансі підказок і відповідей. Контекстне вікно Granite достатньо для 24 сторінок тексту.
Для порівняння, GTP-4 від OpenAI може обробляти 128 тисяч токенів, а Claude 3 від Anthropic – 200 тисяч. Це означає, що ви можете завантажити цілий роман у Claude AI. А нова модель Gemini від Google може обробляти 1 мільйон токенів, яких достатньо для обробки кількох книг про Гаррі Поттера.
Для компаній, які прагнуть узагальнити або проаналізувати довгі документи чи великі блоки коду, велике контекстне вікно є надзвичайно корисним.
Але є багато випадків використання, коли маленьке контекстне вікно виконає свою роботу. Наприклад, якщо ви використовуєте його для запитань і відповідей.
Моделі Granite також менші за розміром, ніж деякі їхні конкуренти. Для порівняння, GPT 3.5 OpenAI має близько 175 мільярдів параметрів, а GPT-4, як повідомляється, – більше трильйона. Meta Llama 3 має 8 мільярдів параметрів і 70 мільярдів розмірів параметрів, а модель із 400 мільярдів параметрів наразі тренується.
Тим не менш, є випадки використання, в яких менша модель може працювати нормально і бути значно швидшою та дешевшою. Для компаній з обмеженими ресурсами такі моделі є більш цікавими.
Нарешті, агенти. Агенти – це новітня розробка у просторі генеративного ШІ, яка використовується для обробки складних багатоетапних робочих процесів, які включають планування, делегування, тестування та ітерацію.
AutoDev від Microsoft, наприклад, використовує автономні агенти штучного інтелекту для створення повністю автоматизованої системи розробки програмного забезпечення. Якщо Red Hat у якийсь момент і підтримує агентів, то це буде OpenShift AI, який є платформою MLOps, повідомляють у компанії.
Раніше ми повідомляли, що Red Hat представила можливість політики як коду (policy-as-code) для платформи автоматизації Ansible. Вона обіцяє спростити застосування та виконання політик управління й відповідності.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
