Компанія Datadog запустила Bits – цифрового помічника, який використовує генеративний штучний інтелект (ШІ) з платформи ChatGPT від OpenAI.
Bits надає рекомендації в режимі реального часу для вирішення проблем, які виникли на платформі спостереження компанії. Про це повідомляє DevOps.com.
Водночас компанія оголосила, що розширює охоплення цієї платформи, щоб ІТ-організації могли контролювати великі мовні моделі (LLM), які зараз багато хто вбудовує у спеціальні програми.
Також Datadog випустила бета-версію платформи LLM Observability, яка об’єднує дані із застосунків, моделей та різних інтеграцій, щоб допомогти інженерам виявляти й вирішувати проблеми штучного інтелекту у застосунках. Наприклад, зниження продуктивності, дрейф і галюцинації в режимі реального часу.
Ці розширення доповнюють наявну можливість моніторингу шаблонів використання інтерфейсів прикладного програмування (API), що здійснюють виклики до платформи OpenAI ChatGPT.
Генеративні можливості ШІ у бета-версії забезпечуються даними, які компанія використовувала для розширення основних можливостей платформи ChatGPT.
Bits AI навчається як із даних клієнтів, так і з інших джерел, щоб відповідати на запити через інтерфейс природної мови. Це робить платформу Datadog більш доступною для набагато ширшого кола ІТ-фахівців.
Загальна мета полягає у тому, щоб скоротити середній час вирішення проблем. Наприклад, пояснюючи помилки й пропонуючи виправлення коду, якими можна легко поділитися з розробниками через канал зв’язку Slack.
Ці можливості розширюють функціональність алгоритмів машинного навчання, які Datadog вже вбудовує у свою платформу.
Хоча генеративні можливості штучного інтелекту, додані до основної платформи Datadog, зроблять команди DevOps більш ефективними, не зовсім зрозуміло, яку роль ці команди відіграватимуть у моніторингу магістерських програм, створених групами з обробки даних.
Теоретично команди DevOps повинні відповідати за оптимізацію продуктивності будь-якого елементу програми, але сьогодні більшість інженерів DevOps не мають великого досвіду роботи з LLM, створеними групами з обробки даних.
Однак інженери DevOps повинні мати змогу принаймні поділитися першопричиною проблеми, яка негативно впливає на LLM, із групами з обробки даних.
Поки незрозуміло, як швидко LLM будуть включені у застосунки, але більшість команд DevOps очікують, що незабаром вони стануть повсюдними. По суті Datadog тепер надає командам DevOps інструменти ШІ, які їм знадобляться для ефективного моніторингу застосунків, наповнених можливостями ШІ.
Питання полягає не стільки у тому, чи будуть команди DevOps використовувати переваги штучного інтелекту для кращого керування середовищем застосунків, скільки у тому, наскільки швидко. Враховуючи загальний рівень складності, з яким регулярно стикаються команди DevOps, мало хто захоче взятися за це завдання без певного рівня доповнення ШІ.
Виклик полягає у тому, щоб визначити, з якими саме завданнями DevOps найкраще впораються машини, що дасть змогу розробникам програмного забезпечення зосередитися на складніших питаннях, на які раніше вони не мали часу.
