ProIT: медіа для профі в IT
2 хв

NCSC попереджає: чат-боти з ШІ несуть ризики кібербезпеці

author avatar ProIT NEWS

Британські чиновники попереджають організації щодо інтеграції чат-ботів, керованих штучним інтелектом, у свій бізнес. Дослідження показують, що їх можна обманом змусити виконувати шкідливі завдання, повідомляє Reuters.

Британський національний центр кібербезпеки (NCSC) заявив, що експерти ще не впоралися з потенційними проблемами безпеки алгоритмів, які можуть генерувати взаємодії, що звучать як людські. Це так звані великі мовні моделі, або LLM.

Інструменти на основі штучного інтелекту починають використовуватися як чат-боти, які, за деякими припущеннями, замінять не лише пошук в Інтернеті, але й роботу з обслуговування клієнтів і продажі.

У NCSC зазначили, що це може нести ризики, особливо якщо такі моделі будуть підключені до бізнес-процесів інших елементів організації. Вчені та дослідники неодноразово знаходили способи «підірвати» чат-боти, надаючи їм шахрайські команди або обманюючи їх, щоб обійти власні вбудовані огорожі.

Наприклад, чат-бот на основі ШІ, розгорнутий банком, можна обманом змусити здійснити несанкціоновану транзакцію, якщо хакер правильно структурує свій запит.

«Організації, які розробляють сервіси, що використовують LLM, повинні бути обережними так само, як при використанні продукту або бібліотеки коду в бета-версії», – заявили у NCSC з посиланням на експериментальні випуски програмного забезпечення.
«Вони можуть не дозволити цьому продукту брати участь у здійсненні транзакцій від імені клієнта, і, сподіваємось, не будуть йому повністю довіряти. Подібну обережність слід застосовувати до LLM», – йдеться в заяві NCSC.

Органи влади у всьому світі стикаються з розвитком LLM, таких як ChatGPT від OpenAI, які компанії впроваджують у широкий спектр своїх послуг, включно з продажами й обслуговуванням клієнтів.

Наслідки впливу штучного інтелекту на безпеку також все ще знаходяться в центрі уваги. Зокрема, влада США та Канади стверджує, що бачить, як хакери використовують цю технологію.

Нещодавнє опитування Reuters/Ipsos показало, що багато корпоративних співробітників використовують такі інструменти, як ChatGPT, для допомоги у виконанні базових завдань: написання електронних листів, узагальнення документів і проведення попередніх досліджень.

Приблизно 10% респондентів сказали, що їхнє керівництво прямо заборонило послуговуватися зовнішніми ШІ-інструментами, тоді як чверть опитаних не знала, чи їхня компанія дозволяє використовувати цю технологію.

Головний технічний директор фірми з кібербезпеки RiverSafe Оселока Обіора заявив, що гонитва за інтеграцією ШІ у бізнес-практику матиме «катастрофічні наслідки», якщо бізнес-лідери не запровадять необхідні перевірки.

«Замість того, щоб «стрибати у ліжко» з останніми тенденціями штучного інтелекту, керівники вищої ланки повинні подумати ще раз. Оцініть переваги та ризики, а також запровадьте необхідний кіберзахист, щоб убезпечити свою організацію від шкоди», – наголосив експерт.

Раніше ProIT повідомляв, що OpenAI купує ігровий стартап Global Illumination для роботи над основними продуктами ChatGPT.

Також ми писали про те, як ШІ-пошук від Google змінить правила гри в Інтернеті.

Підписуйтеся на ProIT у Telegram, щоб не пропустити жодну публікацію!

Приєднатися до company logo
Продовжуючи, ти погоджуєшся з умовами Публічної оферти та Політикою конфіденційності.