Anyscale анонсувала новий проєкт з відкритим кодом під назвою Aviary, створений з метою розроблення застосунків із використанням великих мовних моделей з відкритим кодом (LLM).
Anyscale пропонує Aviary як безкоштовну хмарну інфраструктуру LLM з повністю відкритим вихідним кодом, розроблену для того, щоб допомогти фахівцям у виборі й впровадженні відповідних технологій та підходу для своїх додатків на основі LLM. Aviary дає змогу користувачам надсилати тестові підказки до LLM з відкритим кодом, включаючи CarperAI, Dolly 2.0, Llama, Vicuna, StabilityAI та Amazon LightGPT, йдеться в матеріалі порталу Datanami.
В Anyscale заявляють, що їхня мета полягає у тому, щоб будь-який розробник міг легко інтегрувати штучний інтелект у свої продукти без необхідності створення додаткової інфраструктури й управління нею.
«Завдяки проєкту Aviary у розробників будуть інструменти для використання LLM у своїх програмах», – розповідає Роберт Нісіхара, співзасновник і генеральний директор Anyscale.
Нещодавнє дослідження Gartner показало, що до 2026 року 75% нових корпоративних додатків будуть містити моделі на основі генеративного штучного інтелекту або машинного навчання, у 2023 році таких моделей прогнозується всього 5%.
Aviary побудовано на основі Ray Serve, власного пропрієтарного рішення компанії для обслуговування та масштабування штучного інтелекту, включно з LLM. Anyscale заявляє, що Ray Serve дає змогу забезпечити надійність, динамічне розгортання моделей і пакетне опрацювання запитів. Система розподіляє моделі між GPU, забезпечує управління моделями й автоматичне масштабування на різноманітних обчислювальних системах для оптимізації витрат.
«Розвиток штучного інтелекту відбувається настільки швидко, що багато компаній стикаються з ситуацією, коли їхні системи не дають змоги скористатися перевагами найновіших можливостей LLM. Компаніям потрібен доступ до платформи, яка дозволить їм використовувати всю екосистему LLM з відкритим кодом у перспективний, ефективний та економічно вигідний спосіб. За допомогою Aviary розробники застосунків можуть швидко тестувати, впроваджувати, керувати та масштабувати один або кілька попередньо налаштованих LLM з відкритим кодом, максимально використовуючи GPU і знижуючи витрати на хмару», – йдеться в релізі компанії.
Aviary також містить бібліотеки, інструменти, приклади, документацію і зразок коду. Все це доступно у відкритому коді й легко адаптується як для невеликих експериментів, так і для великих проєктів.
