Google випустив експериментальний API, який дозволяє повністю запускати великі мовні моделі на пристрої на Android, iOS і вебплатформах, повідомляє Info World.
MediaPipe LLM Inference API був розроблений для оптимізації інтеграції LLM на пристрої для веброзробників і підтримує вебплатформи, Android та iOS. API забезпечує початкову підтримку для чотирьох LLM: Gemma, Phi 2, Falcon і Stable LM.
У Google попередили, що API є експериментальним і все ще активно розробляється, але дає дослідникам і розробникам можливість створювати прототипи й тестувати відкрито доступні моделі на пристрої.
Для Android Google зазначив, що робочі програми з LLM можуть використовувати Gemini API або Gemini Nano на пристрої через Android AICore – можливість системного рівня, представлену в Android 14, яка надає рішення на базі Gemini для пристроїв високого класу, включаючи інтеграцію з прискорювачами, фільтри безпеки та адаптери LoRA.
Розробники можуть спробувати MediaPipe LLM Inference API створивши зразки демонстраційних програм. Офіційний зразок доступний на GitHub.
API дозволяє розробникам запроваджувати LLM на пристрої за кілька кроків, використовуючи спеціальну платформу SDK.
Завдяки суттєвій оптимізації API може забезпечити найсучаснішу підтримку на пристрої, зосереджуючись на центральному і графічному процесорах для підтримки кількох платформ, заявили в Google. У наступному році компанія планує розширити API для більшої кількості платформ і моделей.
Читайте також на ProIT про 7 антишаблонів спостереження API, яких слід уникати.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
