Як використовувати LLM на своїй машині: встановіть Ollama AI на Ubuntu Linux

Майже кожна компанія прагне використовувати ШІ у своїй роботі. Деякі використовують ChatGPT і подібні рішення. Однак існує низка проблем з використанням генеративного ШІ для компаній: конфіденційність документів, налаштування, контроль витрат і тестування продуктивності.

Якщо Linux став життєздатним варіантом для вашої компанії, чому б не запровадити версію ChatGPT? Ця версія називається PrivateGPT. Ви можете встановити її на машину Ubuntu і працювати з нею так само, як із пропрієтарною опцією. The New Stack ділиться, як це зробити.

PrivateGPT – це проєкт штучного інтелекту, який дозволяє вам ставити запитання про власні документи за допомогою великих мовних моделей.

Запустити PrivateGPT дуже легко завдяки Ollama, який є проєктом із відкритим кодом для запуску LLM на локальній машині.

Ollama має низку доступних LLM:

• Llama3: відкритий LLM від Meta.
• Qwen2: нова серія LLM від Alibaba.
• Phi3: легкі LLM від Microsoft.
• Aya: багатомовні моделі 23 мовами.
• Mistral: модель 7B від Mistral AI.
• Gemma: невеликий LLM від Google DeepMind.

Ви можете побачити всю бібліотеку доступних LLM на цій сторінці, але знайте, що їх досить велика кількість.

Єдине, про що слід пам’ятати, це те, що ця установка потребує потужного апаратного забезпечення. Вам знадобиться трохи потужності GPU, інакше Ollama дуже повільно працюватиме. Найкращим апаратним забезпеченням для цього буде сучасний центральний процесор і графічний процесор NVIDIA. Обов’язково перевірте наявність драйверів NVIDIA за допомогою цієї команди:

nvidia-sma -a

Якщо ви отримуєте повідомлення про помилку і у вас графічний процесор NVIDIA, переконайтеся, що встановили необхідні драйвери. На машині Ubuntu ви можете перевірити наявність драйверів за допомогою однієї з команд залежно від конфігурації:

Робочий стіл:

sudo ubuntu-drivers list

Сервер:

	
sudo ubuntu-drivers list --gpgpu

Потім ви можете встановити драйвер, який найкраще відповідає вашій системі, за допомогою:

sudo ubuntu-drivers install

Знову ж таки, якщо у вас немає графічного процесора NVIDIA, Ollama все одно працюватиме, просто він буде дуже повільним.

Що вам знадобиться для встановлення?

Ось пропоновані мінімальні системні вимоги:

• Графічний процесор: NVIDIA Quadro RTX A4000.
• Мікроархітектура: Ampere.
• Максимальна кількість графічних процесорів: 2.
• Ядра CUDA: 6144.
• Тензорні ядра: 192.
• Пам’ять GPU: 16 ГБ GDDR6.
• Продуктивність FP32: 19,2 TFLOPS.

Вам також знадобиться user із правами sudo.

Встановлення Ollama

Встановлення Ollama насправді досить просте. Відкрийте програму терміналу та виконайте таку команду:

curl -fsSL https://ollama.com/install.sh | sh

Якщо команда повідомляє, що curl не встановлено, його можна додати за допомогою:

	
sudo apt-get install curl -y

Якщо ви віддаєте перевагу wget, то можете завантажити цей інсталятор за допомогою:

wget https://ollama.com/install.sh

Якщо ви запустите команду з curl, інсталятор запуститься автоматично. Якщо ви запустите його за допомогою wget, то вам доведеться надати файлу дозволи на виконання за допомогою:

chmod u+x install.sh

Потім можна запустити сценарій за допомогою:

./install.sh

Вам буде запропоновано ввести пароль sudo. Коли це буде вирішено, Ollama встановиться.

Завантаження моделі

Далі вам потрібно буде знайти LLM, який ви хочете використовувати. Перейдіть на сайт бібліотеки Ollama та виберіть той, який вам більше подобається. Припустімо, ви хочете використовувати Llama3 LLM. Поверніться до програми терміналу і введіть цю команду:

ollama run llama3

Оскільки ви вперше запускаєте цю команду, їй доведеться завантажити бібліотеку. Коли завантаження завершиться, ви побачите нову підказку:

	
Send a message (/? for help)

Введіть такий запит:

What is Linux?

Якщо ви виконали системні вимоги, то повинні отримати відповідь досить швидко.

Коли закінчите використовувати Ollama, вийдіть із підказки, натиснувши Ctrl+D. Ви можете використовувати будь-який із перерахованих LLM, які хочете. Просто не забудьте виконати цю команду:

ollama run LLM_NAME

Замініть LLM_NAME назвою моделі, яку хочете використовувати.

Ви можете надати будь-кому доступ до цієї машини та показати їм, як запускати власні запити через Ollama. Дозвольте їм підключитися до системи через SSH, і вони зможуть зручно отримати доступ до свого нового, локально встановленого ШІ зі свого робочого столу.

Це все, що стосується встановлення та використання приватного ШІ на локальній машині Linux.

Читайте також на ProIT: ІBM додає ШI-асистента у мейнфрейми та обіцяє версію для Linux. Компанія випустила новий ШІ-асистент watsonx для Z v1, який поєднує автоматизоване кодування і технологію штучного інтелекту watsonx для полегшення роботи мейнфрейму.

Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!