Висновок: Запуск генеративного ШІ локально на вашому комп’ютері
Використовуйте можливості генеративного ШІ безпосередньо на вашій власній машині.
Можливо, ви вже знайомі з платформами генеративного ШІ, такими як ChatGPT та Google Bard. Хоча багато користувачів віддають перевагу доступу через хмару, цілком реально встановити ці інструменти на вашому робочому столі. Цей підхід має значні переваги: підвищену конфіденційність та уникнення розчарувань через сповіщення про ємність серверів чи простої. До того ж, це надає певну технологічну привабливість.
Щоб розпочати цю подорож, вам знадобиться програмне забезпечення для роботи зі ШІ, разом із великим мовним моделюванням (LLM) для генерації відповідей. Ці LLM становлять основу генераторів тексту на базі ШІ. Наразі GPT-4 є найсучаснішою моделлю, яка підтримує ChatGPT, в той час як Google представив Gemini як оновлений варіант для свого Bard.
Якщо термін LLM вам незнайомий, це може свідчити про недостатнє знайомство з комплексними ресурсами ШІ. Для повного розуміння LLM необхідно мати певні наукові та математичні знання, але в основному вони навчалися на величезних наборах даних, щоб розпізнавати зв’язки між словами та фразами (іншими словами, які слова зазвичай слідують за іншими).
Моделі LLM
Існує безліч моделей ШІ, які можуть бути встановлені локально на вашій системі. Зазвичай метою є використання публічно доступних LLM для стимулювання інновацій та підвищення прозорості. Для цього посібника ми будемо використовувати LM Studio, щоб продемонструвати локальне встановлення LLM. Ця платформа є однією з провідних опцій для таких завдань, безкоштовно доступною та сумісною з операційними системами Windows, macOS та Linux.
Як встановити локальний LLM
Почніть з завантаження LM Studio з його офіційного сайту, звертаючи увагу на системні вимоги: запуск LLM може бути досить ресурсомістким, що потребує потужного комп’ютера. Сумісні налаштування включають комп’ютери Windows або Linux з AVX2 (переважно на новіших моделях) та Mac з Apple Silicon, які працюють на macOS 13.6 або новіше, з мінімум 16 ГБ оперативної пам’яті. Для користувачів ПК також рекомендується наявність 6 ГБ VRAM.
Коли програмне забезпечення запрацює, вам потрібно буде придбати LLM для використання — без нього ваші варіанти залишаться обмеженими. Ключовою особливістю LM Studio є його передній екран, який пропонує «нові та примітні» LLM, що полегшує вибір, якщо ви не впевнені.
LLM значно різняться за розміром, складністю, джерелами даних, призначенням та швидкістю: вибір моделі є суб’єктивним, але на платформах, таких як Reddit та Hugging Face, доступні обширні ресурси для подальшого вивчення. Як і очікувалося, LLM можуть займати кілька гігабайтів пам’яті, що дозволяє вам переглядати їх в той час, поки ви чекаєте завершення завантаження.
Якщо ви виявили бажану LLM на головному екрані, простий клік на «Завантажити» буде достатнім. Альтернативно, ви можете провести пошук або ввести URL у поле зверху. Розміри для кожної LLM допоможуть вам оцінити час завантаження, разом із датою останнього оновлення. Крім того, ви можете фільтрувати результати за найбільш завантаженими моделями.
Ви можете встановити кілька LLM, за умови, що є достатньо вільного місця; після установки хоча б однієї моделі вони з’являться в панелі «Мої моделі» (доступно через іконку папки зліва). Тут ви можете переглядати відповідні дані про кожну встановлену модель, перевіряти наявність оновлень та видаляти за бажанням.
Щоб почати задавати запити, отримайте доступ до функції AI Chat, використовуючи іконку хмари зліва. Виберіть бажану модель з верхнього меню, введіть свій запит у текстове поле повідомлення користувача внизу та натисніть Enter. Якщо ви вже працювали з LLM, такими як ChatGPT, результати, безсумнівно, виглядатимуть знайомо.
Налаштування контролю
З правого боку є різні налаштування, що стосуються LLM, включаючи управління довжиною відповіді та розподіл обробки завдань на GPU вашої системи. Поле попереднього запиту дозволяє вам постійно диктувати тон або стиль відповідей.
Розпочніть новий чат, вибравши кнопку «Новий чат» зліва, тоді як попередні обміни доступні у зафіксованому форматі нижче для довідки. Після завершення генерації відповідей пропонуються опції для захоплення знімка екрану, копіювання згенерованого тексту або повторної генерації відповідей на той же запит.
Це все, що потрібно! Тепер ви готові працювати з локальними LLM. Існує безліч шляхів для поглиблення знань у розробці та запитах LLM, якщо ви того забажаєте, однак оволодіти основами цілком можливо, і LM Studio робить налаштування надзвичайно зручним, навіть для тих, хто абсолютно новачок у цій сфері.
