Локальні моделі штучного інтелекту дедалі частіше запускають прямо на комп’ютері. Вони працюють без відправки даних на сторонні сервери, що важливо для тих, хто цінує приватність. Щоб така робота не гальмувала, потрібне пристойне залізо, і насамперед оперативна пам’ять.

Скільки оперативної пам’яті потрібно
Щоб упевнено запускати доволі міцні локальні моделі, наприклад Qwen 3 8B чи Llama 3.1 8B, варто мати хоча б 16 ГБ оперативної пам’яті. Якщо ж на борту лише 8 ГБ, доведеться задовольнятися легшими варіантами, зокрема Llama 3.2 3B або Qwen 3 4B. Тобто обсяг RAM безпосередньо визначає, які моделі реально можна запустити на машині.
Важливу роль відіграє й квантизація, тобто спосіб стиснути модель так, щоб вона займала менше пам’яті та майже не втрачала в точності. Наприклад, 4-бітна квантизація дозволяє запускати ШІ на звичайних домашніх машинах. Водночас важковаговики з великою кількістю параметрів, як-от Qwen 3 32B і Gemma 3 27B, вимагають набагато серйозніших ресурсів.
Одного лише обсягу оперативки замало. На швидкодію помітно впливає пропускна здатність пам’яті: наприклад, DDR5 на 6000 MT/s здатна показати кращий результат, ніж DDR5 на 4800 MT/s. Крім того, відеокарта з власною відеопам’яттю (VRAM) нерідко відчутно пришвидшує локальний ШІ.
Накопичувач, фонові процеси і розумні кроки
Накопичувач теж має значення. SSD прискорює завантаження моделей і перемикання між ними, тоді як жорсткий диск (HDD) здатний затягнути цей процес надовго. Тож навіть за достатньої кількості оперативної пам’яті вибір накопичувача впливає на зручність роботи.
Варто також пам’ятати, що частину оперативної пам’яті забирають Windows, фонові процеси та сама оболонка ШІ. Через це для самої моделі може лишитися менше, ніж загальний обсяг RAM, записаний у характеристиках комп’ютера.
На старті купувати новий ПК зовсім не обов’язково: навіть 16 ГБ оперативки вистачає для чималої кількості локальних моделей. Якщо ж хочеться вільніше працювати з вимогливішими рішеннями, краще орієнтуватися на 32–64 ГБ RAM, а ще ширші горизонти відкриває відеокарта на 16–32 ГБ VRAM.
Найрозумніший шлях для початківців: спробувати можливості поточного заліза на компактних моделях і докуповувати комплектуючі лише тоді, коли з’явиться реальна потреба.
Джерело: itechua.com

2930