Blog
Kwantyzacja a liczba parametrów LLM w praktyce – testowanie lokalnych modeli do pisania prozy (Q8 czy 30B?) cz.I
Ile tak naprawdę da się wycisnąć z lokalnych LLM, kiedy chcesz trzymać wszystko prywatnie: bez chmury, bez potężnych GPU i bez „magicznego” kontekstu, który wszystko pamięta? Zamiast teoretyzować, zrobiłem serię testów na zwykłym laptopie i potraktowałem kwantyzację, liczba param…
