Sonuçlarını ne kadar etkileyeceğini söylemek zor, ama AMD'nin yeni "Halo Strix" işlemcisi, yerel bir LLM çalıştırmak isteyen herkes için en iyi sistem haline geldi.
Bunlardan 128GB RAM ile yaklaşık 1.5k dolara alabilirsiniz ve gpt-oss 120B gibi orta/büyük modelleri mükemmel bir şekilde çalıştırır.
Referans olarak, bir Nvidia 5090 (, PC'nin geri kalanı olmadan ) 2-3k dolar ve bu tam modeli çalıştıramaz.
64GB RAM'li bir mac mini 2k dolardır ve bu tam modeli çalıştıramaz.
128GB RAM'e sahip bir mac studio bunu çalıştırabilir ama fiyatı 3.7k $.
View Original