ocknamo(早く寝ろ) 1 year ago わかってきた ・M4 MacのユニファイドメモリはGPUに割り当てられるのでGPUメモリ容量が必要な大規模言語モデルを使えるらしい ・特殊な変換が必要かもしれないけどコスパはよさそう ・ ZennM4 Mac MiniにおけるGPUのLLM活用の現状と問題点
ocknamo(早く寝ろ) 1 year ago 何でもできるようにすると微妙かなと思ってる点として ・スパムボット作りやすくなるのはちょっと ・そんなにパワフルなマシンで動かす想定してないから簡単にやばい設定にならないようにしたい などがあります。 なので何らかの制限は課したい。
ocknamo(早く寝ろ) 1 year ago 参考になりそう PC Watch【西川和久の不定期コラム】 M4 Max搭載「MacBook Pro 14」のメモリ128GBをLLMでほぼ使い切ってみた!前回はM4 Max/ユニファイドメモリ128GB搭載MacBook Pro 14の製品紹介とベンチマークテスト中心だったが、今回は(ま...