16窓の動画撮って記事書いたらバズりそう
これで消費電力めっちゃ低いんでしょ。最高じゃん
現状でも思ったより良さそう
バッチサイズが大きい時にやたら強い...? やっぱスパコンぽさあるな(小並感)
何も見ずに呟いてた。ちゃんと見ます
(な気がする)
メモリもりもりをアピールしたいベンチマークだと16bitのやつ使われがち
徹夜で適当な文字列を出力しすぎているので一旦やめ
Mixture of Expertsをさらに発展させたものが登場すればメモリの帯域幅よりflopsが重要になってくると個人的には思っているので、そこからが本番だと思ってる
確かblackwellアーキテクチャってfp4が本丸だった気がするので尚更