最新のAI、128GBでもメモリ不足、最低144GB、推奨192GBに

1 : 2024/12/09(月) 10:08:37.25 ID:iPcWmA7D0: https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/
2 : 2024/12/09(月) 10:08:44.97 ID:iPcWmA7D0: M2 Ultra 76-Core GPU 192GB　　76.28 36.25 12.13 4.71
RTX 3090 24GB 6個　　　　　　　101.07 45.55 16.93 5.82
RTX A6000 48GB 4個　　　　　　　93.73 38.87 14.32 4.74
RTX 4090 24GB 8個　　　　　　　116.13 52.12 18.76 6.45
RTX 6000 Ada 48GB 4個　　　　　118.99 50.25 17.96 6.06
3 : 2024/12/09(月) 10:09:09.82 ID:iPcWmA7D0: GPU 8B Q4_K_M 8B F16 70B Q4_K_M 70B F16
RTX 3070 8GB 70.94 メモリ不足メモリ不足メモリ不足
RTX 3080 10GB 106.40 メモリ不足メモリ不足メモリ不足
RTX 3080 Ti 12GB 106.71 メモリ不足メモリ不足メモリ不足
RTX 3090 24GB 111.74 46.51 メモリ不足メモリ不足
RTX 4070 Ti 12GB 82.21 メモリ不足メモリ不足メモリ不足
RTX 4080 16GB 106.22 40.29 メモリ不足メモリ不足
RTX 4090 24GB 127.74 54.34 メモリ不足メモリ不足
4 : 2024/12/09(月) 10:09:49.64 ID:6FRwUbgX0: そんなん自前で揃えても数年後には化石だからキリがないよ
5 : 2024/12/09(月) 10:13:10.00 ID:ILsBYcRu0: リソースを無駄に使うのはいくらでも出来る
それが意味のある使い方家と言うと全然そんなこと無いって言う
11 : 2024/12/09(月) 10:15:42.57 ID:urgCKUnr0: >>5
Llama3の8Bと70Bは天と地の差がある。
しかもGPT4の足元にも及んでいない最底辺
6 : 2024/12/09(月) 10:13:51.22 ID:GWReo2BW0: AIで生成した物の使い道が承認欲求
7 : 2024/12/09(月) 10:13:52.46 ID:5paW6Qfd0: やべー
96GBしかないわー
8 : 2024/12/09(月) 10:13:59.73 ID:WRx9gijV0: 速攻ブレーカーが落ちるレベル
9 : 2024/12/09(月) 10:14:09.90 ID:GZ9vkojt0: 昔はメモリ64MBくらいでサクサク使えたのにな
34 : 2024/12/09(月) 10:24:10.44 ID:DujfGACm0: >>9
俺は8MGから16MGにした時びっくりした
10 : 2024/12/09(月) 10:14:27.46 ID:joAUCogN0: ローカルで使おうとは思わんし
12 : 2024/12/09(月) 10:16:04.70 ID:NyUFbMFY0: ビデボ買おうとしてるけど最近のめっちゃ高いな
13 : 2024/12/09(月) 10:16:15.09 ID:bcNz6k6a0: マイニングの時みたいに大量にGPU並べるのかな
14 : 2024/12/09(月) 10:17:52.97 ID:XkKNZ9lx0: 下手なサーバーより多いな
15 : 2024/12/09(月) 10:18:05.66 ID:uAEIfval0: 並列処理だから並べりゃ良いんじゃね？
16 : 2024/12/09(月) 10:18:13.24 ID:CyUUIGnK0: おれんとこじゃ動かないな。
17 : 2024/12/09(月) 10:18:17.55 ID:QBNOI+UD0: メモリが暖房器具になる時代か
18 : 2024/12/09(月) 10:18:44.65 ID:Z7EiNL190: ご家庭には必要ないやろ
19 : 2024/12/09(月) 10:19:00.77 ID:Fb6skC540: というか何かが間違ってる気いするわ。AIったって所詮はソフトウェアありきなんだからこんなにハードウェアに
依存するシステムそのものが既に間違ってるし、全然エコじゃないじゃないか？作れば作るだけ環境汚染が進み
二酸化炭素の排出率増加にも大きく寄与するようなハードウェア。
カーボンニュートラルとはいったいなんぞや　笑　何故こんなのを野放しにしてるのか訳分からんわ。
20 : 2024/12/09(月) 10:19:03.76 ID:slS6Wbj/0: 最下位の？100万円のMac Studioが「遅いけど動く」で開発用にはコスパ良さそうじゃん
21 : 2024/12/09(月) 10:19:07.18 ID:AERYLNWJ0: まあ、人間の脳はテラバイト超えてるらしいからなあ
22 : 2024/12/09(月) 10:19:39.49 ID:RrD7m3tD0: 部屋がめっちゃあったかくなりそう
23 : 2024/12/09(月) 10:20:17.22 ID:gHq3VaJQ0: なんでマザーボード側のメインメモリじゃなくてグラボのメモリを使うん？
26 : 2024/12/09(月) 10:20:57.37 ID:MQT2A6LY0: >>23
早いから
27 : 2024/12/09(月) 10:21:20.69 ID:SwrJSTA50: >>23
最下位のM2 Ultra 76-Core GPU 192GBはメインメモリだろ
39 : 2024/12/09(月) 10:25:03.70 ID:MQT2A6LY0: >>27
Mシリーズがいいのはメインメモリではあるが
ユニファイドメモリの関係でまあまあ行けるからやろ
30 : 2024/12/09(月) 10:23:03.80 ID:ILsBYcRu0: >>23
グラボを使うためにはグラボのメモリに入れなきゃいけないんだよ？
グラボがメインメモリにアクセスできると思ってるん？
32 : 2024/12/09(月) 10:23:43.73 ID:AERYLNWJ0: >>30
出来るが遅いんだよ
47 : 2024/12/09(月) 10:29:01.98 ID:bRhFw2bN0: >>30
PCの知識0の田舎もん
UMAなんてx86では20年以上前のi810時代からある
31 : 2024/12/09(月) 10:23:35.46 ID:Fgg6RFyK0: >>23
メインメモリ-CPU-PCIe-GPU-VRAM

という接続だから
めっちゃ遠いし
CPUなんかを経由するからめっちゃ遅い
53 : 2024/12/09(月) 10:33:24.51 ID:gHq3VaJQ0: >>31
そーするとAIの演算をやってるCPUが
メインメモリを使わずGPU側のメモリを使うようにしてるってことなんか
69 : 2024/12/09(月) 10:41:36.59 ID:KNPOmEqn0: >>53
AIの演算自体が、GPUをメインで使うというか
GPUがNPUの役割を果たしている
73 : 2024/12/09(月) 10:43:23.41 ID:MQT2A6LY0: >>53
CPUはストレージの読み書きやメモリという置き場所の貸し出しや
大筋の管理くらいで本体はGPUとVRAMみたいなのがAI
74 : 2024/12/09(月) 10:43:33.21 ID:iTwe90K00: >>31
PCIeに直接メインメモリぶっ指せる変態マザーがあればVRAMがわりに使えるの？
それともddr5では遅すぎとかなんかな
43 : 2024/12/09(月) 10:25:40.45 ID:Fgg6RFyK0: >>23
Intel ARCなんかは
CPU – VRAM
　　 – GPU
という構造でVRAMをメインメモリの一部として使う技術を使ってきたが全然流行ってない
24 : 2024/12/09(月) 10:20:37.72 ID:8ssWHXaH0: サーバー借りてやるん？
25 : 2024/12/09(月) 10:20:52.70 ID:G9fjY/cB0: L40sとかa100だな
今度h100x4使う
28 : 2024/12/09(月) 10:21:40.92 ID:iA5FWO+v0: 個人用のおもちゃは投げ捨てて商用モデル買え
29 : 2024/12/09(月) 10:22:15.09 ID:gm5k8Sp80: 親の役満の点数みたいだな
33 : 2024/12/09(月) 10:23:54.59 ID:MQT2A6LY0: 昔ラジャがAMDに在席してたころにHBCCってやってたが
ああいうVRAMよりは若干性能落ちるがいちいちCPU経由で
メインメモリのやりとりするよりマシ系の仕組みいるよな
CXLくらい？
35 : 2024/12/09(月) 10:24:20.05 ID:3OoxFNqI0: メモリー512MBのモンスターマシンだ
41 : 2024/12/09(月) 10:25:17.15 ID:AERYLNWJ0: >>35
スライム・モンスター
ですか？
36 : 2024/12/09(月) 10:24:40.91 ID:WpbZNGwr0: もはや人間のほうが燃費いいんじゃないでしょうか
37 : 2024/12/09(月) 10:24:45.41 ID:0v3/aC+U0: 一方リーマンに支給されるPCは未だにRAM4GBであった
38 : 2024/12/09(月) 10:24:54.20 ID:MGVbI/Kd0: キャンペーンだけやりたいのに
マルチとか150GBくらい全部ダウンロードしないと遊べないコールオブデューティシリーズ
40 : 2024/12/09(月) 10:25:06.25 ID:2CANnYeJ0: 結局AIって何すんだよ？
Hな画像作って喜ぶだけ？
44 : 2024/12/09(月) 10:27:09.21 ID:ILsBYcRu0: >>40
お前がAI使ってると意識してないサービスでも
裏でAI走らせてどんどん賢くなってる
46 : 2024/12/09(月) 10:28:56.56 ID:tkvbvX1+0: >>40
エ口への情熱ってのはパワーがあるからな。
PS2が売れまくったのもDVDがみれたからさ。VHSからDVDへの画質の進化は
えぐかったのよ。あと巻き戻ししないでいいという便利さ。
71 : 2024/12/09(月) 10:42:28.12 ID:lD6uSCBj0: >>40
ザラキ唱えまくる
42 : 2024/12/09(月) 10:25:26.26 ID:tkvbvX1+0: グラボにマイクロSDさせるように作ればいいじゃんって速度が遅すぎか。
45 : 2024/12/09(月) 10:27:55.81 ID:XkKNZ9lx0: サーバーのスペック見たらメモリ1024GBだったからこれでも6人しか動かせないのか
48 : 2024/12/09(月) 10:29:06.14 ID:7pA6zm+00: AI搭載PCなどいらん
56 : 2024/12/09(月) 10:35:25.41 ID:jPmXprhP0: >>48
そんなあなたにはPC搭載のAI
49 : 2024/12/09(月) 10:30:49.22 ID:Q0xqri+j0: 最近古いノートパソコンを再利用しようと思ってメモリを４GBから８GBに換装したらそれだけでサクサクになってﾜﾛﾀ

SSDも買ってあるけどこれなしでも十分かもしれん
51 : 2024/12/09(月) 10:31:53.55 ID:vOtHSgEb0: RAMで144ギガなんて使ってる人いるのか
52 : 2024/12/09(月) 10:33:00.00 ID:GqRMnKTn0: 今時1T以上有るだろw
54 : 2024/12/09(月) 10:34:03.22 ID:g0Xeujh90: んなことよりWindows12いつ出るんだよ　おそらくAI搭載になるんだろうけど
58 : 2024/12/09(月) 10:36:01.79 ID:ILsBYcRu0: >>54
みんなが一斉に質問「お前を消す方法」
55 : 2024/12/09(月) 10:35:06.10: ローカルで２～３時間くらいのポルノ動画を
ＡＩに食わせてみたいわ

狂気の変態動画が出来そう
57 : 2024/12/09(月) 10:35:59.82 ID:H5H4/Jh+0: 4070tis買ったのに…窓から投げ捨てるか
59 : 2024/12/09(月) 10:36:37.64 ID:K6RYz5bX0: ちょっと前までは128GBでもう一生これで足りないってことはないと思ってたのに
結局余裕あるとギリギリまで使っちまうのが人に性なのか
なんていうかお金とかと変わんないのな
61 : 2024/12/09(月) 10:38:19.45 ID:IMxE4Xm00: 個人用じゃないだろ設計、無理やり使ってるけど
62 : 2024/12/09(月) 10:38:27.10 ID:8XgsJ0p70: グラフィックボードのメモリとメインメモリの区別がついていない人はいないよね？
68 : 2024/12/09(月) 10:41:29.42 ID:G5y4sEE10: >>62
知ってるよ

愛のメモリーだろ？
63 : 2024/12/09(月) 10:38:40.55 ID:dvjSf6Eb0: やはりDGX-1あたりを買うしかないなw
64 : 2024/12/09(月) 10:38:47.00 ID:83EEqQjk0: 俺パソコン詳しいけど、128Gとかそんなしょぼいの使ってるのおる？
俺外付けも含めると10Tくらいのやつ使ってるわ
75 : 2024/12/09(月) 10:44:59.98 ID:PKhhQKsN0: >>64
すべってるよ
70 : 2024/12/09(月) 10:41:55.94 ID:1ZdDxmyC0: AI生成でもやらないなら不要
72 : 2024/12/09(月) 10:43:00.30 ID:tpSl/ofE0: AIでアイコラ作ってみようかなと思って
通販サイトを見たらあまりの高さにそっ閉じした
30万も出せないぜ…まだまだ手動で頑張るか