- 1 : 2025/01/31(金) 14:02:09.76 ID:k2Kah4WW0
-
- 2 : 2025/01/31(金) 14:02:34.25 ID:k2Kah4WW0
-
量子化とはデータ精度を落とす事でサイズを小さくする技術。
例えば32ビット浮動小数点(FP32)では0.123456といった細かい数値を表現できますが8ビット整数(INT8)に変換すると0から255の整数に変換されます。精度はいくぶん失われますがその代わりデータサイズ4分の1となります。
- 3 : 2025/01/31(金) 14:02:49.92 ID:k2Kah4WW0
-
量子化によりメモリ使用量が削減され計算速度が向上し消費電力を削減しより効率的な計算を可能になる天秤にかけたギリギリのバランスを見つける為、unsllothの兄弟は96時間ぶっ続けでDeepSeek-R1のアーキテクチャを解析しモデルの各部分に対し異なる圧縮率をぶつけ量子化する「動的量子化」を行ったとの事。
- 4 : 2025/01/31(金) 14:02:50.89 ID:KfOZMKJG0
-
3060で動くようにしてくれ
- 12 : 2025/01/31(金) 14:04:52.00 ID:yvyN1O+D0
-
>>4
GPUがもう要らないんだけど
- 5 : 2025/01/31(金) 14:03:04.24 ID:k2Kah4WW0
-
結果、元のモデルサイズが720GBに対し驚喜の131GBにまで、おおよそ約80％の削減を実現することに成功したとunslothは報告しています。
動的量子化されたDeepSeek-R1は、VRAMとRAMが合計80GB以上の環境で最適に動作したとのこと。
- 6 : 2025/01/31(金) 14:03:25.96 ID:k2Kah4WW0
-
具体的な性能としてスループットで毎秒140トークン、単一ユーザーの推論で毎秒14トークンを達成したそうです。GPUがなくても20GBのRAMがあれば動作可能です。しかしその場合は処理速度が遅くなります。
- 22 : 2025/01/31(金) 14:07:26.53 ID:Trk2wU1cr
-
>>6
へえ
うちのRAM32GBのパソコンでもいけるってこと？
- 7 : 2025/01/31(金) 14:03:32.41 ID:SVvL1T2y0
-
すげえすげええ
- 8 : 2025/01/31(金) 14:03:38.00 ID:i6gZxGGh0
-
すげえ
- 9 : 2025/01/31(金) 14:03:58.43 ID:GREhSdxU0
-
どこから落とすのがいいんだ？
- 10 : 2025/01/31(金) 14:04:06.14 ID:a/Xs1rGjH
-
一方、日本はダウンロードを禁止した
- 11 : 2025/01/31(金) 14:04:16.84 ID:QmmDRiUa0
-
父さんにつくわ
- 13 : 2025/01/31(金) 14:04:52.41 ID:N7fiL8xj0
-
いやあスピード感すごいねー
- 14 : 2025/01/31(金) 14:05:04.91 ID:445vkg190
-
アプリの出来はチャットGPTのが上やな
- 38 : 2025/01/31(金) 14:11:28.50 ID:43xNVss70
-
>>14
ではVRAM800GB用意してお楽しみください
- 15 : 2025/01/31(金) 14:05:11.58 ID:WpFuzvLP0
-
覇権確定やね
- 16 : 2025/01/31(金) 14:05:13.29 ID:+5bAwPaR0
-
今は馬鹿にされても、すぐに進化するんだろうな
- 17 : 2025/01/31(金) 14:05:21.07 ID:AIt1+Vcb0
-
1ビット動作のが出て来てからが本番
- 18 : 2025/01/31(金) 14:06:18.41 ID:yvjLc8xTH
-
14GBでも考えて発言してる
- 19 : 2025/01/31(金) 14:06:37.61 ID:ZSF/YNQw0
-
これぼくら貧乏人でもエ口画像生成出来るようになる？
- 20 : 2025/01/31(金) 14:06:50.25 ID:sBk49Kz70
-
土日挟めば暇人が触ってもっと進化してるだろう
- 21 : 2025/01/31(金) 14:07:10.92 ID:CS84SD440
-
まあ何兆円も半導体ないと性能引き出せないってのはどこかおかしいよな
- 32 : 2025/01/31(金) 14:09:36.10 ID:C5bbJQLK0
-
>>21
金のために技術進歩を目指すのかはたまた金度外視で技術進歩を目指すのかの違いはどでかいだろうな
- 23 : 2025/01/31(金) 14:07:52.73 ID:c72LjdZF0
-
市場の壊し屋が現れた
低スペックでもええやん
- 24 : 2025/01/31(金) 14:07:52.82 ID:6riwWh4uH
-
m4 mac一台で行けるのはでかい
これで君もクラウドサービサーだ！
- 25 : 2025/01/31(金) 14:08:01.38 ID:qqnYL9ux0
-
詐欺ビディアの欺瞞が暴かれてて草
- 26 : 2025/01/31(金) 14:08:28.78 ID:H0fK0wwQ0
-
未来のスーパーAI「どんな質問でもyesかnoでお答えします」
- 27 : 2025/01/31(金) 14:08:36.23 ID:QTkHC27S0
-
これ、そのうちポケベルで動作し始めるんじゃないか
- 28 : 2025/01/31(金) 14:08:37.86 ID:WhFYWyUo0
-
メモリ屋逝った
- 29 : 2025/01/31(金) 14:09:05.46 ID:m7CVN/op0
-
RTX4090がRADEONの7900XTXに負けるってマジ(笑)
- 30 : 2025/01/31(金) 14:09:24.25 ID:B4FjeLTl0
-
この基盤部分の進化っぷりが本当なら相当なブレークスルーだな
学習データで揉めてる場合かね
- 31 : 2025/01/31(金) 14:09:33.13 ID:KfOZMKJG0
-
vram12GBram32GBまでいける
頼むわ
- 33 : 2025/01/31(金) 14:10:02.71 ID:i+ByssT90
-
チャットGPTはエ口になるとすぐお答えできませんになるのやめて
- 34 : 2025/01/31(金) 14:10:30.05 ID:AIt1+Vcb0
-
人間脳が低消費電力だからAIなんて小さいパソコンで十分動く
- 35 : 2025/01/31(金) 14:10:40.28 ID:jFww4qOe0
-
これを規制するアメリカがただの馬鹿じゃん
- 36 : 2025/01/31(金) 14:10:42.77 ID:htYgb2ez0
-
オープンソースは進化が速い
- 37 : 2025/01/31(金) 14:11:26.64 ID:yvjLc8xTH
-
日本語エ口モデルを頼む
コメント