小飼弾の論弾 #272 「AIの計算コストを激減させる1ビットLLM、ホワイトカラーから「非」ホワイトカラーへの転職を政府が支援、ヤクザが核物質密売」
「小飼弾の論弾」で進行を務める、編集者の山路達也です。
無料公開部分の生配信およびアーカイブ公開はニコ生・ニコ動のほか、YouTube Liveでも行っておりますので、よろしければこちらもぜひチャンネル登録をお願いいたします！
今回は、2024年3月5日（火）配信のテキストをお届けします。
次回は、2024年3月19日（火）20:00の配信です。
お楽しみに！
2024/03/05配信のハイライト
- 閏年トラブルと「NVIDIAの牙城は崩れる？」
- 1.58ビットLLMでなにが変わる？
- 「ヤクザが核兵器」と「ロックビット対策に日本警察」
- 視聴者質問「弾さんにしかできないこと」と「株の高値とリストラ」
- 「ホワイトカラーとAI」と「日米就職事情」
- 「水素資源ラッシュでなにが変わる？」と「新属発見」「重力測定」
閏年トラブルと「NVIDIAの牙城は崩れる？」
山路：最初、軽い話題から行こうと思ってるんですけど、弾さん、『MFゴースト』ってアニメ見たことあります？
小飼：アニメというのか、いちおう原作は知ってはいる、知ってはいるレベルだよな、
山路：『頭文字D』の続編で。そのアニメで感心した設定が、レーシングマシーンをドローンで追っかけて、リアルタイムで中継するってやつなんですよね。それがけっこう現実化してきたなと。
小飼：なんかあれだね、Red Bullが時速350キロでチェイスできるドローンを開発したという、
山路：YouTubeで、今リンク出したYouTubeで開発している工程とかをやってるんですけど、マジでF1のやつをちゃんと、ドライバーの腕もすごいんですけど、パイロットの腕も、これが出てきたらモータースポーツの中継って完全に変わりそう、
小飼：それこそオートパイロットできるでしょう、
山路：でしょうね、将来的に。東京でやる「フォーミュラ E」とかでもぜひやってほしいと思うんですけどね。
小飼：でもあれだよね、一番喜びそうなのはお巡りさんだよね（笑）。
山路：あー（笑）、
小飼：空飛ぶオービス、
山路：（笑）なるほどね。日本もそこのところでドローン解禁になっていくと面白いですけどね。これとVision Proみたいなヘッドセットを組み合わせたら、めちゃめちゃすごくないですか？
小飼：けっこうあれは面白いことになるよね。
「ドローンはどれくらいまで速く飛ぶ？」（コメント）
山路：なんか300キロくらいは出てましたね、YouTubeの動画では。
小飼：大きいやつ、グローバルホークとか737くらい大きなやつですけれども、あれは本当に旅客機と似たような速度で飛べたはずですよ。少し遅いかな、翼に後退角があんまついてないから、それよりは遅いけれども。それでもまぁ時速700キロくらいは出るんじゃないか。ただあくまでもそれは超高空をずっと飛んでるタイプの、
山路：地表近くをキューンて飛ぶわけじゃないですからね。Red Bullは面白いところに投資してるなと思って。そういうちょっと小ネタだったんですけれども。今日3月の頭ということで、閏年が、
小飼：2月29日が、
山路：過ぎたところなんですけれども（笑）、
小飼：4年に一遍の、
山路：閏年のせいでいろいろシステム障害が起こってるという（笑）、
小飼：いまだにね。
山路：なんなんですか、これって。そんなに閏年の処理って難しいんでしょうか？
小飼：今、普通のパソコンに入ってるOS、macOSにしてもWindowsにしてもLinuxにしても、に標準で入っている日付処理関数っていうのは当然、閏年も処理できるようになってます。が、メインフレームとかで使ってるやつっていうのは、それよりも古いし、そもそもOSレベルではなくて、アプリケーションレベルで作られていることが多いので。日付処理が標準装備されている環境ですら、自作しちゃいがちなんですよね。
山路：ほー、閏年の処理は。今コメントであったんですけど、「2000年問題の頃に改修終わってると思ってた」って、2000年問題ついでにやんないもんなんですか。
小飼：ねえ、
山路：これ、4つの県警で運転免許証を発行できずってあるんですけど、これバラバラにやっとるんですか？
小飼：たぶん免許証に関しては責任者、公安委員会なので。公安委員会というのは確か、都道府県単位でしょ。
山路：今の時代になんというのか、都道府県単位でそんなシステムをいちいちポコポコ立ち上げて管理してるっていうのが、
小飼：いや、それを言ったら戸籍とか市区町村単位よ。国保とかもそうですし、
山路：ガバメントクラウド的に集約していかなきゃまずいんじゃないのっていう、
小飼：いや、でも紙でやってた頃はそれは理にかなってたんですよね。膨大なペーパーワークが発生するじゃないですか。だから、そのペーパーを国がいちいち窓口作ってたら間に合わないですよね。ということで、市町村にやってもらってるわけですけれども。今や、マスターデータはコンピューターの上にあって、紙は単なるディスプレイなわけですから。電算化の時に引き取るべきだったんですよね。実際にレプリカは国が持ってるんですよ。だからそっちをマスターにしちゃえば良いというのか、そうするべきだったのに。というのはある。
山路：どっちかというと、政治的判断の遅れみたいな感じなんですかね。
小飼：なんでなんだろうね。いや、でも、本来国でやるものを地方自治体にアウトソースしてるものっていうのはあるんだけども、あんまり国のほうで引き取ってないっていうのも可哀想なところですね。そのくせ、ふるさと納税なんかやってるから、ふざけんなと（笑）。
山路：なんかこう、本当に無駄な仕事を作る達人（笑）、
小飼：国単位では「税金は財源でない」っていう言葉があるじゃないですか、要は国家というのは、
山路：国債を発行して、
小飼：要するに貨幣を自由に作れるじゃないですか。なんですけど、地方自治体は同じことできないんですよね。だから、その意味では普通の組織と変わらないわけですよね。
山路：だったらなおさら、本当にその辺の何をどうするかっていう配分、どっちが何の仕事をするかということをちゃんと切り分け直さなきゃいけなかった、
小飼：日本は意外と、その意味では中央集権的ではない。
山路：いやー、いろいろ、よくマイナンバーカードでデジタル化の遅れみたいなことが言ってるけど、それどころじゃないっていう、
小飼：じつは国は日本国民個々人の生老病死は知らないんです。それを知ってるのはじつは市区町村なんですよね。
山路：なるほどね。
小飼：生誕届けも死亡届けも、出すのは市区町村でしょ。
山路：いろいろ日本って統計データが出てくるのがすごい遅いとか、いろんなことで言われたりするけど、それもやっぱり、
小飼：国単位でできないかって言ったら、それはできるわけです、税務署はそうしてるじゃんか（笑）。だからちゃんと地方税の事務所と国税の事務所っていうのは、違うじゃないですか。もちろん連携はされてますよ。確定申告は国に出しますけど、その結果が地方自治体に送られて、地方税を払うわけです。
「人口調査すらままならない」（コメント）
山路：って、スピードが遅いってことですよね。ちゃんとやってるにしても。
小飼：タイムラグが出る。実際に届けがない場合というのは黒市民ができてしまう。
山路：黒市民、戸籍のない、
小飼：戸籍のない。
山路：根本的なところでいろいろ遅れてる感がすごいですね。じゃあ、ちょっとITの話にいきましょうか。時価総額、もう2兆ドルを超えたNVIDIAなんですけど。NVIDIAの強い力の一つとして、CUDAってあるじゃないですか、開発環境。例えばAMDなんかっていうのはCUDA用に書かれたソフトウェアをAMDのGPUで動かせるような、こういう仕組みとかをオープンソフトで作ってたり、
小飼：当然な考えですよね。
山路：これに対して、今度NVIDIAが打ち出した方策っていうのは、そういうCUDA用のソフト、他のとこで勝手に動かすみたいなやつはダメよんっていう、
小飼：でも、「ダメ」できるのかな。そういうのはダメではありませんっていうのが、どっちかっていうと判決として多いのね。そもそもAMDというのは、x86の互換チップを主力製品としている会社ですよね。でx86の64bit版はAMDのほうが開発して、逆にIntelのほうがライセンスしているという倒錯した状況があるんですけど。その時に出た判決っていうのは、少なくともインストラクションセットというのはそれ自体は特許にはなり得ない。
山路：じゃあけっこうCUDAに関してNVIDIAが言うだけ言っても本気で争う企業が出てきたら、けっこうNVIDIAは負けちゃう可能性がある。
小飼：その通りです。
山路：ちなみにここのとこ、コメントで、
「NVIDIAの株価はもっと上がるの？」（コメント）
山路：ってあるけど、NVIDIAの市場を狙っていろんなところが参入しようとしてきているわけではありますよね。例えばジム・ケラーさん、
小飼：日本に工場をおっ建てるよとか言ってるみたいだけど。
山路：彼は「CUDAは沼だ」とか言って、もっとAIならAIに適したようなものがあるだろうと。
小飼：もちろんその通り。もともとグラフィックプロセッシングユニットだったわけですからね。もともとGPUの時代っていうのは、もっと大きな精度の計算をしたかったことが多いんですよ。doubleとかfloatとか。これがAIになった時に、AIをアプリケーションにした時にそんな精度いらなくねっていうので、かつてはなかった16ビット浮動小数点とかFP16とかっていう浮動小数点型が開発されたり、いや、それでも多いっていうので8ビットでいいだろうっていうのが出てて、ついに2ビットまで下がったと。2ビットです、1ビットではないです、ここ注意してください。いちおう1ビットでやってみようっていうのを試したみたいなんですけど、それはうまくいかなくて。±1と0の3値にしたところうまくいったと。それで確かに±1と0であれば、かけ算いらないんですよね、1かける1なので。
山路：行列計算がってことですね。
小飼：符号が同じだったらプラスで、符号が違ってたらマイナスっていう非常に簡単な演算になるわけですよね。
山路：これ、ちょっと1ビットLLMの話に関しては後で、この次に話していただこうと思うんですけど。こういうふうな新しい2ビットなりとか、あるいはそういう今までの浮動小数点を使わないAIに特化したようなチップとかが出てきたら、NVIDIAの牙城というのは完全に崩されることもあり得るんですか？
小飼：それを言ったらGoogleもTPUというのを開発したじゃないですか。たぶんその延長で、AI用の、LLM用のチップも開発されるんでしょうけども。同じようなことというのはNVIDIAもやるでしょうね。今のところ、TPUっていうのはGoogleのクラウドを通じてしか間接的にしか使えないんですよね、我々は。
山路：結局TSMCの一番最先端半導体のプロセスを抑えているのがAppleとNVIDIAだったりするから、NVIDIAがAI半導体開発したら、真っ先に市場に送り出せるのもNVIDIAということですか。
小飼：ただNVIDIAでなくてもいいんじゃね？ っていうのは出るかもしれない。こっそりマイクロソフトがそれ用のチップを開発して作らせてて、いつの間にかAzureにはNVIDIAでないAIエンジンがいっぱい積まれてるっていう可能性だって、無きにしもあらず。やっぱり最先端のfabというのは誰が抑えているのかというのは、公然の秘密なので。
山路：じゃあけっこうAI半導体ですごい性能が仮にできたとしても、それで簡単にゲームがひっくり返されるかというと、そういうわけでもない、
小飼：そういうわけでもない。だから、x86の時に似たヘゲモニーが続くかもしれない。ジム・ケラー先生の言う沼というやつですね。でも、ジム・ケラー自体がさ、x86沼をより深くした超本人なわけじゃん、
山路：再生産したわけ（笑）、
小飼：しかも実はIntelも（その沼を）埋めたかったんだよね、64bitにする時に。Itaniumっていうのを出してたわけじゃないですか。
山路：性能出なかったんですよね、
小飼：だからみんな沼から出たくなかったんですよ。
山路：ジム・ケラーさんも、沼とか言ってCUDAとか批判してるけど、絶対自分が開発したAI半導体も沼を作っていくことになるんですよ。
小飼：しれっという。最も深い沼を掘った人でしょうね、ジム・ケラー先生は。
山路：（笑）なかなか業が深い人ではありますね。でも、ジム・ケラーさんのAI半導体には期待しますけど。
小飼：しかもまだ終わってないんですよね。
「NVIDIAは空売りしたくなる」（コメント）
山路：ってあるけど、さあどっちに出るのか。
小飼：あー、でも、すごいよね。この株価でもPER71倍っていうのはすごいよね。
山路：これって結局、仮に例えば来期とかで利益が2倍になったりしたらPER半分に下がるわけですよね。
小飼：もちろん。これの半分って言ったら、AppとかGoogleとかそういうレベルよ。
山路：じゃあもう、（NVIDIAの株価は）実需を反映しているという。いつも対抗馬が出てきてひっくり返すことはいくらでも起こるから、もう万全とか言う気には全くなりませんけれど。
「空売りしたら死ぬぞ」（コメント）
山路：っていう（笑）、どっちに出るんでしょうね。まぁ信用取引は私は怖くてようせんですけど。
1.58ビットLLMでなにが変わる？
山路：じゃあちょっと1ビット、1.58ビットLLMの話いっときましょうか。マイクロソフトの中国チームでしたか、が発表した正式名称なんて言えばいいんだ？ Bit.net、1BitLLMというふうには通称で言われてるんですけれども。これって何がどう1ビットなのかというところ。
小飼：まぁ±1と0だけなので、実はBit.netというのはバズワードで、最初本当に1ビットで試してたらしいんですよね。
山路：ここで1ビットで表してるっていうのはディープラーニングの基本的なところで使われるニューロン同士が発火するときの値の扱いってことですよね。
小飼：具体的には行列の各要素。行列の各要素が0、1だったら、かけ算っていうのが事実上不要なわけですよね。0、1だったら、本当に両方とも1の場合のみ1でっていう。
山路：それに比べてこれが浮動小数点とかだったら、すげえ桁のかけ算とかをいくつもいくつもせんといかんっていう、
小飼：そういうことです。それによる計算量の減少よりも、今のディープラーニングって一番精度が悪いやつでも、行列の1要素というのは8ビットなんですよね。それが2ビットまで下がるっていうことは必要なメモリっていうのは1/4で済むわけじゃないですか。あるいは同じ演算をするのであれば、4倍メモリに詰め込めるんですよね。今一番重いタスクっていうのは、メモリから別のメモリにデータを移動することなんですよ。これが劇的に減るっていうのは、やっぱすごい大きいです。今のGPUを使っても、もちろんベネフィットがある。このメモリがガクンと減るので。
山路：ハードウェアとかが特になくても、恩恵がすごいあるわけだ。
小飼：なんだけども、さっきも言ったように、今のGPUだと余計な演算をしてしまう。浮動小数点同士の掛け算というのは不要だよね、この場合。プラスマイナス1であれば。
山路：余計なその分、回路を積んでおかないといけないし。
小飼：符号が同じであれば+1だし、符号がそれぞれ違うのであれば-1だし、0なら0だしっていう。
山路：これってLLM、大規模言語モデルを学習するときからも、それが使える？
小飼：そう。学習させてから後でメモリを圧縮するのではなくて、演算中にもうそれをやってしまう。
山路：これって同じような仕組みで作られたLLMでも、この1ビット、1.58ビットのやり方でやるとぐっと小さくなってという。
小飼：ということです、計算も楽になるし。
山路：精度は落ちないんですか？
小飼：そこなんだよね、面白かったのは。落ちないんだそうです。要は、例えば8ビットでやってきたところを2ビットでやるっていうことは1/4になるわけですよね、メモリが。その代わりに4倍データを処理しちゃえば、精度はほぼ変わらずか、少し上がりさえするという。
山路：これ、2020年にスケーリング則って発見されて、とりあえず計算資源とデータぶっ込んだらどんどんAI賢くなるぞみたいな乱暴な経験則が見つかったじゃないですか。それが加速するって感じなんですか？
小飼：そうですね。
山路：あと思ったのが、これってNVIDIAみたいなデータセンターとかで使われる、学習とかをする際のAIモデルを作るときにも効果あるんでしょうけど、推論のときにもやっぱりその恩恵ってでかいわけですよね？ ってなると本当にスマホとかにGPT4クラスのLLMがひょいと乗ると、
小飼：そうそうそう。AppleのSoCの売りというのは、Unified Memoryというやつですよね。普通のGPUというのは、CPUとは別のメモリ空間に別の物理メモリを乗っけてるので、引っ張ってこなきゃいけないんですよね。だから、ひと手間かかるんですよね。
山路：それにしてもこのエッジ系というかQualcommとかAppleとか、そういう小さいもので、
小飼：一家に一台AIというのであれば、すでに来てますよ。すでにAIがバンバン乗ってて、乗ってるおかげで例えば写真撮って、その中で文字認識するとかっていうのができてるわけだけど。要はLLMが乗るかどうかってことですよね。
山路：しかも、たんなるLLMではなく、賢いLLMがってことですよね。そういう意味でいうと、QualcommとかAppleってめちゃめちゃ有利になる、
小飼：そうですね、LLM積み込むのは大変かもしれないけれども、そうでないAIもいっぱいあるわけで。今はLLMがダントツで一番注目を集めてはいますけれども、地味に他のAIも使われてるわけですからね。
山路：そうかそうか、べつにLLMに限らず、この1ビットLLMの技術みたいなものを応用すれば、同じように全部。
小飼：それでだから精度足りるというふうになれば、ありとあらゆるところで使えるわけですよね。
「前回の生放送で言ってた計算コスト下げる方法ということ」（コメント）
山路：まさにそうですよね。ただ、前回言ったのは仮に計算コストが10分の1に下げられても、需要が20倍になったらエネルギー消費が増えるやろってことを言ってて（笑）。それが2週間でもうあっという間に現実化するような技術が出てきたっていうのがこのAI分野すごいところですけどね。
小飼：メモリが4分の1になるっていうだけでも、すごい恩恵がある。あと、ここまでシンプルだと、メモリそのものにこういう演算ができる能力を組み込んでしまう。
山路：ロジックとメモリが一体化されてるってこと？
この記事は過去記事の為、今入会しても読めません。ニコニコポイントでご購入下さい。