AIを使ってしたい100のこと

生成AIの可能性と、それを使って自分自身を表現する楽しさを伝えることを目指しています。

ローカルAI「Command R+」の導入とそのコスト

質問する 生成AI

Command R+のシステム要件を確認しているところ

はじめに

まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 という記事を読んで、自分のPCでもローカルAI「Command R+」を動作させられないか、興味を持ちました。以下では、その導入方法と必要なハードウェアについて調査した結果をまとめています。

Command R+のシステム要件

プロンプト

PCローカル環境に、Command R+を導入する方法を知りたいです。まず、私のPCでCommand R+が動作する性能があるかどうか、確認する方法を教えてください。

回答

Command R+を動作させるためには、以下のシステム要件が必要です³⁴：

  • GPUメモリ：64GB以上
  • システムの空きメモリ：64GB以上
  • ディスクの空き容量：約64GB（モデルファイルのサイズによる）

これらの要件を満たしているかどうかを確認するには、以下の手順を実行します：

  1. GPUメモリ：NVIDIAの場合、nvidia-smiコマンドを使用してGPUのメモリを確認できます。
  2. システムの空きメモリ：free -hコマンドを使用してシステムの空きメモリを確認できます。
  3. ディスクの空き容量：df -hコマンドを使用してディスクの空き容量を確認できます。

これらの要件を満たしている場合、Command R+をインストールすることができます。インストール方法は以下の通りです¹：

# transformersをインストール
pip install 'git+https://github.com/huggingface/transformers.git'

# Command R+をダウンロード
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/c4ai-command-r-plus"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

これで、Command R+がローカル環境で使用できるようになります。ただし、このモデルは非常に大きいため、上記のシステム要件を満たしていることを確認してください。また、このモデルは非常に高度な機能を持っており、多くのリソースを消費しますので、適切なハードウェアと十分な冷却設備を持つことを確認してください。¹。

ソース: Bing との会話 2024/5/14 (1) Cohere For AI Command R+について #LLM - Qiita. https://qiita.com/tadokuno/items/2acc355a26007bc41042. (2) Cohere Command R+ 4bit modelをローカル環境で動作させてみた. https://qiita.com/hisashi-ito/items/9a056674dea42a19b0d2. (3) CohereForAI/c4ai-command-r-plus · Hugging Face. https://huggingface.co/CohereForAI/c4ai-command-r-plus. (4) Command R+. https://docs.cohere.com/docs/command-r-plus. (5) RとRcmder（R コマンダー）の導入方法（Windows版 .... https://yoshihiko-nakata.com/r/2022/10/21/1313. (6) MLX で Command R+ を試す｜npaka - note（ノート）. https://note.com/npaka/n/n9635d55773ef. (7) undefined. https://github.com/huggingface/transformers.git.

Command R+の導入に必要な費用

プロンプト

私のPCのメモリサイズは、16GBでした。GPUメモリは8GBでした。Command R+を動作させるために、追加で必要となるハードウェアの総額を概算してください。

回答

Command R+を動作させるためには、64GBのシステムメモリと64GBのGPUメモリが必要です。現在のシステムメモリが16GB、GPUメモリが8GBであるため、それぞれ48GBと56GBの追加メモリが必要となります。

以下は、それぞれのメモリの概算価格です：

  • システムメモリ：64GBのDDR4メモリの価格は約¥25,959⁴です。しかし、既存の16GBを使用できる場合、追加で必要な48GBのメモリは、3つの16GBメモリモジュールで構成できます。その場合、概算価格は3 * ¥25,959 = ¥77,877となります。
  • GPUメモリ：64GBのGPUメモリを持つグラフィックカードの価格は約¥566,800¹です。しかし、既存の8GBを使用できる場合、追加で必要な56GBのGPUメモリを持つグラフィックカードは、市場にはほとんど存在しないため、新たに64GBのGPUメモリを持つグラフィックカードを購入する必要があります。

したがって、Command R+を動作させるためには、追加で約¥644,677（¥77,877 + ¥566,800）のハードウェアが必要となります。ただし、これらの価格は参考のためであり、実際の価格は販売店や地域により異なる可能性があります。また、PCのマザーボードが追加のメモリとグラフィックカードをサポートしているかどうかも確認する必要があります。¹⁴。

ソース: Bing との会話 2024/5/14 (1) 価格.com - メモリー 比較 2024年人気売れ筋ランキング. https://kakaku.com/pc/pc-memory/itemlist.aspx?pdf_Spec301=64-. (2) 価格.com - メモリ容量:64GB～のゲーミングPC 比較 2024年 .... https://kakaku.com/pc/gaming-pc/itemlist.aspx?pdf_Spec315=64-. (3) 価格.com - メモリ容量(1枚あたり):64GBのメモリー 比較 2024年 .... https://kakaku.com/pc/pc-memory/itemlist.aspx?pdf_Spec301=64. (4) 価格.com - メモリ容量:64GB～のデスクトップパソコン 比較 2024 .... https://kakaku.com/pc/desktop-pc/itemlist.aspx?pdf_Spec315=64-. (5) Amazon.co.jp: 64GB - PC用メモリ / PCパーツ: パソコン・周辺機器. https://www.amazon.co.jp/PC%E7%94%A8%E3%83%A1%E3%83%A2%E3%83%AA-64GB-PC%E3%83%91%E3%83%BC%E3%83%84/s?rh=n%3A2151941051%2Cp_n_feature_four_browse-bin%3A2225480051. (6) 64gb - USBメモリーの通販・価格比較 - 価格.com. https://kakaku.com/search_results/64gb/?category=0001_0048.

回答内容の精査

Copilotの回答には怪しい部分があるようです。確認してみます。

システムメモリ

64GBのDDR4メモリの価格は約¥25,959です。

この情報は正しいようです。価格.comで、64GBのDDR4メモリの最安値が約¥25,959とのことです。

しかし、既存の16GBを使用できる場合、追加で必要な48GBのメモリは、3つの16GBメモリモジュールで構成できます。その場合、概算価格は3 * ¥25,959 = ¥77,877となります。

この部分は、完全に間違っています。この価格だと、64GB * 3 = 192GBということになってしまいます。

64GBのシステムメモリは、「買えば何とかなる」ということが分かりました。

GPUメモリ

64GBのGPUメモリを持つグラフィックカードの価格は約¥566,800です。

リンク先を見ると、「メモリ64GBのゲーミングPC」とあります。この情報も間違っている可能性が高いです。

詳しく見てみると、最も高い「メモリ64GBのゲーミングPC」でも、搭載されているGPUメモリは24GBでした。 この情報は参考になりませんね。

3枚のグラフィックカードで代替できないか？

プロンプト

64GBのGPUメモリを持つグラフィックカードが販売されていないようなのですが、24GBのGPUメモリを持つグラフィックカードを3枚購入すれば、Command R+を動作させることができますか？

回答

一般的に、複数のグラフィックカードのメモリを合計して使用することはできません。各グラフィックカードは独立して動作し、それぞれのメモリは個別に管理されます。したがって、24GBのGPUメモリを持つグラフィックカードを3枚使用しても、それぞれのカードは24GBのメモリしか利用できません。

Command R+のような大規模なAIモデルは、一つのモデルが一つのGPUで動作するように設計されています。そのため、64GBのGPUメモリを必要とする場合、その全てが一つのGPUに存在する必要があります。

したがって、残念ながら24GBのGPUメモリを持つグラフィックカードを3枚使用してCommand R+を動作させることはできません。64GBのGPUメモリを持つグラフィックカードが必要となります。。

自力で64GBのGPUメモリを持つグラフィックカードを調べる

価格.comで絞込検索をかけたところ、24GB以上のグラフィックカードが販売されていることが分かりました。

kakaku.com

大体の価格が判明しました。以下の通りです。

製品名 NVIDIA H100 NVL 94GB [PCIExp 94GB] NVIDIA H100 PCIE w/NVIDIA AI Enterprise 900-21010-0000-000 [PCIExp 80GB] NVIDIA H100 NVH100-80G [PCIExp 80GB] NVIDIA A40 NVA40-48G [PCIExp 48GB]
最安価格 ¥5,700,000 ¥5,687,500 ¥5,550,000 ¥3,225,000

この表は、価格.comで製品比較の表を出し、Excelに貼り付けたうえで不要な箇所を削除し、それをメモ帳にコピーし、最後にCopilotで「以下のタブ区切りの文章を、markdownの表形式に変換してください。」として、作成したものです。

なんと、300万～500万円以上かかることが分かりました！無理だ！

まとめ

関連する記事

muriwashinai.hatenablog.com