GGUFモデルをブラウザで実行する

ローカルLLMをGGUFで試したいときは、Naidanで対応するチャット用モデルをブラウザ内で実行できます。以下からモデルを選べます。別のGGUFを使うなら、設定で手元のファイルを取り込むか、Hugging Faceから取得してください。

モデルを選んでブラウザで試す

モデルを選ぶとチャットが開きます。まだ取得していない場合は、開いた画面でこのモデルで始めるを押してダウンロードし、準備ができたらメッセージを入力してください。ローカルのみ版では未取得モデルをHugging Faceから取得できません。別途入手したGGUFを取り込むか、必要なモデル配信元への通信を許可するHosted版で取得してください。

自分でモデルのリンクを作るには、アプリのURLのllama-cpp-browser-modelパラメーターに、hf.co/owner/repository:Q4_K_Mのようなhf.co形式のGGUFモデル指定を入れます。

llama.cpp browserはHosted版とスタンドアロン版の両方にあります。推論設定では、このブラウザと端末の対応状況を確認できます。実際に使えるモデルや速度は端末とモデルによって変わります。

1. ブラウザ内モデルの管理画面を開く

手元のGGUFを取り込むか、別のモデルを取得する場合は、/#/settings/llama-cpp-browser を開いてモデル管理画面へ進みます。

初回設定が表示されたら、右上の × で閉じます。リンク先のllama.cpp browserタブが残るので、以下の手順を進めてください。

上のリンクを開くとllama.cpp browserタブへ直接進みます。サイドバーの設定から開くこともできます。推論設定でブラウザの対応状況を確認してください。自動は使える実行環境から選びます。GGUFを取り込んでも、対応していない実行環境は使えません。

設定からllama.cpp browserを開き、実行環境の対応状況を確認します。

2. 手元のGGUFを取り込む

手元のモデルを使う場合は、GGUFモデルファイル欄でGGUFファイルを選択またはモデルフォルダを選択を押します。ファイルやフォルダをドロップすることもできます。取り込みが終わると取り込んだモデルに表示されます。Hugging Faceから取得する場合は、次の手順へ進んでください。

GGUFの取り込みが終わると、モデルが一覧に現れます。

3. またはHugging FaceからGGUFを取得する

ローカルのみ版では、前の手順で別途入手したGGUFを取り込みます。モデルファイルの取得先への通信を許可する版では、「owner/repository」形式でリポジトリを入力してモデルを確認を押します。Curated版の許可先はhuggingface.coと*.hf.coです。量子化形式と、必要ならモデルのバリエーションを確かめます。ダウンロード先でブラウザ内の保存領域（OPFS）、またはブラウザが対応する連携フォルダを選び、ダウンロードを押します。完了すると取り込んだモデルに表示されます。画像付きチャットには、モデルに対応する画像入力用の補助GGUF（mmproj）も必要です。

リポジトリ、モデルファイル、保存先を確認してから取得します。

4. 会話のデフォルトモデルを決める

取り込んだモデルの該当モデルでデフォルトに設定を押し、確認します。これにより、グローバルの接続方式がllama.cpp browserになり、モデルも保存されます。それらを継承する既存・新規の会話に適用されます。取り込みやダウンロードだけでは保存されず、チャットごとに別のモデルも選べます。

確認後、接続方式とデフォルトモデルが一緒に切り替わります。

デフォルトモデルを設定したら設定を閉じ、サイドバーの新しいチャットを選びます。メッセージを入力して送信します。

大きなGGUFも分割せずに使う

Naidanで使うために、大きなGGUFを分割し直す必要はありません。数十GB級の単一ファイルでも、手元のファイルをそのまま取り込むか、Hugging Faceリポジトリ内の単一GGUFを選んで取得できます。リポジトリからは指定した保存先へダウンロードした後、保存済みファイルを小分けに読み出します。

モデルを実行できない場合

まず推論設定を確認し、GGUFと、必要な場合はmmprojが使うモデルに対応しているか確かめてください。ダウンロード完了はファイルが用意できた状態であり、このブラウザで実行できる保証ではありません。スタンドアロン版にはWebGPUとJSPIを使うwasm32またはwasm64の実行環境が含まれますが、CPUやAsyncifyへの切り替えはありません。