ONNX形式の言語モデルをブラウザで実行する
対応するONNX形式の言語モデルをブラウザ内で実行し、チャットに使えます。NaidanのTransformers.js管理画面でモデルファイルをダウンロードまたは取り込み、ブラウザの保存領域から読み込みます。この方式はHosted版の試験的な機能です。スタンドアロン版にも選択肢は表示されますが、モデル操作は無効です。
まず /#/settings/transformers-js を開き、Transformers.jsのモデル管理画面に進みます。
初回設定が表示されたら、右上の × で閉じます。リンク先のTransformers.jsタブが残るので、以下の手順を進めてください。
Hosted版でも、ブラウザがOPFSに対応していない場合やアクセスを許可しない場合は、モデル操作が無効になります。モデルの対応状況や速度は、モデル・ブラウザ・端末によって変わります。
1. Transformers.jsの管理画面を開く
Hosted版では新しいモデルを追加の操作が使えるか確認します。OPFSを利用できない場合は、理由を表示してモデル操作が無効になります。
2. モデルをダウンロードして読み込む
用意されたモデルパスから選ぶか、Hugging FaceのモデルIDを入力し、モデルをダウンロードを押します。ローカルのみ版ではHugging Faceから取得できません。代わりにモデルフォルダを選択から、別途入手したONNXモデルフォルダを取り込みます。ダウンロード可能な版では、Naidanが必要なファイルを明示的に取得・保存します。成功すると同じ操作の続きとして、別処理でローカルキャッシュから読み込みます。エンジン操作で準備完了を確認してください。図のモデル名は例で、使う環境に対応したものを選びます。
3. 取得済みモデルをあとから使う
ダウンロード済みモデルで、完了したモデルの読み込むを押すと、ローカルファイルを再び読み込みます。未完了のモデルには再開が表示され、明示的にダウンロードを続けてから読み込みます。ONNXモデルファイルを含むフォルダも取り込めます。完了モデルの読み込み中に必要なファイルが欠けていた場合、Hugging Faceへ問い合わせて自動修復することはありません。
4. チャットのデフォルトとして保存する
設定の接続へ戻り、API プロバイダーでTransformers.jsを選びます。デフォルトモデルから取得したモデルを選び、変更を保存を押します。管理画面の「準備完了」だけでは、保存済みの接続方式やモデルは変わりません。この方式にはエンドポイント URLの入力欄がありません。
読み込みに失敗した場合
管理画面で取得済みモデルの状態とエラーを確認してください。読み込むはローカルファイルを読み、必要なファイルが欠けていれば失敗します。未完了モデルの明示的な取得操作は再開です。OPFSの利用状況の表示から、モデル操作が無効な理由も確認できます。スタンドアロン版では、ローカルファイルでのWorkerとWebAssemblyの制約により、この方式を利用できません。