はじめに
Strata を使ってみる。
環境
- Ubuntu 22.04 LTS
- Intel Core i9-14900K、メモリ 32GB
- NVIDIA GeForce RTX 4090 (24GB)
セットアップ
ターミナル版を使う。
$ curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh | sh
実行
$ strata launch
セットアップが始まる。[Set up from the beginning] を選択。
- モデルを選択。環境に合わせておすすめを提示してくれる。今回はQwen3.8-Flash-Next IQ3_XXS(Download 76GB、Needs 44GB)を選択。
- 保存場所を聞かれるので設定。
- コンテキスト長を聞かれる。おすすめが示される。今回は128k。
- モデルは画像を読むか?と聞かれる。いらないならNoで。
- 同時にどのくらいのリクエストがあるか聞かれる。1人で使うなら1でよいのでは。今回は1で。
- 環境に合わせてチューニングするか聞かれる。チューニングすると時間がかかるらしい。とりあえずはスキップで。
- 細かい設定ができるらしい。とりあえず
nで次に進む。
- 誰が使えるのかと聞かれるので、このマシンのみ(http://127.0.0.1:8080)に設定。
- 設定の確認。問題なければ[Save as a preset and launch]。
モデルをダウンロードするか聞かれるので、ダウンロード。待つ。
モニターっぽい画面が出てきたらOK。
テスト
$ curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.8-flash-next-iq3_xxs",
"messages": [{"role": "user", "content": "短く自己紹介してください"}],
"stream": false
}'
bを押すとブラウザで画面が出る。
qでメニューが出て、“Stop…”で停止できる。再度起動するときはstrata launchを実行して、プリセットを選択すればよい。設定もいじれる。
ポート番号を変えたい場合は、URLを設定するところ、pを押せば変えられる。
アップデートはstrata updateで可能。
Piでの利用
Pi Coding Agentで利用する場合は、次のように設定する。
~/.pi/agent/models.json
{
"providers": {
"strata": {
"baseUrl": "http://localhost:1234/v1",
"api": "openai-completions",
"apiKey": "strata",
"models": [
{
"id": "qwen3.8-flash-next-iq3_xxs",
"name": "Qwen3.8 Flash Next IQ3_XXS",
"thinkingLevelMap": {
"minimal": null,
"low": "low",
"medium": null,
"high": null,
"xhigh": null
}
}
]
}
}
}
|