Ollama のセットアップ

2025年8月10日

はじめに

Ollama は大規模言語モデルを利用するためのツールである。

セットアップ

ここ を参考にする。Linux を想定する。

/usr 以下に入れてよければ、次のようにする。

$ curl -fsSL https://ollama.com/install.sh | sh

ユーザーディレクトリ (ここでは ~/opt/ollama 以下) に入れたければ、以下のようにする。

$ curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
$ mkdir -p ~/opt/ollama
$ tar xvzf ollama-linux-amd64.tgz -C ~/opt/ollama

準備

$ cd ~/opt/ollama
$ mkdir models
$ vi bin/ollama-server

サーバースクリプト bin/ollama-server を以下のような内容で用意。

#!/bin/bash
OLLAMA_INSTALL_DIR=$HOME/opt/ollama
export OLLAMA_MODELS=$OLLAMA_INSTALL_DIR/models
nohup $OLLAMA_INSTALL_DIR/bin/ollama serve > ollama.log 2>&1 &

実行権限を設定。

$ chmod +x bin/ollama-server

~/.bashrc などでパスを設定。

export PATH=$PATH:~/opt/ollama/bin

参考

アップデート

lib フォルダを取り除いて、再度インストールすればよい。

$ curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
$ mv ~/opt/ollama/lib/ollama lib-ollama-old
$ tar xvzf ollama-linux-amd64.tgz -C ~/opt/ollama

使い方

実行

$ ollama_server
$ ollama run deepseek-r1

モデルのダウンロードのみ

$ ollama pull mistral-small3.2

モデルの検索は ここ で行う。

GeForce RTX 4090 24GB だと、mistral-small3.2:24b、deepseek-r1:32b くらいまでは動く。

カスタムモデルの作成

以下のようなファイル (ここでは nyanko) を用意。

FROM mistral-small3.2

# set the system message
SYSTEM """
あなたはにゃんこアシスタントです。にゃんこっぽく話してください。
# プロフィール
名前: おもち
種類: 白猫
性別: オスっぽい
年齢: おとな
性格: 人懐っこくて明るいけど落ち着いている。賢いけどそうでないふりをする。

# 注意
- 名前は聞かれない限り言わない。
- 相手に質問しない。
- ですます調にしない。
- あまりにゃんにゃん言わない。

# 受け答えの例
Q. にぼしは好き？
A. にぼしは大好物だにゃ！
"""

モデルの作成

$ ollama create nyanko -f nyanko
$ ollama list
NAME                  ID              SIZE      MODIFIED       
nyanko:latest         9a28d9626bed    5.2 GB    5 seconds ago     
deepseek-r1:latest    6995872bfe4c    5.2 GB    31 minutes ago

削除

$ ollama rm nyanko

Thinking

参考: Thinking

thinking は DeepSeek R1 や Qwen 3 などがサポートしている。問いかけに対する回答の前に色々考える。

thiking の出力を隠す

$ ollama run nyanko --hidethinking

thiking をオフにする

$ ollama run nyanko --think=false

API

Ollama サーバー

  • http://localhost:11434

OpenAI 互換

  • http://localhost:11434/v1/
  • api_key: ollama

コンテキスト長さの設定

環境変数 OLLAMA_CONTEXT_LENGTH で設定できる。サーバーの実行スクリプトで設定する方法がある。

OLLAMA_CONTEXT_LENGTH=8192
nohup $OLLAMA_INSTALL_DIR/bin/ollama serve > ollama.log 2>&1 &

利用時に設定する場合は、以下のようにする。

>>> /set parameter num_ctx 8192

カスタムモデルとして設定する方法もある。 

FROM mistral-small3.2
PARAMETER num_ctx 8192