ローカルLLM（SGLangまたはvLLM）の使用

:::warning ローカルLLMを使用する場合、OpenHandsの機能が制限される可能性があります。最適な体験を得るためには、GPUを使用してローカルモデルを提供することを強く推奨します。 :::

ニュース

2025/03/31: SWE-Bench Verifiedで37.1%を達成するオープンモデルOpenHands LM v0.1 32Bをリリースしました（ブログ、モデル）。

Huggingfaceからモデルをダウンロード

例えば、OpenHands LM 32B v0.1をダウンロードするには：

huggingface-cli download all-hands/openhands-lm-32b-v0.1 --local-dir all-hands/openhands-lm-32b-v0.1

モデル提供フレームワークでOpenAI互換エンドポイントを作成

SGLangでの提供

公式ドキュメントに従ってSGLangをインストールします。
OpenHands LM 32B用の起動コマンド例（少なくとも2つのGPUが必要）：

SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python3 -m sglang.launch_server \
    --model all-hands/openhands-lm-32b-v0.1 \
    --served-model-name openhands-lm-32b-v0.1 \
    --port 8000 \
    --tp 2 --dp 1 \
    --host 0.0.0.0 \
    --api-key mykey --context-length 131072

vLLMでの提供

公式ドキュメントに従ってvLLMをインストールします。
OpenHands LM 32B用の起動コマンド例（少なくとも2つのGPUが必要）：

vllm serve all-hands/openhands-lm-32b-v0.1 \
    --host 0.0.0.0 --port 8000 \
    --api-key mykey \
    --tensor-parallel-size 2 \
    --served-model-name openhands-lm-32b-v0.1
    --enable-prefix-caching

OpenHandsの実行と設定

OpenHandsの実行

Dockerを使用

公式のdocker実行コマンドを使用してOpenHandsを実行します。

開発モードを使用

Development.mdの指示に従ってOpenHandsをビルドします。 make setup-configを実行してconfig.tomlが存在することを確認します。これにより設定ファイルが作成されます。config.tomlに以下を入力します：

[core]
workspace_base="/path/to/your/workspace"

[llm]
model="openhands-lm-32b-v0.1"
ollama_base_url="http://localhost:8000"

make runを使用してOpenHandsを起動します。

OpenHandsの設定

OpenHandsが実行されたら、設定を通じてOpenHands UIで以下を設定する必要があります：

Advancedオプションを有効にします。
以下を設定します：

Custom Modelをopenai/<served-model-name>（例：openai/openhands-lm-32b-v0.1）に設定
Base URLをhttp://host.docker.internal:8000に設定
API keyをモデル提供時に設定したのと同じ文字列（例：mykey）に設定

3.2 KiB Raw Blame History Unescape Escape