Waka blog.

VSCodeでローカルLLMを使用したコーディング支援

GitHub CopilotやCursorに課金しなくても、ローカルでLLM動かしてVSCodeから呼べばタダでAIによるコーディング支援を得られるという話。

対象環境はmacOSです。

まずはローカルLLMを準備する。

一番手っ取り早くインストールできそうなollamaを使用する。

ollamaのサイトでDLしたollama.appを開く。インストールウィザードが始まるので Next をクリック

Install

表示されたコマンドをコピペしてターミナルで実行。llama3.1をインストールしてきて立ち上がる。

※LLMの言語モデルを落としてくるので、起動完了まで時間がかかる

以下のように立ち上がれば成功。あとでVSCodeから使用するために、このまま立ち上がった状態にしておく。

LLama3.1とはMeta社が開発したオープンソースの言語モデルで、ChatGPT超え(匹敵?)を謳っているらしい。

つぎに、VSCodeから使用するためにVSCode拡張のContinueを追加する。

サイドバーからContinueのアイコンをクリックし、 Select model -> Add Model でモデルを追加する。

選択肢が複数あるので、その中から Ollama を選択

下にスクロールするとmodelを選べるので、先ほどインストールした llama3.1 をクリック

.continue/config.json に設定が追加される。そのままだとmodel名が llama3.1-8b になってしまうので、 llama3.1 に書き換えておく

"models": [
    {
      "title": "Llama3.1-8b",
      "model": "llama3.1", // ←ココ
      "contextLength": 4096,
      "apiBase": "http://localhost:11434",
      "provider": "ollama"
    }
  ],

これでContinueのタブからローカルで起動しているllama3.1を使用できる。ファイルを指定してのチャットや、gitのdiffに対するレビューを行える等便利に使えるが。

自分はM1 MacBook Proのメモリ16GBで試したが、回答中はマシン負荷が高まり、回答結果が得られるまでそれなりに時間がかかるので多用はしないけど、コードレビューでちょいちょい使うかなという感触。

VSCode