gpt-oss-20bをLM Studioで使ってみた

ついにOpenAIからオープンウェイトモデルgpt-ossがリリースされました。

前回のモデルは2019年のGPT-2だったので6年ぶりです。その頃はまだChatGPTの存在知らなかったけどw

スペック

モデルは2種類あります。ライセンスはApache2.0です。

gpt-oss-120b
・1170億パラメータ
・80GBのGPUで動作
・o4-miniと同等

gpt-oss-20b
・210億パラメータ
・16GBのGPUで動作
・o3-miniと同等

VRAM80GBもないので20b一択です。それでもローカルでo3-mini並のAIが動くとか凄いけどね。

設定

LM Studioにgpt-oss用のアップデートが来たので更新。そしてモデル一覧のトップにopenai/gpt-oss-20bがあったのでダウンロードしました。

しかし発表の数時間後には全て用意されてて凄いね。事前に準備してたんだろうけど。

このモデル限定で「Reasoning Effort」という項目が増えてます。これで推論レベルをLow, Medium, Highから選べます。

使用感

うちはRTX5070Tiですが、最初に1~2秒推論した後はささっと文字が流れてくるね。軽い。もちろん推論レベルや内容によっては20秒くらいかかることもあるけど。今見たら43.40 tok/secでした。

日本語で会話できてるけど、英語メインで学習してあるせいかちょっと表現力が弱い気がする。まあ日常会話には問題ないけど。

システムプロンプト無視しがち? 書き方によるのかな。

画像認識ができない。Gemma3は出来るのでてっきり出来るのかと思ってた。

2024年6月までのデータしかない。検索ができないので最新情報には疎いね。

NSFWが拒否される。まあこれは仕方ないかw

まとめ

今のところ好き勝手できるGemma3の方が良いかな。ただライセンス的にはgpt-ossの方が自由だね。

gpt-ossはコーディングに強そうなのでそのうち試してみよう。o3-mini並のエージェントとして動くのならかなり助かる。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


reCaptcha の認証期間が終了しました。ページを再読み込みしてください。