OpenAIは、Apache 2.0ライセンスの下で利用可能な2つのオープンウェイト言語モデル「gpt-oss-120b」と「gpt-oss-20b」をリリースした。推論タスク、ツール使用、few-shotの関数呼び出し向けで、一般的なハードウェア上での展開を想定している。

  • gpt-oss-120b:
    • 117Bのパラメータを持つモデル。
    • 単一の80GB GPUで稼働し、コア推論ベンチマークでOpenAI o4-miniとほぼ同等の結果を達成。
  • gpt-oss-20b:
    • 21Bのパラメータを持つモデル。
    • 16GBのメモリを搭載したエッジデバイスで実行可能。
    • 一般的なベンチマークでOpenAI o3‑miniと同様の結果を達成。
  • 共通の特徴:
    • Responses APIと互換性があり、指示追従、Web検索、Pythonコード実行などのツール使用ができる。
    • 思考の連鎖(CoT)を出し、Structured Outputをサポートする。
    • 安全性トレーニングと評価を経ており、フロンティアモデルと同等の安全基準を目標としている。

両モデルは、mixture-of-experts(MoE)を活用したTransformerアーキテクチャを採用している。推論とメモリ効率向上のため、グループ化されたマルチクエリアテンションを使用し、最大128kのコンテキスト長をネイティブにサポートする。トークナイザーには、o200k_harmonyが使用され、こちらもオープンソース化された。

#参考文献