韓国語に対応するオープンモデルとトークナイザのコスト

• 韓国語対応という言葉は2つを意味します
• 韓国語を狙って作られたモデル
• 多言語モデルの韓国語表記を確認する方法
• トークナイザが韓国語を分割する方法がそのままコストです
• トークン数を自分で測る方法
• コンテキスト長は文字数ではなくトークン数です
• ライセンスが特に分かれる区分
• 韓国語検索も一緒に設計するとき
• 自分で試す
• シリーズ案内
• 参考資料

モデル情報は2026-08-12にHugging Faceのページで直接確認しました。モデルカードとライセンスは変わりうるので、使用前に原本を再確認してください。

韓国語対応という言葉は2つを意味します

カードに韓国語が書かれているという事実は、2つのうちどちらかです。学習データに韓国語が有意な比率で入ったという意味か、多言語コーパスに韓国語が含まれていたという意味かです。両者の実際の品質差は大きいのに、カードの表記だけでは区別できません。

逆に、カードに韓国語がないという事実ははるかに明確な信号です。meta-llama/Llama-3.1-8B-Instruct のカードが公式に列挙する言語は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語で、韓国語はここにありません。meta-llama/Llama-3.2-1B-Instruct も同じ一覧を使い、明示的に対応するとされた言語以外での使用を範囲外と記しています。

韓国語を狙って作られたモデル

いくつかはカードを読まないと分からない事実です。K-intelligence/Midm-2.0-Mini-Instruct はオンデバイス環境とGPU資源が限られたシステムに最適化したと記し、同系列の K-intelligence/Midm-2.0-Base-Instruct は韓国社会の価値と常識を内在化した韓国中心のAIを掲げます。両カードとも、学習が英語と韓国語に限られるため他言語の性能は保証しないこと、法律・医療・金融のような専門性を要する分野で信頼できる助言を保証しないことを記しています。

naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B はアクセスに連絡先の共有への同意が必要で、カードは強化学習前の段階の小さいモデルで長いコンテキスト処理に脆弱な点が観察されたと述べます。upstage/SOLAR-10.7B-Instruct-v1.0 は出自から韓国語モデルと誤解されやすいものの、カードが記す対応言語は英語で、単一ターンの対話を中心に微調整されているため複数ターンの対話には向かないと明記しています。

多言語モデルの韓国語表記を確認する方法

候補は韓国語特化モデルだけではありません。microsoft/Phi-4-mini-instruct のカードは対応言語一覧に韓国語を明示的に含み、mistralai/Mistral-Small-24B-Instruct-2501 も韓国語を列挙します。Qwen/Qwen3-8B は100以上、google/gemma-3-4b-it は140以上の言語に対応すると記します。

ここで分かれるのは主張の具体性です。言語を一つずつ列挙したカードはその言語を意識して評価した可能性が高く、個数だけを記したカードはコーパスに含まれたこと以上を語りません。どちらにせよ、自分のドメインの文で測る工程を置き換えることはできません。

トークナイザが韓国語を分割する方法がそのままコストです

品質の次に重要なのがトークン効率です。理由は単純で、API料金もコンテキスト上限も生成速度も、すべて文字ではなくトークンを基準に決まるからです。

英語は多くのBPEトークナイザで1単語が1つか2つのトークンになります。韓国語は助詞や語尾が付く膠着語なので、同じ語幹が文脈ごとに違う表層形で現れ、同じ意味の文がより多くのトークンに分割されることがよくあります。この差は3か所で同時にコストになります。リクエストあたりの入力トークンが増え、コンテキスト窓が早く埋まり、出力トークンが増えて遅延が大きくなります。

語彙サイズはこの問題に影響しますが、比例はしません。Qwen/Qwen3-8B のconfig.jsonにはvocab_sizeが151936と入っています。語彙が大きければ文をより少ないトークンで表す余地が生まれますが、その語彙がどの言語に配分されたかは数字だけでは分かりません。結局、測る以外に方法はありません。

トークン数を自分で測る方法

# 例: 同じ文を複数のトークナイザで分割して比べます
from transformers import AutoTokenizer

repos = [
    "Qwen/Qwen3-8B",
    "microsoft/Phi-4-mini-instruct",
    "K-intelligence/Midm-2.0-Mini-Instruct",
]

samples = [
    "연차 이월 규정은 취업규칙 제12조에 따라 운영됩니다.",
    "Annual leave carryover follows Article 12 of the employment rules.",
]

for repo in repos:
    tok = AutoTokenizer.from_pretrained(repo)
    counts = [len(tok.encode(s, add_special_tokens=False)) for s in samples]
    print(repo, "ko:", counts[0], "en:", counts[1], "vocab:", tok.vocab_size)

このスクリプトを自分のサービスの実際の文200件ほどで回せば、候補モデルごとの韓国語トークンコストがすぐ出ます。リーダーボードのスコアよりずっと早く得られ、ずっと長く有効な数字です。

ゲートの掛かったリポジトリでは、このコードはアクセストークンなしに失敗します。meta-llama 系と google/gemma-3-27b-it、naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B はいずれも、条件への同意または連絡先の共有が必要だとページに記しています。

コンテキスト長は文字数ではなくトークン数です

LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct の32,768と LGAI-EXAONE/EXAONE-4.0-32B の131,072は、いずれもトークン数です。同じ上限でもトークン効率が違う2つのモデルでは、実際に入る韓国語の分量が違います。

そのため長文を扱うサービスでは、コンテキスト上限を比べるときに前節の測定を必ず添える必要があります。カードの数字が大きいからといって自分の文書がより多く入る保証はありません。コンテキスト長がまったく明記されていないモデルもあります。K-intelligence 系と kakaocorp/kanana-nano-2.1b-instruct のページには記載がありません。

ライセンスが特に分かれる区分

韓国語モデルはライセンス類型の幅が際立って広いです。K-intelligence/Midm-2.0-Base-Instruct と K-intelligence/Midm-2.0-Mini-Instruct はMITと表記されます。kakaocorp/kanana-nano-2.1b-instruct は cc-by-nc-4.0 で、カードが非商用条件を明記します。upstage/SOLAR-10.7B-Instruct-v1.0 も cc-by-nc-4.0 です。

EXAONE系は独自ライセンスを使います。LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct はEXAONE AI Model License Agreement 1.1 - NC、LGAI-EXAONE/EXAONE-4.0-32B は1.2 - NCと表記され、後者のページにはEXAONEと競合するモデルの開発への使用を制限する趣旨が記されています。naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B は hyperclovax-seed という独自識別子を使い、商用条件はページに別途明記されていません。Bllossom/llama-3.2-Korean-Bllossom-3B は llama3.2 に従い、カードに商用利用が可能だという文が書かれています。

ライセンス全文を自分で読み、商用利用は法務レビューを通してください。この記事はどのモデルが商用利用できるかを判断するものではなく、カードの記載を伝えるだけです。

韓国語検索も一緒に設計するとき

韓国語RAGを作るなら、生成モデルだけでは半分です。韓国語を狙って追加学習した埋め込みには nlpai-lab/KURE-v1、nlpai-lab/KoE5、dragonkue/BGE-m3-ko があり、それぞれの次元と最大入力長はシリーズ第3回に整理しています。特に nlpai-lab/KoE5 はベースモデルの512トークン制約をそのまま受け継ぐため、トークン効率の悪い組み合わせでは一段落すら入らないことがあります。

自分で試す

• LLM API コスト計算機 — トークン数の測定結果を入れて韓国語ワークロードの実費用を計算します。
• LLM GPUメモリ(VRAM)計算機 — 候補モデルが手持ちの機材に載るか確認します。
• プロンプトエンジニアリングガイド — 同じ指示をより少ないトークンで書く練習をします。

シリーズ案内

• 前の記事: 埋め込みとリランカー、RAGで実際に重要なもの
• 次の記事: 音声モデルの選び方: STTとTTSの実践基準

参考資料

• 表のすべての値は2026-08-12に該当モデルのHugging Faceページから直接読みました。ページになかった項目は明記なしと書いています。
• トークン数の比較値はこの記事に載せていません。文の構成で大きく変わるため、各自のデータで測る方が正確です。
• ライセンス全文を自分で読み、商用利用は法務レビューを通してください。