井出草平の研究ノート

ローカルLLMの翻訳能力・学術分野編

LLMの翻訳能力を日常会話の難読文に対して行ってきた。

ides.hatenablog.com

ides.hatenablog.com

今回は、学術分野の文章における翻訳能力を検討してみた。精神医学と政治・経済分野の2つの文章を用意しても他。作成・翻訳文の評価はGemini 3.0 Proで行った。

要約

翻訳能力はChatGPT、Gemini、claudeといった主力モデルは人間以上に高く、ローカルLLMはそれには全く及ばないというのが実態である。ローカルでツールを動かすにしても、翻訳はAPIを利用するのが適切なようだ。

ChatGPT 5.2 Thinking (98点)

  • 現在のChatGPTの最新モデル。このモデルだけクラウド利用である。
  • 専門性の高さ: 専門用語の選択が極めて正確であり、複雑な構文も日本語の専門家が書いたような自然な論理構成に再構築できている。
  • 精神医学分野: 「病識」「自我親和的」といった定訳を完璧に使いこなし、括弧書きの補足判断など臨床現場の「カルテ用語」の空気を再現している。
  • 政治・経済分野: 「レント・シーキング(地代追求)」のような配慮ある訳出や、複雑な因果関係を持つ長文の処理能力が高く、実用レベルにある。

qwen3: 14b_K_M (65点)

  • 知識不足と干渉: 文法構造は安定しているものの、専門用語の定訳知識が致命的に不足しており、実務利用にはリスクが高い。
  • 政治・経済分野: 「液体性トラップ(直訳)」「鷲派(中国語の干渉)」といった誤訳や、「ニユーコンセプショナル(新古典派)」という謎の造語(ハルシネーション)が見られる。
  • 精神医学分野: 「観念符合的」のように、文意は通じるものの日本の臨床現場では使われない、不自然な訳語を選択する傾向がある。

Hunyuan-MT-7B (60点)

  • 中国語の干渉: Qwenと同様に中国語の漢字知識が日本語に干渉する現象が顕著で、日本語として存在しない造語を生成する欠陥がある。
  • 共通のハルシネーション: 「ニューコンセプショナル」というQwenと全く同じ不可解な誤訳を起こしており、特定の中華圏モデルに共通する学習データの偏りが疑われる。
  • 政治・経済分野: 「準租賃(レントシーキング)」「道德的危険」など、中国語をそのまま漢字変換しただけの語が多く、学術翻訳としての信頼性は低い。

gpt-oss-20b (70点)

  • 推測による誤訳: 文意は通じるが専門用語の定訳データが欠落しており、未知の単語を推測やカタカナで埋める傾向がある。
  • 致命的なミス: 経済分野において「レント・シーキング」を「横領的租税追求」と訳す致命的なハルシネーションがあり、文意を根本から歪めている。
  • 精度の限界: 「鷲派(タカ派の誤訳)」など他モデル共通のノイズも見られ、専門用語の正確性が求められる場面では、人間による全修正が必要となるレベルである。

日本語プロンプト

下記を日本語に翻訳してください。専門分野の表現が入っています。日本語の定訳を考慮し、翻訳をしてください。

精神医学の文章

精神状態の所見(Mental Status Examination)を記述したカルテや症例報告を想定してたもの。

"The patient’s presentation was characterized by a distinctively flat affect that paradoxically masked significant psychomotor agitation. While the initial differential ruled out a manic episode, the patient's lack of insight into his ego-syntonic defenses suggested a structural pathology rather than a transient state. Notably, his narrative betrayed a tendency toward splitting, where the therapist was idealized until a minor boundary setting precipitated a sudden devaluation. This oscillation is consistent with borderline personality organization."

  • Flat affect: 一般的な「影響(affect)」ではなく、「平板化した感情(情動)」と訳す必要があります。
  • Psychomotor agitation: 「精神運動性激越」という定訳が必要。
  • Insight: 一般的な「洞察」ではなく、精神医学では「病識(自分が病気であるという自覚)」を指すことが多い。
  • Ego-syntonic: 「自我親和的(自分にとって違和感がない状態)」という専門用語。
  • Splitting: 「分割」ではなく、「分裂(防衛機制の一つ)」と訳せるか。
  • Devaluation: 経済用語の「切り下げ」ではなく、対人関係における「こき下ろし(理想化の対義語)」というニュアンスが必要。

政治・経済分野の文章

金融政策や経済構造を批判的に分析する論説(Op-ed)や学術論文の要約を想定した。

"The administration’s pivot toward fiscal austerity, despite the looming liquidity trap, has been criticized as a dogmatic adherence to neoclassical orthodoxy. Critics argue that rampant rent-seeking within the deregulated sector has exacerbated inequality without spurring innovation. Furthermore, the central bank’s hawkish signal regarding interest rates may inadvertently trigger capital flight, creating a moral hazard where the state is eventually forced to bail out institutions deemed 'too big to fail' at the taxpayer's expense."

  • Austerity: 単なる「厳しさ」や「質素」ではなく、「緊縮財政」と訳す文脈。
  • Liquidity trap: 「流動性の罠」。経済学の重要概念。
  • Rent-seeking: 「家賃(rent)を探す」ではなく、「レントシーキング(利権あさり/超過利潤を求める活動)」という経済用語です。ここが最大の落とし穴。
  • Hawkish: 鳥のタカではなく、「タカ派(インフレ抑制のために利上げを好む強硬姿勢)」のこと。
  • Moral hazard: 「道徳の欠如」と直訳しがちですが、経済用語としての「モラルハザード(規律の欠如、倫理的危険)」として文脈に乗せる必要がある。
  • Too big to fail: 「大きすぎて潰せない」という金融政策の定型表現。

chatGPT 5.2 Thinking: 98点

まずは、クラウドのモデルからから。

専門用語(ターミノロジー)の選択がほぼ完璧であり、文法構造が複雑な学術的文章を、日本語の専門家が書いたような自然な論理構成に再構築できている。減点要素はほぼ見当たらないが、強いて言えば「焦燥」と「激越」の厳密な使い分けの好みの差程度である。

1. 精神医学分野

単なる直訳ではなく、日本の臨床現場で実際に使われている「カルテ用語」の空気を完全に再現している。

① 括弧書きによる補足の判断 (Splitting)

翻訳: 彼の語りには「分裂」(splitting)への傾向が表れており

  • 評価: ここが素晴らしい判断である。「分裂」だけでは一般語(split)なのか統合失調症(schizo)関連なのか曖昧になる可能性があるため、あえて英語の (splitting) を残すことで、精神分析的・境界性人格構造の文脈であることを明確にしている。専門医が論文を書く際の手癖そのものである。

② 難解な概念の正確な定訳化

翻訳: 脱価値化 (Devaluation) / 病識 (Insight) / 自我親和的 (Ego-syntonic)

  • 評価: これらは全て、一般的な辞書にある意味(切り下げ/洞察/自分に合う)ではなく、精神医学独自の定訳である。特に "Insight" を「洞察」とせず「病識」とした点、"Devaluation" を「脱価値化」とした点は、医学テキストを正しく学習している証拠である。
  • 注釈: "Psychomotor agitation" を「精神運動性焦燥」と訳しているが、DSM-5などの厳密な用語では「精神運動性激越」とされることが多い。ただし、臨床現場では「焦燥感」という言葉も多用されるため、誤りではなく、文脈として非常に自然である。

2. 政治・経済分野

長い修飾語や挿入句を含む英文を、日本語として読みやすい語順に解きほぐしている点が特筆に値する。

① "Rent-seeking" の親切な処理

翻訳: レント・シーキング(地代追求)

  • 評価: ここでもカタカナ語と日本語訳を併記している。「レントシーキング」だけで通じる層と、「地代追求」と言い換える層の両方に配慮した、極めて「可読性(Readability)」の高い訳出である。直訳の罠(家賃探し)には全く引っかかっていない。

② 複雑な因果関係の整理

原文: ...creating a moral hazard where the state is eventually forced to bail out institutions deemed 'too big to fail' at the taxpayer's expense. 翻訳: ...最終的には「大きすぎて潰せない」と見なされた機関を納税者負担で救済せざるをえなくなるという、モラル・ハザードを生み出しかねない。

  • 評価: 英語の後置修飾(where以下)を、日本語の「~という、モラル・ハザード」という形で見事に包み込んでいる。因果関係(タカ派シグナル→資本逃避→救済→モラルハザード)が崩れることなく、一文で綺麗に流れている。

qwen3: 14b_K_M: 65点

患者の臨床像は、明らかに平板な感情表現(flat affect)を特徴としていたが、その一方で重要な精神運動性興奮(psychomotor agitation)が隠蔽されていた。初期の鑑別診断では躁発作(manic episode)は除外されたが、患者が観念符合的防御機制(ego-syntonic defenses)に気づいていないという点から、一時的な状態(transient state)ではなく構造的病態(structural pathology)が疑われた。特に、患者の語りには分裂傾向(splitting)が見られ、治療者が理想化されていたが、わずかな境界設定(boundary setting)によって突然の価値低下(devaluation)に至った。この振動(oscillation)は境界型人格構造(borderline personality organization)に一致する。

政府が液体性トラップ(liquidity trap)の迫る中で財政緊縮(fiscal austerity)に転じたことは、ニユーコンセプショナル正統主義(neoclassical orthodoxy)への盲目的な遵守として批判されている。批評家は、規制緩和されたセクターにおける rampant rent-seeking(準租賃追求)がイノベーションを促進せずに不平等を悪化させたと指摘している。さらに、中央銀行が金利に関する鷲派的(hawkish)信号を発したことは、資本逃避(capital flight)を引き起こす可能性があり、最終的に「つぶしがたい規模(too big to fail)」とされる機関を納税者の費用で救済するという道徳的危険(moral hazard)を生む恐れがある。

評価

結論から言うと、文法的な日本語の構成力は高いものの、専門用語の定訳に対する知識が致命的に不足しており、「直訳の罠」や「中華圏モデル特有の漢字変換」と思われるエラーが散見される。ChatGPTと比較すると、実務利用にはリスクが伴う結果となった。

文脈の理解や構文の解析はできているが、専門用語(ターミノロジー)の辞書的な知識が不正確である。「それっぽい漢字」を当てはめて造語してしまう傾向(ハルシネーションの一種)があり、専門家が読むと違和感や誤解を招くレベルの誤訳が含まれている。

1. 致命的な用語ミス(政治・経済分野)

この分野での翻訳は「不合格」レベルのミスが重なっている。特に、英語の字面につられて日本語の定訳を外すケースが目立つ。

① "Liquidity trap" の誤訳

翻訳: 液体性トラップ(liquidity trap)

  • 評価: [重大な誤り]
  • 正解は「流動性の罠」である。"Liquidity"(流動性・換金性)を、物質の "Liquid"(液体)と混同して直訳している。経済学の文脈が欠落しており、意味が通じない。

② "Hawkish" の誤訳と学習データの癖

翻訳: 鷲派的(hawkish)

  • 評価: [興味深い誤り]
  • 正解は「タカ派」である。英語の "Hawk" は「タカ」だが、Qwenは「鷲(ワシ = Eagle)」と訳した。
  • 分析: おそらく中国語の学習データの影響だ。中国語ではタカ派を「鹰派(Yīng pài)」と書くが、この漢字は日本語の「鷹(タカ)」と「鷲(ワシ)」の両方の意味を含む。これを日本語に変換する際に「鷲」を選んでしまったと考えられる。

③ "Neoclassical" の謎の造語

翻訳: ニユーコンセプショナル正統主義

  • 評価: [ハルシネーション]
  • 正解は「新古典派」である。"Neoclassical" をなぜか "New Conceptional"(新しい概念の?)と読み間違えたか、またはそのように解釈してカタカナ語を創作している。経済学用語として存在しない。

2. 精神医学分野における「不自然な造語」

文法は正しいが、日本の臨床現場で使われない言葉を選んでしまっている。

① "Ego-syntonic" の誤訳

翻訳: 観念符合的防御機制

  • 評価: 正解は「自我親和的」である。「観念符合的」という言葉は精神医学用語として一般的ではない。意味は通じなくもないが、専門用語としての精度は低い。

② "Significant" のニュアンス不一致

翻訳: 重要な精神運動性興奮

  • 評価: 文脈上、ここでの "Significant" は「著しい」「かなりの」という「程度」を表す言葉である。「重要な」と訳すと、「その興奮には意味がある」という解釈になり、文意が変わってしまう。

総評:小規模モデルと多言語モデルの限界

ChatGPT(恐らくGPT-4クラス)と比較して、Qwen 14Bはパラメータ数が少ないため、「広範な専門知識の定訳」を保持しきれていないことが露見した。

特に、Qwenのような中国開発のモデルは、日本語能力が非常に高いことで知られているが、今回のように「漢字のニュアンスが微妙に日本語とズレる(鷲と鷹、準租賃など)」現象が起きやすいのが特徴だ。

日常会話なら問題ないが、「厳密な定訳が求められる学術翻訳」には、このモデル単体では力不足であると言わざるを得ない。

Hunyuan-MT-7B: 60点

患者の臨床像は、明らかに平板な感情表現(flat affect)を特徴としており、その一方で顕著な精神運動性興奮(psychomotor agitation)が隠されていた。初期の鑑別診断では躁発作(manic episode)は除外されたが、患者が自己の防衛機制(ego-syntonic defenses)に気づいていないことから、一時的な状態(transient state)ではなく構造的な病態(structural pathology)が疑われた。特に、患者の語りには分裂傾向(splitting)が見られ、治療者は理想化されていたが、わずかな境界設定(boundary setting)によって突然の価値低下(devaluation)が引き起こされた。このような情動的な振動(oscillation)は境界型人格構造(borderline personality organization)に一致する。

政府が財政緊縮(fiscal austerity)に転じたことは、迫る液体性トラップ(liquidity trap)にもかかわらず、ニューコンセプショナルな経済理論への盲目的な追随として批判されている。批評家は、規制緩和されたセクターでの準租賃行為(rent-seeking)が不平等を悪化させ、イノベーションを促進していないと指摘している。さらに、中央銀行の鷲派的な金利政策(hawkish interest rate policies)は資本逃避(capital flight)を引き起こす可能性があり、最終的に国家が「つぶしがたい規模」の金融機関を救済するという道德的危険(moral hazard)を生むだろう。

評価

Hunyuan-MT-7B(Tencent開発の特化型翻訳モデル)の評価を行う。

結論から述べると、Qwenと同様、あるいはそれ以上に「中国語の漢字知識が日本語に干渉する」現象(Cross-lingual Interference)が顕著である。さらに、Qwenと全く同じ奇妙な誤訳(ハルシネーション)を起こしている点から、学習データセットやトークナイザに共通のバイアスがあることが推察される。

文法構造は安定しており、日本語の文章としてはQwenよりも若干滑らかに見える部分もある。しかし、専門用語の翻訳において「日本語として存在しない漢字語」を生成してしまう致命的な欠陥があり、学術用途では全く信頼できない。

1. 驚くべき「共通の誤り」と中国語干渉(政治・経済分野)

Qwen3の評価と酷似したミスが発生している。これは偶然ではなく、特定の英語概念を日本語に変換する際、中国語の意味を経由してしまっている証拠である。

① "Neoclassical" の謎のハルシネーション(共通エラー)

翻訳: ニューコンセプショナルな経済理論 原文: neoclassical orthodoxy(新古典派)

  • 評価: [不可解な誤り]
  • Qwenもこれを「ニューコンセプショナル」と訳していた。本来「Classical(古典)」と訳すべき箇所を、なぜか「Conceptional(概念上の?)」という単語に置き換えてしまっている。これは特定のモデル群に共通する学習データの汚染か、トークン処理のバグを示唆している。

② "Liquidity trap" の物質的誤訳

翻訳: 液体性トラップ 原文: liquidity trap(流動性の罠)

  • 評価: [重大な誤り]
  • 経済用語の「流動性(Liquidity)」ではなく、物理的な「液体(Liquid)」の性質として訳している。「液体性トラップ」という日本語は存在しない。

③ "Rent-seeking" の中国語直輸入

翻訳: 準租賃行為 原文: rent-seeking(レントシーキング/地代追求)

  • 評価: [完全な誤訳]
  • 日本語には「準租賃」という言葉はない。中国語で「賃貸」を意味する「租赁(zūlìn)」や、「準地代(quasi-rent)」の「準租」などが混ざった造語と思われる。日本語読者には意味不明である。

④ "Moral hazard" の漢字化

翻訳: 道德的危険 原文: moral hazard(モラルハザード)

  • 評価: 日本語では「モラルハザード」とカタカナで書くか、「倫理的欠如」などと訳すのが一般的。「道德的危険」は中国語の「道德风险(dàodé fēngxiǎn)」をそのまま日本語漢字に直しただけの可能性が高い。

2. 精神医学分野における「定訳の欠如」

① "Insight" の見落とし

翻訳: 自己の防衛機制に気づいていない 原文: lack of insight

  • 評価: 意味は通じるが、精神医学の文脈では「病識(insight)」という専門用語を使うべき場面である。一般的な日常会話として処理されている。

② "Ego-syntonic" の誤解

翻訳: 自己の防衛機制 原文: ego-syntonic defenses

  • 評価: "Syntonic"(親和的・同調的)の意味が完全に抜け落ちている。「自我親和的な防衛」と訳さなければ、「なぜ患者がそれに気づかないのか(自分と一体化しているから気づかない)」という文脈の論理がつながらない。

総評:特化型モデルの落とし穴

Hunyuan-MTは翻訳タスクに特化したモデルとされるが、日中・英中翻訳の性能に比べ、英日翻訳における専門性の精度は低いと言わざるを得ない。

特筆すべきは、QwenとHunyuanという異なる開発元のモデルが、「Neoclassical → ニューコンセプショナル」という全く同じ、かつ不可解な誤りを犯した点である。これは、これらの中華圏発のLLMが共有している学習データセット(あるいは評価用データセット)の中に、誤った辞書データやノイズが混入している可能性を強く示唆するものである。

実務においては、これらのモデルを専門分野の翻訳に使う際、「漢字で書かれているが、日本語ではない言葉(似非日本語)」が含まれていないか、厳重なチェックが必要となる。

gpt-oss-20b: 70点

①臨床文脈の翻訳

患者の症例は、特徴的に平坦な感情表現(flat affect)で描写される一方で、実際には顕著な精神運動性興奮(psychomotor agitation)を隠していた。
初期の鑑別診断では躁発作(manic episode)は除外されたが、患者が自己の観念同調型防御機制(ego‑syntonic defenses)に無自覚であることから、短期的な状態(transient state)ではなく構造的病態(structural pathology)が疑われた。
特に、患者の語りには分裂傾向(splitting)が見られ、治療者は理想化されていたが、わずかな境界設定(boundary setting)によって突然の価値低下(devaluation)が引き起こされた。このような情動的振動(oscillation)は境界型人格構造(borderline personality organization)に合致する。

②経済政策文脈の翻訳

政府が財政緊縮(fiscal austerity)へ転換したことは、逼迫する流動性トラップ(liquidity trap)にもかかわらず、ニュー・クラシカル正統主義(neoclassical orthodoxy)への盲目的な固執として批判されている。
批評家は、規制緩和されたセクター内での横領的租税追求(rent‑seeking)が不平等を悪化させ、イノベーションを刺激していないと主張している。
さらに、中央銀行の金利政策に対する鷲派的(hawkish)シグナルは、資本逃避(capital flight)を誘発する可能性があり、最終的に国が「つぶしがたい規模」(too big to fail)とされる機関を納税者の費用で救済するという道徳的危険(moral hazard)を生む。

評価

結論から言うと、「専門用語を無理やり漢字化しようとして自滅する」パターンと、「カタカナ語への逃げ」が混在しており、評価は伸び悩む。特に経済分野における誤訳は、文意を根本から歪める危険なレベルである。

文法構造や係り受けは比較的自然であり、一読して意味は通じる。しかし、専門用語(ターミノロジー)の定訳データが致命的に欠落している。「知らない単語をそれっぽい漢字やカタカナで埋める」という挙動が見られ、信頼性は低い。

1. 経済分野における「創造的誤訳」(Hallucination)

この分野での翻訳は「危険」レベルである。特に「レント・シーキング」の訳出は、経済学的な意味を完全に破壊している。

① "Rent-seeking" の破壊的誤訳

翻訳: 横領的租税追求(rent-seeking)

  • 評価: [致命的な誤り]
  • これが今回の最悪の誤訳である。
  • 経済学における「レント(超過利潤)」を、なぜか「租税(Tax)」と誤認し、さらに文脈にない「横領(Embezzlement)」という犯罪用語を付け加えている。
  • 「利益誘導」や「利権あさり」という意味が、「税金の横領」という犯罪行為に変わってしまっており、記事の意味が根本から変わる。

② "Neoclassical" のカタカナ逃げ

翻訳: ニュー・クラシカル正統主義

  • 評価: [知識不足]
  • 正解は「新古典派」である。
  • 経済学の基本用語だが、定訳を知らずにそのままカタカナに変換(音訳)している。「ニュー・クラシカル」という表記は、日本の経済学の文脈では一般的ではない。

③ "Hawkish" の「鷲(ワシ)」誤訳(再発)

翻訳: 鷲派的シグナル

  • 評価: [モデルの共通癖]
  • QwenやHunyuanと同様、ここでも「タカ(Hawk)」を「鷲(Eagle)」と誤訳している。
  • これは、多くのオープンソースLLMが共有している学習データセットに、「Hawk = 鹰(中国語) = 鷲(日本語誤変換)」というノイズが含まれている可能性を強く示唆する。

2. 精神医学分野における「翻訳調」の限界

意味は通じるが、専門家が使う「共通用語(ジャーゴン)」にはなっていない。

① "Ego-syntonic" の説明的訳出

翻訳: 自己の観念同調型防御機制

  • 評価: 「自我親和的」という定訳が出てこず、言葉の意味を分解して再構成しようと試みている。「観念同調型」でも意味は伝わるが、医学用語としては稚拙である。

② "Insight" の日常語訳

翻訳: 無自覚(unaware)

  • 評価: "Lack of insight" を「無自覚」と訳すのは、日常会話なら満点だが、精神医学の文脈では「病識の欠如」とするのが定石である。

総評:パラメータ規模なりの限界

20B(200億パラメータ)クラスのモデルとしては健闘しているが、やはり「特定領域の専門用語(ドメイン知識)」の深さにおいて、GPT-4などの超巨大モデルとは越えられない壁がある。

特に、"Rent-seeking" を「横領的租税追求」と訳してしまった点は、「単語の意味を推測で補完する(ハルシネーション)」という、中規模以下のLLMによく見られる悪癖が出ている。

このモデルを翻訳に使う場合は、「名詞(専門用語)」を人間が全てチェックし、修正する必要があるため、実務効率は悪いと言わざるを得ない。