井出草平の研究ノート

Tiny Ayaの翻訳能力・学術分野編

Tiny Ayaは、Cohere Labs(Cohereの研究組織)が公開した軽量・多言語の“オープンウェイト”言語モデル(LLM)ファミリーである。狙いは「クラウド前提ではなく、ノートPCやモバイル等の現実的な計算資源でも動かせる」「英語以外(低リソース言語を含む)を厚くする」点にあると説明されている。

cohere.com

モデルが小さいにも関わらず、翻訳も一つのウリということで、Asia-Pacific(+一部欧州)に強い地域特化版であるTinyAya-WaterのQ8_0モデル(GGUF版)を使って翻訳をしてみた。

huggingface.co

課題は以前と同じものを採用した。

ides.hatenablog.com

評価は前回と同じくGemini 3.0 Pro。 結果は使い物にならないレベルだった。

Tiny Aya Water Q8: 40点

翻訳文

翻訳文1

患者の行動は、特徴的な無感情性(flat affect)で特徴付けられ、その逆説的な性質により、明確な心理運動性の動揺(psychomotor agitation)を隠蔽していました。当初の差異診断(initial differential)では、精神病性エピソード(manic episode)が除外されましたが、患者が自我同期的防御機構(ego-syntonic defenses)に対する洞察力(insight)の欠如を示していたことから、一過性の状態ではなく構造的な病理を示唆していました。特に注目すべきは、セラピストを理想化するという分裂傾向(splitting)が物語から透けており、軽度の境界設定(boundary setting)によって急激な評価低下(devaluation)を引き起こしたことです。この振動(oscillation)は、境界性人格の組織(borderline personality organization)と一貫しています。

翻訳文2

財政緊縮への移行は、流動性陷阱(liquidity trap)の迫りくる中での批判を招いており、ネオクラシカル正統主義(neoclassical orthodoxy)へのドグマ的な執着として非難されています。批判者は、規制緩和された部門における無秩序な地代獲得(rent-seeking)がイノベーションを刺激することなく不平等を悪化させていると主張しています。さらに、中央銀行の金利に関する強硬姿勢(hawkish signal)は意図的に(inadvertently)資本の流出を引き起こす可能性があり、国家が「破滅するほど大きい(too big to fail)」と見なされる機関を税金で救済せざるを得なくなるような道徳的危害(moral hazard)を生み出す可能性があります。

評価

結論から述べると、文章の表面的な繋がりは一見すると自然に見えますが、「原文と正反対の意味になる致命的な誤訳」と「中国語の語彙の混入(Cross-lingual Interference)」が複数発生しており、実用レベルには達していません。特に専門用語の基礎的な知識が欠如しており、文脈の論理を完全に破壊してしまっています。

1. 文脈を破壊する致命的な誤訳(ハルシネーション・意味の反転)

もっとも深刻なのは、単語の意味を正反対に捉えたり、全く別の概念に置き換えたりしている点です。

① "Inadvertently" の正反対の誤訳

翻訳: 意図的に資本の流出を引き起こす 原文: inadvertently trigger capital flight

  • 評価: [致命的な誤り]
  • "Inadvertently" は「意図せず」「うっかり」という意味ですが、正反対の「意図的に」と訳しています。これにより、「中央銀行がわざと資本逃避を引き起こそうとしている」という、経済論理としてあり得ない文章になっています。

② "Manic episode" の取り違え

翻訳: 精神病性エピソード 原文: manic episode(躁病エピソード)

  • 評価: [重大な誤り]
  • "Manic"(躁状態)を "Psychotic"(精神病性)と混同しています。精神医学において両者は明確に区別される概念であり、診断のプロセスを語る文脈においてこの誤訳は許容されません。

③ "Too big to fail" の誤解釈

翻訳: 破滅するほど大きい 原文: too big to fail(大きすぎて潰せない)

  • 評価: [完全な誤訳]
  • 金融業界の超有名な定型句「大きすぎて潰せない(倒産させると社会への影響が大きすぎるため、国が救済せざるを得ない)」を、単なる文字通りの「破滅するほど〜」と誤って解釈しています。

2. 中国語の干渉と定訳の欠如

日本語の専門用語ではなく中国語の単語がそのまま出力されている箇所が散見されます。

① "Liquidity trap" の中国語直輸入

翻訳: 流動性陷阱 原文: liquidity trap(流動性の罠)

  • 評価: [中国語の干渉]
  • 「罠(わな)」とするべきところを、中国語の「陷阱(xiànjǐng)」という漢字そのままで出力しています。日本の読者には極めて不自然です。

② "Moral hazard" の漢字化

翻訳: 道徳的危害 原文: moral hazard(モラルハザード)

  • 評価: [中国語の干渉]
  • 日本語ではカタカナで「モラルハザード」とするのが経済学の定訳です。「道徳的危害」はおそらく中国語の「道德危害」をそのまま引っ張ってきた結果です。

③ 精神医学および医学用語の不自然さ

  • 差異診断 (initial differential): 日本語の医学用語では「鑑別診断」です。
  • 無感情性 (flat affect): 臨床的には「感情鈍麻」や「平板な感情」と訳すべきです。
  • 心理運動性の動揺 (psychomotor agitation): 「精神運動焦燥」または「精神運動興奮」が正しい医学用語です。
  • 境界性人格の組織 (borderline personality organization): 臨床心理学では「境界例の人格構造(パーソナリティ構造)」と訳すのが一般的です。

総評:流暢さに隠された重大な論理破綻

今回のモデル(あるいは翻訳エンジン)は、一見すると「それらしい」日本語の文章を生成する能力を持っていますが、その内実は非常に危険です。

「意図せず(inadvertently)」を「意図的に」と訳したり、「大きすぎて潰せない(too big to fail)」を「破滅するほど大きい」と訳したりするなど、文章の論理の根幹に関わる部分で決定的なミスを犯しています。また、「流動性陷阱」に見られるような中国語の干渉も残っており、多言語モデル(特に中華圏でトレーニングされたLLM)特有の弱点が顕著に表れています。

学術やビジネスの場でこの翻訳をそのまま使用すると、読み手に全く逆の意図を伝えてしまうリスクが高いため、実務での利用は推奨できません。厳密なポストエディット(人間の手による修正)が不可欠です。


解説

3.35B(約33億)パラメータというTinyAyaのモデルサイズを考慮すれば、この翻訳品質(および発生しているエラーの傾向)は「LLMの構造上、起こるべくして起きている妥当な限界」と言えます。また、専門性の高い文章の翻訳において、モデルの大きさ(パラメータ数)はクオリティに直結する必須要素です。

今回評価されたCohereの「TinyAya-Water(3.35B)」は、アジア太平洋地域などの言語に最適化された軽量モデルですが、このクラスの小型多言語モデルが抱える構造的な弱点が、前回の翻訳結果に見事に表れています。

なぜモデルサイズが翻訳の質にこれほど決定的な影響を与えるのか、技術的な観点から3つの理由に分けて解説します。

1. 「多言語の呪い」と表現空間の圧縮(中国語干渉の原因)

翻訳で見られた「流動性陷阱」や「道徳的危害」といった中国語の混入(Cross-lingual Interference)は、小型モデル特有の現象です。

LLMはパラメータ内に言語ごとの「意味空間」を形成しますが、3.35Bという限られた容量で数十言語をカバーしようとすると、モデルは効率化のために日本語の「漢字」と中国語の「漢字」のトークン表現(Embedding)を共有・統合しようとします。

巨大なモデル(70B以上など)であれば、文脈から「今は日本語の出力モードである」という高度な推論を保ち、中国語の語彙を厳格にブロック(分離)できます。しかし、3Bクラスのモデルではその分離能力が足りず、確率的に学習データ量の多い中国語の単語が「漏れ出して」しまうのです。

2. 世界知識(World Knowledge)と専門用語の格納限界

翻訳は単なる単語の置き換えではなく、その背景にある「概念の理解」を必要とします。

  • "Too big to fail" → 「大きすぎて潰せない(金融の定型句)」
  • "Manic episode" → 「躁病エピソード(精神医学の明確な診断基準)」

こうした専門的なイディオムや学術的定義は、モデルのパラメータ(重み)の中に「知識」として記憶されている必要があります。パラメータ数が少ないということは、純粋に「辞書の厚さが足りない」ことを意味します。そのため、文脈を無視した直訳(「破滅するほど大きい」)や、似たような単語の取り違え(「精神病性」)が発生します。

3. 論理的推論能力の不足(意味の反転)

"inadvertently"(意図せず)を「意図的に」と完全に逆の意味に訳してしまったエラーは、辞書的な知識不足というより「文脈の論理を保持する推論能力」の限界を示しています。

複雑な構文や、逆説・二重否定などが含まれる文章では、モデルは文全体の論理構造を維持したまま出力言語を生成しなければなりません。小型モデルは「直近の単語」の予測にリソースを奪われ、マクロな文脈を見失いやすいため、このような致命的な意味の反転(ハルシネーションの一種)を起こしやすくなります。

Q8_0(量子化)の影響について

ちなみに、今回GGUFの「Q8_0(8ビット量子化)」を使用されていますが、8ビット量子化による精度の劣化はFP16(半精度浮動小数点)と比較しても極めて軽微です。したがって、今回の翻訳品質の低さは量子化のせいではなく、純粋に3.35Bというベースモデルのキャパシティ不足に起因しています。

結論:翻訳に巨大モデルは必須か?

「日常会話や単純な情報抽出」であれば小型モデルでも十分ですが、「学術論文、経済レポート、高度な専門文書」の翻訳においては、パラメータサイズは必須(代替不可)の条件となります。

専門用語の正確な引き当て、多言語間の厳密な分離、そして文脈の論理を破綻させない推論能力の3つを同時に満たすには、現状のアーキテクチャでは少なくとも30B〜70Bクラス以上のパラメータ空間が必要になるのが実情です。