PCで再生中の音声をリアルタイムで翻訳する方法

概要

PCで流れている音声や動画の音声を、そのままリアルタイムで翻訳する方法を紹介します。

YouTube動画や海外の配信などを視聴する際に、音声を自動で文字起こしして翻訳できるため、内容を把握するのに便利です。

今回使用するツールは次の2つです。
・仮想オーディオソフト：VB-Audio Virtual Cable（無料）
・翻訳アプリ：Google翻訳（音声入力機能を使用）

仕組み

今回の方法は、PCの音声を仮想マイクとして翻訳アプリに渡すことで実現します。

1. PCのアプリや動画で音声を再生
2. VB-Audio Virtual Cable（仮想マイク）で音声を仮想出力
3. 翻訳ソフトが仮想マイクの音声を取得して翻訳

手順①　VB-Audio Virtual Cableのインストール

まずは仮想オーディオケーブルをインストールします。

1. VB-Audio Virtual Cableの公式サイトにアクセス
2. Windows11の場合はVBCABLE_Driver_Pack45.zipをダウンロード
3. ダウンロードしたフォルダを右クリックしてすべて展開
4. VBCABLE_Setup_x64.exeを実行

手順②　Windows側の音声設定

1. 再生デバイスを Virtual Cable にする
   • 右下のスピーカーアイコンを右クリック→サウンドの設定
   • 出力でCABLE Input (VB-Audio Virtual Cable) を選択
     ※この時点でPCの音が聞こえなくなります
2. 音声を聞きながら翻訳したい場合
   • 右下のスピーカーアイコンを右クリック→サウンドの設定
   • サウンドの詳細設定→録音タブ
   • CABLE Output をダブルクリック
   • 聴くタブ→このデバイスを聴くにチェック→OK

手順③　翻訳ソフト側の設定（Google翻訳の場合）

1. Google翻訳を開き、音声入力による翻訳をクリック
2. マイクにCABLE Output (VB-Audio Virtual Cable) を選択
3. これでPCで再生した音が、そのまま文字として翻訳されます

---

今回は中国語から日本語への翻訳をためしてみました。
動画のリアルタイム翻訳ができるのは非常に便利ですが、翻訳の精度としてはいまいちでした。
次はWhisper(OpenAI の音声認識モデル)を使って、より精度の高い翻訳も試してみようと思います。