MVの音声から歌詞字幕のたたき台を作るなら、無料の字幕編集ソフト Subtitle Edit v5.1.0 の Speech to Text が便利です。自動認識の結果を確認・修正してから動画へ焼き込めば、歌詞入りの動画を作成できます。
手順
1. 動画をドラッグ＆ドロップで読み込む
Subtitle Editを起動し、MVファイルをウィンドウにドラッグ＆ドロップします。動画と波形が表示されたら準備完了です。
2. Video → Speech to Text を開く
メニューバーから Video → Speech to Text を選択します。音声認識の設定画面が開きます。
3. 認識エンジン・モデル・言語を選ぶ
日本語のMVでは、音声の言語を日本語に設定します。エンジンとモデルは、最初は利用できるものを選んで問題ありません。モデルが未導入の場合は、初回のみダウンロードが始まります。
今回うまくいった設定は、Engine: Whisper CPP (default)、Model: small (488MB) です。また、Post processing のチェックはオフにしました。デフォルトのPost processing設定では複数行の歌詞が1行にまとめられてしまったため、歌詞の改行を保ちたい場合はオフがおすすめです。
4. 文字起こしを実行する
Transcribe を実行すると、認識された歌詞と時間情報が字幕一覧に追加されます。処理時間は、動画の長さ・モデル・PC性能によって変わります。
5. 歌詞と表示タイミングを整える
動画を再生しながら、誤変換された歌詞を修正します。波形を見て字幕の開始・終了位置を調整すると、歌声に合わせやすくなります。長い歌詞は読みやすい位置で改行します。
6. 動画へ歌詞を焼き込む
字幕を保存したあと、Video メニューの「Generate video with burned-in subtitle」を使って出力します。焼き込み後の歌詞は動画の一部になるため、再生する環境を選ばず表示できます。
うまく認識されないとき
- ボーカルが小さい、伴奏が大きい箇所は特に聞き直して修正する。
- 固有名詞や英語混じりの歌詞は、元の歌詞を見ながら手入力で整える。
- 精度を優先したい場合は、より大きいモデルを試す。ただし処理時間と必要な容量は増える。
まず自動文字起こしで全体の字幕を作り、最後に人の目で歌詞とタイミングを整えるのが効率的です。