ElevenLabsのScribe v3 Live、通話中に話者をリアルタイムで識別

リアルタイム向けモデルは、通話中に誰が話しているかを識別します。ElevenLabsのリアルタイム文字起こしでは初めてです。音声エージェントの発話交代にも変化があります。従来のシステムは一定時間の無音を待つものが多く、番号を読み上げる途中で間を置いた相手の発言を遮ってしまうことがありました。The Decoderによると、Scribe v3 Liveは音声に加えて会話の文脈も踏まえ、話し終えたかどうかを判断します。1つの文のなかで言語を切り替える相手にも、多言語モードで対応します。ElevenLabsによると、インドの顧客からヒンディー語と英語の併用を求める声があったそうです。

開発者はElevenLabsのAPIから両モデルを利用でき、Scribe v2からの切り替えはモデル名を1か所変えるだけです。リアルタイム向けモデルは、同社の音声エージェント製品ElevenAgentsでも動作します。精度の数値はElevenLabs自身によるものです。

当サイトの料金表（11月12日確認）では、ElevenLabsのStarterプランは月額6ドルで30,000クレジット、商用ライセンス付きです。Freeプランは個人利用向けでクレジット表記が必要となり、有料広告での利用はできません。

話者ラベルが通話中に届くため、ElevenLabsのリアルタイム文字起こしでは、会話の進行に合わせて誰が何を話したかを表示できます。営業やサポートの担当者は、相手側の2人を話している最中に区別できます。