ハンズフリーで多言語音声翻訳が可能な新ソリューション「TRISY」を提供開始

2021-05-132021-09-28

医療や観光など、外国人とのコミュニケーションが不可欠な現場を強力に支援

医療や観光など、外国人とのコミュニケーションが不可欠な現場を強力に支援

2021-05-13 富士通株式会社

富士通株式会社は、ハンズフリーで日本語と11言語^（注1）間のAI音声翻訳を可能にする新ソリューション「FUJITSU 多言語音声翻訳ソリューション TRISY（トライジー） powered by Zinrai」（以下、「TRISY」）を開発し、外国人とのコミュニケーションが不可欠、かつ音声翻訳時の端末操作が困難な医療や観光分野などの現場向けに、2021年5月13日より提供開始します。

「TRISY」は、富士通株式会社が独自に研究開発したハンズフリー技術を搭載することにより、端末を操作せずに、タブレット端末^（注2）に接続された指向性マイク^（注3）で音声認識した話者の音声や位置情報をもとに適切な言語を認識し、音声翻訳する仕組みを実現しました。また、雑音を抑制する当社独自開発の技術や、AIを活用した多言語翻訳で先行する株式会社みらい翻訳^（注4）の音声翻訳APIサービスにより、高い翻訳精度で日本語と11言語間を相互に翻訳可能にしました。

これにより、例えば、医師や看護師などの医療従事者が、様々な医療機器や書類を手に持ちながら外国人患者へ症状などを説明しやすくなり、また、外国人旅行者が多い観光施設などにおいても、PCの操作や荷物の携行をしながらスムーズに観光名所の案内や宿泊施設の予約対応などが可能になります。

当社は今後、本ソリューションを活用し、外国人とのコミュニケーションにおけるUX（ユーザー・エクスペリエンス）の向上に努め、言語の壁が無いダイバーシティ社会の実現を目指します。

背景

近年、医療機関を受診する患者数に占める外国人の割合が年々増加傾向にあり、また、厚生労働省の「『外国人雇用状況』の届出状況まとめ（令和2年10月末現在）」によると、日本における外国人労働者数も年々増加しています。このため、外国人とのコミュニケーションを円滑に実現する多言語音声翻訳のニーズが高まっていますが、現在普及しているサービスでは利用者が端末を操作する必要があり、診察時に手がふさがることの多い医療現場や観光施設の窓口対応においては活用が難しい状況でした。

当社は、上記の課題を解決するため、総務省の情報通信技術に関する研究開発「グローバルコミュニケーション計画の推進」のもと、国立研究開発法人情報通信研究機構^（注5）（以下、NICT）とともに実施してきた多言語音声翻訳の研究開発や、沖縄県内の6医療機関と共同で2019年に実施した機械翻訳による医療現場での実用性に関する実証実験の成果を踏まえて、このたび、ハンズフリーかつ日本語と11言語間の音声翻訳に対応した新ソリューション「TRISY」を開発しました。

「TRISY」の特長

1. 当社独自開発の研究技術により、ハンズフリーで高精度な翻訳を実現

端末操作を不要にする当社独自のハンズフリー技術を搭載することで、タブレット端末に接続された指向性マイクで話者の音声や位置を認識し、適切な言語に自動で切り替えて音声翻訳するとともに、翻訳開始や終了などの操作も自動で行います。これにより、様々な医療機器や書類を手に持ちながら患者と頻繁に会話する医療従事者が、負荷やストレスなく、外国人患者の受付対応や症状の説明などを行うことが可能になります。また、外国人とのコミュニケーションの機会が多い観光施設の窓口対応などにおいても、PCの操作や荷物の携行をしながらスムーズに観光名所の案内や宿泊施設の予約対応などが可能になります。
医療現場のような、周囲の雑音が定常的に発生する状況でも高精度に音声を認識するため、当社が独自に研究開発した雑音を抑制する技術を搭載し、空調機器や検査機器などの定常雑音を判別した上で雑音を抑制します。これにより、大病院の検査室など、60dB（普通の会話レベル）ほどの騒音がある環境下でも、高精度な音声認識を実現しました。

「TRISY」の利用イメージ

2. 11言語に対応し、かつ医療分野にも対応したAI翻訳エンジンを採用

日本語と11言語間の音声認識、および機械翻訳の評価^（注6）で翻訳精度4以上（実用レベル）の高精度な自動翻訳に対応しています。
本サービスの翻訳エンジンは、当社が主幹事として参画し、医療分野向けの音声翻訳技術を開発、実証してきた、総務省の情報通信技術に関する研究開発「グローバルコミュニケーション計画の推進」の成果^（注7）と、NICTの音声翻訳技術の研究成果を活用した株式会社みらい翻訳の音声翻訳APIサービスを採用しています。本翻訳エンジンを活用し、2019年10月から2019年12月まで、沖縄県内の医療機関6施設と共同で、機械翻訳による医療現場での実用性に関する実証実験を行い、英語だけでなく中国語に関しても、医療現場での有用性を検証できました。また、本翻訳エンジンは総務省の研究開発において、医療現場以外でも観光施設の窓口などの様々な外国人対応の場面で実証が行われ、実用性が確認されています。

販売価格、および提供開始日

製品・サービス名
サービス内容
提供開始日

FUJITSU 多言語音声翻訳ソリューション TRISY powered by Zinrai
タブレット端末（iPad）＋指向性マイク（Shure）＋通信SIM＋多言語音声翻訳アプリ
2021年5月13日

注釈

注111言語：
英語、中国語（簡体字）、中国語（繁体字）、韓国語、インドネシア語、タイ語、ベトナム語、ミャンマー語、ポルトガル語、スペイン語、フランス語。

注2タブレット端末：
現時点ではiPadのみに対応。

注3指向性マイク：
特定の方向から聞こえる音のみを集音するマイク。

注4株式会社みらい翻訳：
本社東京都渋谷区、代表取締役社長大野友義。

注5国立研究開発法人情報通信研究機構：
本部東京都小金井市、理事長徳田英幸。

注6機械翻訳の評価：
国立情報学研究所が主催する評価型ワークショップ「NICTR-10」で実施された機械翻訳の評価手法。翻訳の適切さ、文章単位で正しく伝わる文の割合をそれぞれ5段階で評価するもの。

注7「グローバルコミュニケーション計画の推進」の成果：
本件は、総務省の情報通信技術の研究開発「グローバルコミュニケーション計画の推進 – 多言語音声翻訳技術の研究開発及び社会実証 – I. 多言語音声翻訳技術の研究開発」、およびその事業を継承した「災害時における多言語音声翻訳システムの高度化のための研究開発」による委託を受けて実施した成果。