音声、ジェスチャーなどマルチモーダル・インタフェース関連の特許出願現況
人がコンピュータと簡単に双方向に情報をやり取りできるマルチモダリティ*技術が進化している。
*マルチモーダル(Multi Modal)とは、さまざまな形態と意味でコンピュータと対話する環境を意味する。モーダルとは、モダリティ(modality)の意で、モダリティとは、インタラクションの過程で用いられるコミュニケーションチャネルをあらわす。
マルチモーダル・インタフェースとは、伝統的テキストの他に、音声、ジェスチャー、視線、表情、生体信号など複数の入力方式を融合して、人間とコンピュータとが自然にコミュニケーションできる、ユーザーフレンドリー型(user-friendly)技術であるが、現在は、過去の機械中心の入力からヒューマン中心の自然な入力方式へと変化している。
特許庁によると、ここ10年間（2009〜2018年）でマルチモーダル・インタフェースに関連し、合わせて149件が特許出願された。
2009年から2015年まではマルチモーダル・インタフェース関連の特許出願がごく僅かであったが、2016年に12件、2017年に20件、2018年には39件と、近年になって出願が増えている。
ここ5年（2014〜2018年）をみると、2016年までは2つほどの入力が主に用いられたが、2017年以降はジェスチャー、顔、生体信号などの入力を融合し、3つ以上の入力方式を活用した出願が徐々に増加していることが明らかになった。
2014年と2018年を比較すると、生体信号の部分（脈拍、心拍数、虹彩、指紋）が2件から11件へと、5.5倍の最大幅の増加を示し、次いで、音の部分（音声、音楽、音響）が7件から28件へと、4倍増えた。
また、顔、ジェスチャー、においの部分も12件から35件へと、2.9倍に増加している一方、伝統的なテキスト部分（キーボード、タッチパッド、電子ペン）は9件から7件へと減少した。
出願人別では、韓国人の出願が88件（94％）で、研究機関および大学の出願は51件（54％）、次いで、個人および中小企業の出願が28件（30％）、大企業の出願が9件（10％）の順で、外国人の出願は6件（6％）であった。
多出願人をみると、韓国電子通信研究院21件、サムスン電子5件、LG電子、(株)アモーレパシフィックおよび韓国科学技術研究院は4件、(株)アクリル、(株)スマートオールウェイズオン、国民大学および忠南大学は3件の順であった。
特許庁コンピュータシステム審査課長は「マルチモーダル技術はゲームや娯楽などで既に実用化され、モノのインターネットと連動した技術として拡散しており、今後は全身にコンピュータを装着するユビキタスの世界において、人間の学習能力を模倣した人工知能を融合した未来の入力方式に進化すると予想される」と述べた。
1. マルチモーダル・インタフェースの特許出願動向
2. 詳細な入力方式別にみたマルチモーダル・インタフェースの特許出願動向
3. 出願人別のマルチモーダル・インタフェースの特許出願動向
[出所: 特許庁]