第3回HTC研究会は、東北大学電気通信研究所 副所長、サイバー＆リアルICT学際融合研究センター長、北村 喜文教授 『非言語情報が拓く人間性豊かなコミュニケーション ～サイバー空間・リアル空間活用技術のヘルステックへの挑戦～』です。
東北大学片平キャンパスでの対面開催です！
今回は東北大学 片平キャンパスでの対面開催となります。
講義終了後、インタラクティブコンテンツ研究室の見学やVR体験、名刺交換の交流会を予定しています。施設を見学できる貴重な機会と、参加企業同士での意見交換の場としてぜひご活用ください。
講義概要
日常の対人コミュニケーションで重要な役割を担っている「非言語情報」のやりとりは、これからの遠隔コミュニケーションを人間性豊かなものにするためには不可欠です。
VRやメタバースなどのサイバー空間を活用する遠隔コミュニケーションも、今後、さらなる利用拡大が予想されていますが、そこでの人間性豊かなコミュニケーションを実現するためには、克服すべき課題は多くあります。またこれらには、人々の健康維持・増進にも役立つと期待されているものもあります。このような試みのいくつかを紹介します。
インタラクティブコンテンツ研究室とは
今回HTC研究会 講義終了後に見学するインタラクティブコンテンツ研究所におけるインタラクティブコンテンツ設計研究分野での北村教授の研究テーマについて紹介いたします。（以下東北大学 電気通信研究所HPより抜粋）
インタラクティブなコンテンツの可視化
創発の考え方によるアルゴリズムを利用して、さまざまなコンテンツ群を状況に応じて動的に、そしてインタラクティブに表示する新しい手法を提案し、各方面との共同研究をとして様々な応用を進めている。
3次元モーションセンシングとインタラクション
人の細かい手作業や小動物の長時間の複雑な運動など、従来では難しかった運動計測を可能とする新しい3次元モーションセンサを所内の共同研究で提案している。
非言語情報を活用した新しい遠隔コミュニケーションの研究
通常の対人コミュニケーションで重要な役割を担っている「非言語情報」を、適切に（必要に応じて増幅または減弱して）伝送して、全参加者が対等で豊かなコミュニケーションができる環境を実現するために進めている。
未来の生活を豊かにするインタラクティブコンテンツ
「東北大学研究シーズ集」は東北大学の研究リソースや研究成果を、産業界等で活用いただくことを目的に運営されているサイトです。以下、サイトより北村教授の研究シーズの紹介です。
特徴・独自性
様々コンテンツ、それを見たり使ったりする人々、そしてこれらを取り巻く空間を含めて考え、これらの間のさまざまな関係に注目して、人々の作業を効率的にしたりコミュニケーションを円滑にしたりするインタラクションの手法を提案しています。
例: 非言語情報通信、3 次元モーションセンシング、コンテンツのインタラクティブで柔軟な表示、ドローンの利活用技術、クロスモーダルインタフェース、バーチャルリアリティ
産学連携の可能性 （想定される用途・業界）
我々の技術や知見を世の中の多くの方々に使っていただき、生活を便利にしたり、快適にしたりすることにつながれば嬉しいです。そのために、いろいろな分野の方と一緒に連携させていただきたいと思います。
サイバー＆リアルICT学際融合研究センター
コロナ禍により増えているオンラインでのコニュにケーションは、ネット環境さえあればどこでもつながれる等便利な一方、十分なコミュニケーションがとれないなど問題点もあがっております。
北村先生がセンター長を務める、サイバー＆リアルICT学際融合研究センターでは、多様性社会における未来の遠隔コミュニケーションを豊かにすることを目指し、2023年4月1日に新設されました。
（以下東北大学プレスリリースより抜粋）
概要
未来の遠隔コミュニケーションでは、人同士が、サイバー／バーチャル空間をうまく活用しながら、自らがいるリアル／フィジカル空間のモノや情報も使いつつ、豊かなコミュニケーションができることが期待されています。
そういった豊かなコミュニケーションを実現するための鍵は、我々の日常の対人コミュニケーションで重要な役割を担っている「非言語情報」の機微を適切に伝送することができる「非言語情報通信」を実現することです。
そのためには、心理学や脳科学を基礎とした人間科学の研究やXRコミュニケーション技術の研究に加えて、AI、通信・ネットワークやセキュリティの基盤・応用研究を包括的に推し進める必要があります。
「言語情報」のAIが異なる言語を越えるツールとして世界中の多くの人々の役に立ちつつあることを参考に、我々は「非言語情報」のAIをうまく作ることによって、障がい、文化、ジェンダー等のダイバーシティに寄りそうアクセシブルでインクルーシブな社会の実現への貢献を夢見ています。
研究の背景
コロナ禍を通してオンラインで会議等を行う機会が一気に増えました。多様な働き方の提供や、移動による二酸化炭素排出量の削減、また国境を越える移動の不平等の低減等、SDGs（持続可能な開発目標）を達成するという観点からも、こういった遠隔コミュニケーションの機会は今後もますます増えてゆくと予想されています。
しかし、遠隔・オンラインではコミュニケーションがうまくとれない、分かり合えない、やっぱり対面で会わなければいけない、といった感想を持つ方も増えました。
こういった問題を引き起こす重要な原因の1つは、人々の日常の対人コミュニケーションで重要な役割を担っている非言語情報（注1）が、従来のオンライン会議では伝わりにくいことであると指摘されています。
注1. 非言語情報 非言語情報は、言語的な情報（話し言葉や書き言葉）以外の情報の全般を指します。コミュニケーションの中では、表面的にやりとりされている言語情報に加えて、それ以外の顔の表情、身体や目の動き、服装、対人距離、場の雰囲気など、様々な非言語情報の交換があります。感情を伝えるコミュニケーションでは、9割を超す情報が言葉ではなく非言語情報によって伝達されるという報告もあるなど、非言語情報がコミュニケーションにおいて大きな役割を担うことが知られています（参考文献1）。非言語情報は非常に多岐に及び、人の感情に直接関係するものから、社会的な関係に依存するまで、また、カメラをONにすればある程度簡単に伝わりやすいものから、現在はまだうまく伝える手段が確立しているとは言えないものまで様々な種類があります。
参考文献1: 大坊郁夫(1998) 「しぐさのコミュニケーション: 人は親しみをどう伝えるか」 サイエンス社
今後の展開
非言語情報は、言語的な情報（話し言葉や書き言葉）以外の情報の全般を指します。コミュニケーションの中では、表面的にやりとりされている言語情報に加えて、それ以外の顔の表情や身体・目の動き、服装、対人距離、場の雰囲気など、様々な非言語情報の交換があります。
非言語情報は非常に多岐に及び、現状のオンラインシステムやメタバースなどで伝わりやすいものから伝わりにくいもの、直接感情に関係するものからそうでないものまで多様です。そのため非言語情報通信の実現には、長期間の幅広い研究が必要です。
今、言語情報を取り扱うAIが異なる言語の壁を越えるツールとして世界中の多くの人々の役に立ちつつあります。人の身体動作や目の動き等、様々な非言語情報を取り扱うAIをうまく作ることによって、障がい、文化、ジェンダー等のダイバーシティに寄りそうアクセシブルでインクルーシブな社会の実現に向けて貢献したいと考えています。