これまでの研究について紹介しています．アプリケーションなど，使ってみたいなどございましたら，一度ご連絡ください．
人を支援する研究
授業評価と環境変化に基づいたマルチ生徒エージェントを活用した授業訓練システム
教員志望者は，大学等の教職課程を経て教員になります．しかし，教員志望者が現場の教員になるまでに，授業を体験・練習する機会として，教育実習や講義内の模擬授業が主となり少ない現状があります．これらが原因で，授業に対して不安を感じる教員志望者が多いという報告もあります．そこで，本研究は実際の教室を再現するために，授業評価と環境変化に基づいたマルチ生徒エージェント児童生徒エージェントを行うことで，現場に近い授業訓練システムの開発をしています．このシステムを活用することで，少しでも現場に近い体験をし，授業に対する自信をつけて，教員になってほしいと思っております．
Keyword: マルチエージェントシステム，ヴァーチャルリアリティ，教師教育システム
DeVA: 避難訓練の教材アプリケーションの開発
VR認知リハビリテーションシステム
高次脳機能障害とは，脳の部分的な損傷が原因で言語や記憶などの知的機能の障害のことです．従来の評価は検査キットを用いており，検査キットの評価が高いから生活が十分に送れるとは限りません．例えば、点数が低い方でも生活ができる場合があり，点数と生活では少し異なる部分もあります．
本研究では，生活空間をベースとしたVR認知リハビリテーションを開発し，その効果を検証するために実際の障がい者リハビリテーション施設などで検証を行っており，検査キットから得られないような結果も見ることができるようになりました．
こんぷれ: 組み立て遊びを活用したプログラミング的思考力訓練アプリ
2020年度から小学校におけるプログラミング教育は必修となり，プログラミング的思考力や論理的思考力は重要です．我々は，レゴブロックを活用した組み立て遊びにおけるプログラミング的思考力の向上を目指したシステム「こんぷれ」を開発しています．「こんぷれ」は，ルールに従い組み立てのプランを考え，プランに従い実施し，組み立てたブロックをルールに基づいて点数化し，その点数を子どもにフィードバックすることで，どの過程が良かった・悪かったかを考え，再度取り組むサイクルとなっています．これは，これは，プログラミングにおける設計，コーディング，デバッグの作業の体験と同じで，小学校低学年の段階から訓練することができます．
Keyword: 論理的思考力，ヴァーチャルリアリティ，組み立て遊び
共同研究：奈良県王寺義務教育学校
PhyApps: 体育授業のサポートシステム
小・中・高等学校で行われる体育授業の器械運動は，学習者が自身の動きを客観的に把握することは難しく，その課題に気づけないという場面が多くあります．また，指導者側も細かな行動を観察することが必要になりますが，瞬時に終わる動きのため原因を見つけることは難しいという問題があります．そこで，本研究では，跳び箱，マット運動などの器械運動における人の動作軌跡の可視化を行い，定量的に振り返りを行うシステムの開発を目指しています．
現在，跳び箱における開脚跳び箱やマット運動における前転運動／後転運動に対してサポートすることができるシステムの開発を行っています．
きずぷろ: 組み立て遊びを活用したプログラミング教材
2020年度から小学校におけるプログラミング教育は必修となり，プログラミング的思考力や論理的思考力は重要です．我々は，レゴブロックを活用した組み立て遊びにおけるプログラミング的思考力の向上を目指したシステム「きずぷろ」を開発しています．「きずぷろ」は，ビジュアルプログラミングの形式を取り入れたアプリケーションになっており，Webを介してどこでも活用することのできるシステムです．
Keyword: 論理的思考力，ヴァーチャルリアリティ，組み立て遊び
共同研究：奈良県王寺小学校
新任教師のための振り返り支援システム
新任教員の課題の一つとして，「教師」として初日から講義をする必要があります． 講義をする機会としては，教育実習や塾などの講師などがありますが， 実際の学校の教壇の雰囲気とは異なります． つまり，新任教員が実際の現場に近い環境で訓練することは困難であると考えています． そこで，新任教員が実際の現場に近い環境で授業を訓練する模擬授業支援システムが重要であります． 模擬授業支援システムは，(1)実世界に近い環境を提示，(2)授業中の教員行動を定量的に評価する， (3)体験映像を振り返る機能（“気づき”を与えること），という3種類の機能が必要である． 現在，(2)授業中の教員の行動を定量的に評価することに着目して研究をしています．
Keyword: 教員行動認識，模擬授業，行動評価，教育工学
人を理解する研究
オーディオブックスの自動生成
本を読んでいる時に脳内で声を再生して読んでいませんか．この研究では，人がどういう情報から声を生成しているのかを研究し，このプロセスをシステム化することにより，人にあったオーディオブックスの自動生成ができると考えています．こうすることにより，思っていた声と違うなどといった違和感などがなく，コンテンツを楽しむことができると考えています．
Keyword: 音声情報，心理モデル，Text to Audio
人の感性に合った声を自動で生成する
人が人の顔などを見た際に，自分の中でその人がどのような声をしているのかを推定することができます．同じように，キャラクタを見た際にも同様のことができます．しかし，キャラクタの声については，人によっては微妙に合っている／あっていないということが出てきてしまします．そこで，この研究では，人がキャラクタを見た際に，どのような特徴から声を推定しているのか，どのような声を割り当てているのかを心理的な実験を得て，モデルを生成し，キャラクタにあった声を作る研究をしています．
Keyword: 音声情報，心理モデル，Text to Audio
人の視線情報から無意識化の興味を取得する
昨今，マーケティングの一環として広告に力を入れている企業が多くあり、私たちの身の回りにもたくさんの広告媒体が存在します. 本研究では，そのような広告がありふれた世の中で利用者がまだ自覚していない興味を，手軽に身についけられるシースルー型HMDを使ってリアルタイムに提案することを目的として研究を進めています．
Keyword: 視線分析，興味分析，シースルーHMD
生活行動におけるリアルタイムな注意状態計測
高次脳機能障害とは，脳の部分的な損傷が原因で言語や記憶などの知的機能の障害のことです．高次脳機能障害のリハビリテーション（認知リハビリテーション）では，症例に“気づき”を与えることは重要です．気づきを与えるためには，自身の体験映像とともに数値化された認知機能を提示することが望ましいが，従来の評価は検査キットを用いており，静的なうえ毎日のように実施することが困難となります．本研究では，認知リハビリテーションに効果の高い調理に着目し，調理時の中でも危険な動作を含む包丁を扱う動作中における状態から注意機能の評価する方式を提案しています．
Keyword: 注意機能評価，コンピュータビジョン，認知リハビリテーション
共同研究：慶應義塾大学，病院施設等
指示インタラクションのメタ認知に基づくプログラミング的思考育成支援システム
文部科学省はIT人材育成の為に，新学習指導要領を策定し，その中で重要な項目としてプログラミング教育が取り上げられています．これらの能力は，”分解”，”抽象化”，”一般化”，”組み合わせ”，などの要素に分類され，これらを向上させることが重要です．また，現在の教育現場で必要とされるプログラミング教育には，単純なプログラミング体験が可能でプログラミング的思考力が鍛えられるだけでなく，言語構成力も共に向上する事が必要な要素の一つとなります．
本研究では単純なプログラミング体験だけではなく，プログラミングに用いられている概念の理解や，プログラミング的思考能力の向上を，訓練システムの体験を通す事で達成出来る教育システムを開発し，開発したシステムとプログラミング的思考能力の関係性を明らかにする事を目的として研究を進めています．
Keyword: 論理的思考力，ヴァーチャルリアリティ，対話