Research

MixLabでの研究について紹介しています．システムやアプリケーションなど，使ってみたいなどワークショップなどの希望などございましたら，contact at mix-lab.net (atは@に変更)へ一度ご連絡ください．

共同研究や委託研究なども随時受け付けております．ぜひ，お声がけいただけますと幸いです．

MAIA: 漫画背景自動生成システム (2023年度～)

MAIA

Outline/概要：漫画の制作には長時間の作業が必要となります．週刊連載を行っている漫画家だと1日に10時間以上の作業が必要です．この作業工程の1つであるペン入れという作業には漫画の背景作画があり，1日以上の作業を必要とすることがあります．そのため，背景作画にはアシスタントに手伝ってもらう方法が一般的な作業時間の短縮方法ですが，連載を行っていない漫画家やこれから漫画を描こうと考えている人はアシスタントを雇うことが難しいため，作者が自ら描く必要があります．
　本研究では漫画の背景を自動で制作するシステムであるMAIA（Manga AI Assistant）システムを開発しました．

Keyword/キーワード: コミック工学，生成系AI，テキスト認識，画像認識

Presentation/研究発表

  1. 木村 峻輔, 大井翔: MAIA:画像認識と文字認識を用いた漫画背景の自動生成システムの検討, インタラクション2024, 2024/3/7.
  2. 木村峻輔, 大井翔: MAIA:漫画のシーンに基づく背景の自動生成システム, 第9回画像関連学会連合会秋季大会, 2023/11/13.

CLASS 3.0: 授業評価と環境変化に基づいたマルチ生徒エージェントを活用した授業訓練システム（2021年度～）

CLASS 3.0

Outline/概要：教員志望者は，大学等の教職課程を経て教員になります．しかし，教員志望者が現場の教員になるまでに，授業を体験・練習する機会として，教育実習や講義内の模擬授業が主となり少ない現状があります．これらが原因で，授業に対して不安を感じる教員志望者が多いという報告もあります．
　そこで，本研究は実際の教室を再現するために，授業評価と環境変化に基づいたマルチ生徒エージェント児童生徒エージェントを行うことで，現場に近い授業訓練システムの開発をしています．このシステムを活用することで，少しでも現場に近い体験をし，授業に対する自信をつけて，教員になってほしいと思っております．

Keyword/キーワード: マルチエージェントシステム，ヴァーチャルリアリティ，教師教育システム，ChatGPT，画像認識

Presentation/研究発表

  1. シュレスタアロク, 桝本智絵, 大井翔: 授業訓練システムCLASS3.0を活用した現役教師と教師志望者の仮想生徒へのインタラクション分析と評価, 研究報告教育学習支援情報システム（CLE）, vol.2023-CLE-42, no.25, pp.1-4, 2024/3/24.
  2. Alok Shrestha, Chie Masumoto, and Sho Ooi, Mahiro Horike, and Takeshi Goto: Research on Support System for Programmatic Thinking based on Metacognition of Instructional Interaction, 2024 the 12th International Conference on Information and Education Technology (ICIET), 2024/3/20. (peer reviewed paper).
  3. シュレスタアロク, 桝本智絵, 大井翔: 授業訓練システムにおける教師と仮想生徒間の対話についての検討, 教育システム情報学会2023年度学生研究発表会（中国地区）, 2024/2/23.
  4. シュレスタアロク, 福島颯太, 大井翔: 教師訓練システムにおける生徒と教師間の対話システムの検討, 2023年度情報処理学会関西支部支部大会, 2023/9/24.
  5. 福島颯太, 桝本智絵, 大井翔: 画像処理に基づく視点移動を考慮した授業訓練システムと板書の定量的振り返りの効果検証, 教育情報システム学会 2022年度学生研究発表会(四国), 2023/3/13.
  6. 福島颯太，桝本智絵，大井翔: マルチ児童生徒エージェントを活用した授業訓練システムに視点移動が与える影響について, 第27回バーチャルリアリティ学会大会, 2022/9/14.
  7. Sota Fukushima, Sho Ooi, Haruto Kochi, and Takeshi Goto: Study on Teacher’s Behavior Analysis of School Children based on Skeleton Information, International Conference for Media in Education (ICoME2022), 2022/8/4. (peer reviewed paper).
  8. 河内治遼，大井翔，佐野睦夫，後藤壮史: 授業振り返りのための授業中の児童生徒に対する教員の行動解析に関する検討, 2021年度JSiSE学生研究発表会, 2022/3/7.
  9. 桝本智絵，大井翔，佐野睦夫: 授業評価と環境変化に基づいたマルチ生徒エージェントを活用した授業訓練システムの検討, 教育工学研究会, 2022/3/4.
  10. 桝本智絵，大井翔，佐野睦夫: 授業訓練システムにおけるマルチエージェントプランニングに関する検討, 第26回バーチャルリアリティ学会大会, 2021/9/14.

VR認知リハビリテーションシステム（2022年度～）

VR認知リハビリテーションシステム

Outline/概要：高次脳機能障害とは，脳の部分的な損傷が原因で言語や記憶などの知的機能の障害のことです．従来の評価は検査キットを用いており，検査キットの評価が高いから生活が十分に送れるとは限りません．例えば、点数が低い方でも生活ができる場合があり，点数と生活では少し異なる部分もあります．
　本研究では，生活空間をベースとしたVR認知リハビリテーションを開発し，その効果を検証するために実際の障がい者リハビリテーション施設などで検証を行っており，検査キットから得られないような結果も見ることができるようになりました．実際に，障がい者施設のプログラムとして活用もしてもらっています．

Keyword/キーワード: ヴァーチャルリアリティ，認知リハビリテーション，福祉工学
Collaboration/共同研究：大阪府障がい者自立センター・病院施設等

Presentation/研究発表

  1. 遠藤飛鳥, 岩崎寛太, 大井翔: VR認知リハビリテーションシステムにおける調理動作機能の検討, 第27回高齢社会デザイン研究発表, 2023/9/24.
  2. 岩崎寛太, 大井翔, 鈴木基之, 佐野睦夫: 日常生活行動に基づくVR認知リハビリテーションの開発とその検証, 第26回高齢社会デザイン研究会, 2023/3/1.
  3. 岩崎寛太，大井翔，鈴木基之: VRを用いた高次脳機能障害における認知機能検査アプリケーションの開発とその評価の検討, 第27回バーチャルリアリティ学会大会, 2022/9/12.
  4. 佐野睦夫，大井翔，辻村拓実: VR/AR 技術における感覚の提示、拡張技術と最新応用事例～生活行動VR空間による認知トレーニング支援システムの開発～, 技術情報協会, pp.487-498, 2021/6/30.


DeVA: 避難訓練の教材アプリケーションの開発（2019年度～）

DeVA

Outline/概要：従来のバーチャルリアリティを活用した避難訓練のシステムは，消火器の使い方や煙の充満した場合での避難など避難時の指導者側のシステムやある一部分の訓練するシステムが多いです．実際に学校を始めとする避難者の多くは，初期消火なども重要ですが，安全に避難することが一番重要です．
　このシステムでは，NPCなどの間違った誘導なども含まれており，集団心理の部分に働きかけ，周りの行動には流されず，自分の震災時における正しい知識を持って避難する必要があります．また，体験後には体験した避難行動に対してどのように動いたか，どういう部分に避難したかで評価を行い，フィードバックをします．体験者は自身の評価を見て，次にどのように避難したらよいのかを考え，何度も体験することで，正しい避難に関する知識を得ることができるシステムを開発しており，小学校の防災教育で活用してもらっています．

Keyword/キーワード: 防災教育，防災心理，行動心理学，ヴァーチャルリアリティ
Collaboration/共同研究：奈良県王寺町立義務教育学校（旧：王寺町立王寺小学校）

Presentation/研究発表

  1. 福本考生，大井翔，佐野睦夫，後藤壮史: VRを用いた避難体験アプリケーションの開発と避難体験者の避難行動分析, 2021年度JSiSE学生研究発表会, 2022/3/7.
  2. 福本考生、大井翔，松下智晴，菊池晶陽，佐野睦夫，後藤壮史: 避難訓練アプリケーションDeVAを活用した避難者行動の傾向調査, 第26回バーチャルリアリティ学会大会, 2021/9/14.
  3. 大井翔，菊池晶陽，松下智晴，福本孝生，後藤壮史: 地震時における災害体験のVirtual RealityアプリDeVAの効果検討, 日本災害情報学会第23回学会大会, 2021/11/27.
  4. 松下智晴, 菊池晶陽, 大井翔, 後藤壮史, 佐野睦夫: DeVA：VRを用いた防災知識向上のための避難訓練アプリケーションの開発, インタラクション2021, 2021/3/11.
  5. Sho Ooi, Akihiro Kikuchi, Takeshi Goto, Mutsuo Sano: Development and Verification of Mixed Disaster Training System in Virtual Reality based on Experience Learning, 2021 10th International Conference on Educational and Information Technology (ICEIT 2021), pp.29-33, 2021/1/19. (peer reviewed paper).
  6. 松下智晴，菊池晶陽，大井翔，後藤壮史，佐野睦夫: DeVA：避難体験に基づく防災知識向上のためのVRアプリケーションの開発, 電子情報通信学会―教育工学研究会, 2020/12/12.
  7. 菊池晶陽，大井翔，後藤壮史，佐野睦夫: 行動心理と体験学習に基づくVR避難訓練システムMisasTer-Systemの開発, インタラクション2020, no.2B17, pp.570-575, 2020/3/10.
  8. 菊池晶陽，大井翔，後藤壮史，佐野睦夫: 行動心理と体験学習に基づくVR避難訓練システムの開発, 電子情報通信学会－教育工学研究会 (ET), 2019/11/9.

PhyApps: 体育授業のサポートシステム（2022年度）

Outline/概要：小・中・高等学校で行われる体育授業の器械運動は，学習者が自身の動きを客観的に把握することは難しく，その課題に気づけないという場面が多くあります．また，指導者側も細かな行動を観察することが必要になりますが，瞬時に終わる動きのため原因を見つけることは難しいという問題があります．
　本研究では，跳び箱，マット運動などの器械運動における人の動作軌跡の可視化を行い，定量的に振り返りを行うシステムの開発をしており，現在，跳び箱における開脚跳び箱やマット運動における前転運動／後転運動に対してサポートができ，小学校などで実際に使ってもらっています．

Keyword/キーワード: 体育教育，GIGAスクール，振り返り支援，画像認識
Collaboration/共同研究：奈良県王寺町立義務教育学校（旧：王寺町立王寺小学校）

Presentation/研究発表

  1. Sho Ooi, Mahiro Horike, and Takeshi Goto: Development Reflection Application for Backward Roll Motion based on Pose Recognition, 2024 13th International Conference on Software and Computer Applications (ICSCA 2024), 2024/2/3. (peer reviewed paper).
  2. 堀家守浩, 大井翔, 後藤壮史: 骨格認識に基づく後転運動の振り返りアプリケーションの開発とその検証, 教育情報システム学会 2022年度学生研究発表会(四国), 2023/3/13.
  3. Sho Ooi, Prasanna Kadle, and Haruo Noma: Study on Exercise Evaluation based on Pose Estimation for Remote Exercise System, 2022 6th International Conference on Video and Image Processing (ICVIP2022), 2022/12/26. (peer reviewed paper).
  4. 堀家守浩，大井翔，佐野睦夫: ICTを活用したマット運動に対する振り返りシステムの検討, 2022年度 第50回 画像電子学会年次大会, 2022/8/31.
  5. Takeshi Goto, Daiki Sakurai and Sho Ooi: Proposal of Feedback System Using Skeletal Analysis in Physical Education Classes, 2020 The 4th International Conference on Education and Multimedia Technology (ICEMT 2020), 2020/7/19. (peer reviewed paper).
  6. 櫻井大暉，大井翔，後藤壮史，野間春生: 器械運動における身体軌跡の可視化の検討, 情報処理学会　第153回コンピュータと教育研究発表会, 2020/2/15.
  7. 姚舜禹，大井翔，松村耕平，野間春生: ゲーミフィケーションに基づく体操支援システムの提案, インタラクション2019, 2019/3/6.

きずぷろ: 組み立て遊びを活用したプログラミングアプリケーション（2019年度～

Outline/概要：2020年度から小学校におけるプログラミング教育は必修となり，プログラミング的思考力や論理的思考力は重要です．我々は，レゴブロックを活用した組み立て遊びにおけるプログラミング的思考力の向上を目指したシステム「きずぷろ」を開発しています．「きずぷろ」は，ビジュアルプログラミングの形式を取り入れたアプリケーションになっており，Webを介してどこでも活用することのできるシステムです．
　小学校での実施や枚方市教育委員会が開催しているGIGAフェスにて毎年ワークショップを実施しております．

Keyword/キーワード: プログラミング教育，ブロック組立，GIGAスクール
Collaboration/共同研究：奈良県王寺町立義務教育学校（旧：王寺町立王寺小学校）

Presentation/研究発表

  1. 渋谷昇生, 大井翔: ブロック組立遊びアプリケーションを活用した論理的思考力育成に関する研究, 教育情報システム学会 2022年度学生研究発表会(関西), 2023/3/6.
  2. Shoki Shibutani, Sho Ooi, Shunsuke Inatomi, and Takeshi Goto: Development of Block Assembly Application for Developing Logical Thinking Skills, International Conference for Media in Education (ICoME2022), 2022/8/4. (peer reviewed paper).
  3. 織原知賢，稲富峻祐，大井翔，後藤壮史: きずぷろん：小学校プログラミング教育のための論理的思考力に基づくブロック組み立て遊びアプリの開発, 第196回ヒューマンコンピュータインタラクション研究会, 2022/1/12.
  4. 稲富峻祐, 大井翔, 後藤壮史, 佐野睦夫: きずぷろ：組み立て遊びによるプログラミング的思考力の育成アプリの開発, インタラクション2021, 2021/3/12.
  5. 稲富峻祐，大井翔，後藤壮史，佐野睦夫: きずぷろ：組み立て遊びによるプログラミング的思考育成のための学習アプリの検討, 電子情報通信学会―教育工学研究会, 2020/12/12.

指示インタラクションのメタ認知に基づくプログラミング的思考育成支援システム（2022年度～）

Outline/概要：文部科学省はIT人材育成の為に，新学習指導要領を策定し，その中で重要な項目としてプログラミング教育が取り上げられています．これらの能力は，”分解”，”抽象化”，”一般化”，”組み合わせ”，などの要素に分類され，これらを向上させることが重要です．また，現在の教育現場で必要とされるプログラミング教育には，単純なプログラミング体験が可能でプログラミング的思考力が鍛えられるだけでなく，言語構成力も共に向上する事が必要な要素の一つとなります．本研究では単純なプログラミング体験だけではなく，プログラミングに用いられている概念の理解や，プログラミング的思考能力の向上を，訓練システムの体験を通す事で達成出来る教育システムを開発し，開発したシステムとプログラミング的思考能力の関係性を明らかにする事を目的として研究を進めています．

Keyword/キーワード: 論理的思考力，対話コミュニケーション，ヒューマンロボットインタラクション，プログラミング教育，GIGAスクール

Presentation/研究発表

  1. 石川理一朗, 佐野睦夫, 大井翔: 指示インタラクションのメタ認知に基づくプログラミング的思考育成支援システムに関する研究, 教育工学研究会, 2023/3/15.
  2. 石川理一朗，佐野睦夫，大井翔: 記号創発ロボティクスに基づく家庭内ロボットとの指示対話を介したプログラミング的思考教育の試み, 日本ロボット学会学術講演会予稿集, 2022/9/8.

新任教師のための振り返り支援システム（2018年度～2021年度）

図　授業中の教師の行動解析

Outline/概要：新任教員の課題の一つとして，「教師」として初日から講義をする必要があります． 講義をする機会としては，教育実習や塾などの講師などがありますが， 実際の学校の教壇の雰囲気とは異なります． つまり，新任教員が実際の現場に近い環境で訓練することは困難であると考えています． そこで，新任教員が実際の現場に近い環境で授業を訓練する模擬授業支援システムが重要であります． 模擬授業支援システムは，(1)実世界に近い環境を提示，(2)授業中の教員行動を定量的に評価する， (3)体験映像を振り返る機能（“気づき”を与えること），という3種類の機能が必要である． 現在，(2)授業中の教員の行動を定量的に評価することに着目して研究をしています．

Keyword/キーワード: 教員行動認識，模擬授業，行動評価，教育工学
Collaboration/共同研究：奈良県王寺町立義務教育学校（旧：王寺町立王寺小学校）

Presentation/研究発表

  1. Sho Ooi, Takeshi Goto: Analyzation of Class Observation Different between Expert Teachers and Beginner Teachers, 2022 11th International Conference on Educational and Information Technology (ICEIT 2022), pp.190-195, 2022/1/7. (peer reviewed paper).
  2. 河内治遼，大井翔，佐野睦夫，後藤壮史: 授業振り返りのための授業中の児童生徒に対する教員の行動解析に関する検討, 2021年度JSiSE学生研究発表会, 2022/3/7.
  3. 大井翔，後藤壮史: 教員志望者と現職教員の授業観察における違いについての分析, 電子情報通信学会―教育工学研究会, 2021/9/10.
  4. Yuchen Wang, Sho Ooi, Takeshi Goto, Haruo Noma: Reflection System based on Teacher’s Behavior and Speech for Improving Class of Beginner Teacher, International Conference for Media in Education (ICoME 2021), 2021/8/20. (peer reviewed paper).
  5. 大井翔，姚舜禹，野間春生: ST-GCNを用いた教師行動パターンに基づく教師行動の定量的評価, 画像電子学会誌, vol.40, no.2, pp.245-253, 2021/5/6. (査読あり). 
  6. wang yuchen, 大井翔, 松村耕平, 野間春生: 新任教員の授業力向上のための授業振り返りシステムに関する研究, インタラクション2021, 2021/3/12.
  7. 大井翔，後藤壮史: 初心者教員と現職教員間の授業観察時の定量的分析に関する検討, 電子情報通信学会―教育工学研究会, 2020/12/12.
  8. 謝心怡，大井翔，後藤壮史，野間春生: 授業の振り返り支援のための画像処理に基づく授業中における生徒の状態把握に関する検討, 信学技報ET2020-24, vol.120, no.192, pp.13-18, 2020/10/17.
  9. Sho Ooi, Shunyu Yao, and Haruo Noma: Study on Visualization of Different Teacher Behavior Based on Teacher Experience during Trial Class, International Journal of Learning and Teaching, vol.6, no.3, pp.177-185, 2020/9/1. (peer reviewed paper).
  10. Yuchen Wang, Sho Ooi, Takeshi Goto, Haruo Noma: A Study on Teacher’s Speech Analyzing during Class based on Morphological Analysis, International Conference for Media in Education (ICoME 2020), pp.153-155, 2020/8/17. (peer reviewed paper).
  11. 大井翔: 授業力向上のための教師視点映像に基づく模擬授業中の行動の可視化の検討, 2020年電子情報通信学会総合大会, 2020/3/17.
  12. Yuchen Wang，大井翔，松村耕平，野間春生: 模擬授業訓練システムのための教員行動可視化に関する研究, インタラクション2020, vol.2P81, pp.771-775, 2020/3/10.
  13. 姚舜禹，大井翔，野間春生: 熟練・新任教師の動作パターンに基づく教師行動の定量的評価手法, 電子情報通信学会－教育工学研究会 (ET), 2019/7/6.

人の認知特性を考慮したキャラクターにあった声の生成に関する研究（2019年度～）

図　声の変換モデル

Outline/概要：人が人の顔などを見た際に，自分の中でその人がどのような声をしているのかを推定することができます．同じように，キャラクタを見た際にも同様のことができます．しかし，キャラクタの声については，人によっては微妙に合っている／あっていないということが出てきてしまします．そこで，この研究では，人がキャラクタを見た際に，どのような特徴から声を推定しているのか，どのような声を割り当てているのかを心理的な実験を得て，モデルを生成し，キャラクタにあった声を作る研究をしています．

Keyword/キーワード: 音声合成，音声生成，認知心理学，アニメーションキャラクター

Presentation/研究発表

  1. 斉藤彰吾, 大井翔, 佐野睦夫: キャラクタに適合した合成音声の生成と人間によるイメージとの一致検証, インタラクション2024, 2024/3/8.
  2. 斉藤彰吾, 大井翔, 佐野睦夫: 人間の認知特性に基づく音声学習によるキャラクタに適合した音声生成の手法の検討, 2023年度情報処理学会関西支部支部大会, 2023/9/24.
  3. 斉藤彰吾, 大井翔, 佐野睦夫: 人間の認知特性の基づくキャラクタにあった音声生成の検討, インタラクション2023, 2023/3/10.
  4. Shogo Saito, Sho Ooi, and Mutsuo Sano: 2D Character Investigating the relationship between illustrations and voices, International Workshop on Advanced Image Technology (IWAIT2023), 2023/1/9. (peer reviewed paper).
  5. 斉藤彰吾，大井翔，佐野睦夫: 2次元キャラクタにおける音声生成モデルの検討, 2022年度情報処理学会関西支部　支部大会, 2022/9/18.
  6. 大道昇，大井翔，佐野睦夫: 2次元キャライラストの顔パーツにおける音声生成手法の検討, インタラクション2022, 2022/2/28.
  7. Noboru Omichi, Sho Ooi and Mutsuo Sano: Study on Feature Extraction Method from 2D Character Illustration based on Human’s Cognitive Characteristics for Automatic Voice Estimation, 2022 4th Asia Digital Image Processing Conference (ADIP 2021), 2021/12/19. (peer reviewed paper).
  8. 大道昇，大井翔，佐野睦夫: ⼈間の認知特性による2次元キャライラストの⾳声推定⼿法の検討, 2021年度情報処理学会関西支部　支部大会, 2021/9/19.
  9. 大道昇, 大井翔, 佐野睦夫: オーディオブックス自動生成のための2次元キャラクタ特徴と声の関係性の調査, インタラクション2021, 2021/3/10.
  10. 大道昇，大井翔，佐野睦夫: オーディオブックス自動生成のための2次元キャラクタ特徴に基づく音声生成の検討, 2020年度情報処理学会関西支部　支部大会, 2020/9/20.
  11. 大道昇，大井翔，佐野睦夫: VAEを用いた2Dキャラクタの特徴抽出の検討, インタラクション2020, no.3P78, pp.1064-1069, 2020/3/11.

生活行動におけるリアルタイムな注意状態計測（2019年度～）

Outline/概要：高次脳機能障害とは，脳の部分的な損傷が原因で言語や記憶などの知的機能の障害のことです．高次脳機能障害のリハビリテーション（認知リハビリテーション）では，症例に“気づき”を与えることは重要です．気づきを与えるためには，自身の体験映像とともに数値化された認知機能を提示することが望ましいが，従来の評価は検査キットを用いており，静的なうえ毎日のように実施することが困難となります．本研究では，認知リハビリテーションに効果の高い調理に着目し，調理時の中でも危険な動作を含む包丁を扱う動作中における状態から注意機能の評価する方式を提案しています．

Keyword/キーワード: 注意機能評価，遂行機能評価，コンピュータビジョン，認知リハビリーション
Collaboration/共同研究：慶應義塾大学，病院施設等

  1. 山本涼太, 大井翔: 画像認識による作業ミス検出とフィードバックによるメタ認知向上システムに関する研究, 第26回高齢社会デザイン研究会, 2023/3/1.
  2. 山本涼太，大井翔，佐野睦夫: 調理中の注意行動を制御する動作フィードバックキッチンシステムの検討, 2022年度 第50回 画像電子学会年次大会, 2022/8/31.
  3. Sho Ooi, Kazuki Hashimoto, Haruo Noma, and Mutsuo Sano: Research on Dynamic Attention State during Cognitive Rehabilitation with Cooking for Patients with Acquired Brain Injury, 2020 4th International Conference on Video and Image Processing (ICVIP 2020) , 2020/12/27. (peer reviewed paper).
  4. 大井翔: 認知リハビリテーションのための日常生活行動に基づく認知機能の定量化に関する研究―調理時における動的な注意機能評価の検討―, 地域ケアリング, vol.22, no.5, pp.62-65, 2020/5/12.
  5. 大井翔，橋本和樹，野間春生，佐野睦夫: 高次脳機能障害者支援のための調理時における動的な注意機能の評価に関する検討, 信学技報ET2020-55, vol.119, no.478, pp.91-96, 2020/3/14.
  6. 橋本和樹，大井翔，野間春生，佐野睦夫，田渕肇，斎藤文恵，梅田聡: 調理を題材とした認知リハビリテーションにおける包丁使用時の危険度分類の検討, 画像電子学会研究会予稿19-3-12（第292回研究会）, pp.51-56, 2020/2/28.
  7. 橋本和樹，大井翔，野間春生，佐野睦夫，田渕肇，斎藤文恵，梅田聡: 認知リハビリテーションのための手の骨格情報に基づく状態検出の検討, 画像関連学会連合会第6回秋季大会, 2019/11/1.

人の視線情報から無意識化の興味を取得する（2022年度）

Outline/概要：昨今，マーケティングの一環として広告に力を入れている企業が多くあり、私たちの身の回りにもたくさんの広告媒体が存在します. 本研究では，そのような広告がありふれた世の中で利用者がまだ自覚していない興味を，手軽に身についけられるシースルー型HMDを使ってリアルタイムに提案することを目的として研究を進めています．

Keyword/キーワード: 視線分析，興味分析，シースルーHMD

  1. シユレスタアロク，大井翔: シースルー型HMDを用いた視線推定に基づく興味の取得, 第27回バーチャルリアリティ学会大会, 2022/9/13.

こんぷれ: 組み立て遊びを活用したプログラミング的思考力訓練アプリ（2018年度～2021年度）

図　こんぷれ（Constructed Playing）システム

Outline/概要：2020年度から小学校におけるプログラミング教育は必修となり，プログラミング的思考力や論理的思考力は重要です．我々は，レゴブロックを活用した組み立て遊びにおけるプログラミング的思考力の向上を目指したシステム「こんぷれ」を開発しています．「こんぷれ」は，ルールに従い組み立てのプランを考え，プランに従い実施し，組み立てたブロックをルールに基づいて点数化し，その点数を子どもにフィードバックすることで，どの過程が良かった・悪かったかを考え，再度取り組むサイクルとなっています．これは，これは，プログラミングにおける設計，コーディング，デバッグの作業の体験と同じで，小学校低学年の段階から訓練することができます．

Keyword/キーワード: 論理的思考力，ヴァーチャルリアリティ，組み立て遊び
Collaboration/共同研究：奈良県王寺町立義務教育学校（旧：王寺町立王寺小学校）

  1. Yuchen Wang, Sho Ooi, Takeshi Goto, and Haruo Noma: Study on Evaluation of Constructed Block Model based on Deep Learning for ComPllay System, International Conference for Media in Education (ICoME2022), 2022/8/4. (peer reviewed paper).
  2. 大井翔，並里翔平，後藤壮史，佐野睦夫: こんぷれ：組み立て遊びによる論理的思考力の訓練システムの提案, 信学技報ET2020-6, vol.120, no.95, pp.7-12, 2020/7/10.
  3. 並里翔平，大井翔，後藤壮史，佐野睦夫: 組み立て遊びにおける論理的思考力の可視化システムの提案, 電子情報通信学会－教育工学研究会 (ET), 2019/11/9.