Go Forward

総合数理学部

【総合数理学部】先端メディアサイエンス学科2年の本間 大一優さん・宮下 芳明教授がインタラクション2024インタラクティブ発表賞(一般投票)を受賞

2024年03月12日
明治大学 総合数理学部

表彰式の様子表彰式の様子

明治大学総合数理学部の本間 大一優さん(先端メディアサイエンス学科2年)と同学科の宮下 芳明教授が、情報処理学会シンポジウム「インタラクション2024」において、「インタラクティブ発表賞(一般投票)」を受賞しました。

本間さんと宮下教授は、白黒映像でもアニメでも、映像に映っている食べ物の味を出すことができるシステムTasteColorizerについてデモ発表を行い、参加者による投票によって選ばれました。また、プログラム委員会によるスクリーニングによって「プレミアム発表」にも選出されています。

本間大一優,宮下芳明. TasteColorizer: 既存の映像メディアを「味わえる映像」にするシステム.インタラクション2024 論文集, pp.1260 - 1265, 2024.

映像技術が発明されて以来、人類は様々な映像を記録してきた。そして近年、「味覚メディア」の発達により、映像だけでなく味も記録して再生できるようになった。しかし、過去に作られた映像の味は記録できない。そこで、白黒映像をカラー化する技術のように、味が記録されていない映像に対しても、味を推定し付与するシステムを提案する。味はGPT4-Vision により映像の全シーンに対して推定される。プロンプトでは、飲食物の名前、材料とその量をまず推測し、その後に味を推定するように指示しており、段階的な推論によって精度の高い推定が可能である。また,推定された味データは映像とともに各ピクセルに対応する形で、MP4を拡張したファイルに記録される。視聴者は、再生時に映像上の飲食物を指定して、対応する味を出力し味わうことができる。味は記録されるため、再生時に推論は必要ない。本システムによって、既存の映像メディアを「味わえる映像」にすることができる。