表彰式の様子
明治大学総合数理学部の本間 大一優さん（先端メディアサイエンス学科2年）と同学科の宮下 芳明教授が、情報処理学会シンポジウム「インタラクション2024」において、「インタラクティブ発表賞（一般投票）」を受賞しました。
本間さんと宮下教授は、白黒映像でもアニメでも、映像に映っている食べ物の味を出すことができるシステムTasteColorizerについてデモ発表を行い、参加者による投票によって選ばれました。また、プログラム委員会によるスクリーニングによって「プレミアム発表」にも選出されています。
本間大一優，宮下芳明. TasteColorizer: 既存の映像メディアを「味わえる映像」にするシステム．インタラクション2024 論文集, pp.1260 - 1265, 2024.
映像技術が発明されて以来、人類は様々な映像を記録してきた。そして近年、「味覚メディア」の発達により、映像だけでなく味も記録して再生できるようになった。しかし、過去に作られた映像の味は記録できない。そこで、白黒映像をカラー化する技術のように、味が記録されていない映像に対しても、味を推定し付与するシステムを提案する。味はGPT4-Vision により映像の全シーンに対して推定される。プロンプトでは、飲食物の名前、材料とその量をまず推測し、その後に味を推定するように指示しており、段階的な推論によって精度の高い推定が可能である。また，推定された味データは映像とともに各ピクセルに対応する形で、MP4を拡張したファイルに記録される。視聴者は、再生時に映像上の飲食物を指定して、対応する味を出力し味わうことができる。味は記録されるため、再生時に推論は必要ない。本システムによって、既存の映像メディアを「味わえる映像」にすることができる。
