視線によるコミュニケーションボード(eTalk)

このプログラムについて

Tobii社のゲーム用視線デバイスEye Tracker 4C(あるいはEyeX)を使ったコミュニケーションボード作成ソフトウェアです。フォルダに画像と音声ファイルを入れて,メモ帳などで画像ファイルと音声ファイルの名前を並べたテキストファイルを書けば,画像を画面に表示して,それを見たり,画面をタッチすると音声を再生してくれるようになります。音声ファイルの代わりに別のテキストファイルを指定することもできますので,階層型のコミュニケーションボードを作るなどもできます。

私のゼミでは,身体の不自由な子どもさんの意思伝達や教材作成をサポートするために使っています。



本プログラムは,2019年度~2021年度 科学研究費助成事業(基盤研究(C),課題番号19K03389「センサ技術を活用した障害児の認知機能評価・発達支援プログラムの開発」)の補助を受けて開発しました。

 

動作環境

ハードウェア

  • Windows PC(TobiiのEye Tracker 4CあるいはEyeXが動作するもの)
  • Tobii Eye Tracker 4C(あるいはEyeX)(なくても動くので,マウスやタッチで操作しても構いません)

 

OS

  • 動作確認OS…Windows 10(プログラムは32bitでコンパイルしています)
  • このプログラムをお使いになるには,Windowsでファイルの拡張子を表示するように設定しておくことをお薦めします。拡張子を表示する方法については,「windows 拡張子 表示」などのキーワードでインターネット検索を行ってみてください。

 

使い方

プログラムの実行

  • zipファイルをダウンロードした後,まず「右クリック」→「プロパティ」を選択して,「このファイルは他のコンピュータから取得したものです。…アクセスはブロックされる可能性があります。」という記述の横の「許可する」にチェックを入れて,ブロックを解除してください(これをしないと,最初の実行時に「WindowsによってPCが保護されました…不明な発行元」というダイアログが出てドキッとすることになります)。

  • その後,フォルダごと解凍して,フォルダ内の「eTalk.exe」を実行してみてください。
  • プログラムはUnityで作成していますが,シマンテック社のノートンセキュリティがインストールされていると,マルウェアと勘違いされて削除されてしまうようです。私のページのプログラムは,トレンドマイクロ社のウイルスバスターと大学がライセンス契約しているマカフィー社のセキュリティソフトで安全を確認しています。

 

このプログラムの仕組み(基本動作)

  • プログラムは,何も指定せずに実行すると「pic」というフォルダの「start.txt」というテキストファイルを読んで,そこに書かれた画像ファイルを画面に表示します(ひとつの画面に表示できる画像の数は最大15です)。

 

  • start.txtの内容は以下のようになっています。テキストファイルには,画像ファイル名(拡張子「.jpg」)と音声ファイル名(拡張子「.wav」)が半角カンマで区切って書かれています。また,最後の行には,「次.jpg」という画像ファイルの後に,「2.txt」というテキストファイル名が書かれています。

 

  • picフォルダの中には,以下のようなファイルが入っています。本プログラムは,テキストファイルに書かれた画像ファイル(.jpg)を画面に表示して,それを見るかクリックすると,対応した音声ファイル(.wav)を再生するようになっています。

 

  • また,音声ファイル名の代わりにテキストファイル名が書かれていると,そのテキストファイルを読みこみます。上で指定されている「2.txt」は次のような内容になっていますので,矢印画像(次.jpg)を見ると新しく下の画面に切り替わります(ここでさらに矢印画像を見ると「3.txt」に切り替わります)。

 

 

  • このあたりの使い方については,まず,このpicフォルダ内のテキストファイルをいろいろ書き換えてみてお試しいただければと思います。

 

プログラムの終了と設定メニュー

  • プログラム実行中に[ESC](エスケープ)キーを押すと,設定画面が出て,そこからプログラムを終了できます(もう一度[ESC]キーを押せば終了します)。

 

  • 設定画面では以下の項目が設定できます(設定後は[ENTER]キーを押してください)。
    • フォルダ名…プログラムがテキストファイルを探しに行くフォルダを指定します。
    • テキストファイル名…読み込むテキストファイルを指定します。
    • この時間みたらON…読み上げまでに要する注視時間の長さを指定します(単位は秒です)。
    • ズームイン時の倍率…注視が始まると画像が拡大されますが,その倍率を指定します。
    • 決定時のズーム倍率…決定されたときの画像の拡大率を指定します。
    • 決定後のウェイト時間…音声ファイルを再生した後,指定された秒数,同じ画像に対して反応しないようにできます。

 

フォルダとテキストファイルを指定してプログラムを実行する

  • このプログラムは,「eTalk <フォルダ名> <テキストファイル名>」というように,スペースで区切ってパラメータ(引数)を指定して起動できます(第2引数は省略できます)。
  • 引数の指定にはWindowsのコマンドプロンプトかショートカットを使います。ここでは,ショートカットを使ったやり方を紹介します。
  • プログラムのあるフォルダに「food」というフォルダがあって,その中は下の図のようになっていますので,この中の「start.txt」を表示してみましょう。

 

  • まず,プログラム(eTalk.exe)を右クリックして,ショートカットを作成します。

 

  • 作成されたショートカットを右クリックして,プロパティを選択します。
  • 「リンク先」にプログラム名が書かれているので,スペースの後に「food」と入力して「OK」ボタンを押してください。

 

  • このショートカットを使ってプログラムを起動すると,「food」フォルダの中から「start.txt」が読み込まれますので,下のような画面が表示されました。このように,ショートカットをたくさん作ることで,いろいろな場面に応じて教材やコミュニケーションボードを切り替えることができます。

 

  • 「pic」フォルダの中の「needs.txt」を読み込んで起動するには,下のように,ショートカットのプロパティで「…\eTalk.exe pic needs」と,フォルダ名とテキストファイル名をあわせて指定します(テキストファイル拡張子の「.txt」は省略することができます)。

 

 

エラーについて

  • 下のような画像が表示されたときは,画像の読み込みに失敗していますのでテキストファイルに書かれた画像ファイル名を確認してください。画像と音声ファイルの区切りのカンマが全角文字になっていたり,ピリオド(.)など他の記号になっていてもエラーになります。音声が再生されないときは,音声ファイルのファイル名が間違っていないかチェックしてください。

 

  • 私自身がUnityとc#のプログラミングに不慣れ(初心者)なので,日本語ファイル名の文字コード処理に苦労しました。もし,どうしても画像や音声がうまく読み込めないときには,ファイル名をすべて半角英数字にしてみてください。あるいは,日本語を使うのであれば,Shift-JISかEUCのUTF-8でテキストファイルを保存してみてください(わかりにくい説明ですみません)。

 

データファイル(ログファイル)

  • このプログラムは,「data」フォルダ内に「<日付>.csv」のファイル名でデータファイル(ログファイル)を残すように作っており,Excelがインストールされていれば,下のようにExcelで開いて見ることができます。
  • 記録されるデータは,日付,時刻,画像の選択(select)か新規テキストの読み込み(load)か,選択画像名,再生された音声ファイル名です。不要な場合は定期的にファイルを削除してください。

 

制限事項等

  • 作者(吉田)は,このプログラムの動作を一切保証するものではありません。また,このプログラムを動作させたことによる一切の損失・損害に責任を持ちません。ご自身の責任のもとでお使いいただくようお願いします。
  • プログラムの動作が重いときは,起動直後に[SHIFT]キーを押すと出てくる設定(configuration)ウィンドウで,解像度(screen resolution)や描画品質(graphics quality)を落としてみてください。
  • 視線入力に慣れないと,まばたきが減ることなどで目の疲れを感じる方がいらっしゃいます。特に子どもさんでは,長時間の視線での利用を避けるようご配慮ください。
  • 本プログラムは使用制限は一切ありません。どうぞご自由にお使いください。

 

その他

  • プログラムに同梱しているうさぎさんの絵は,ゼミ生の今村さくらさんが描いてくれました。記して感謝します。
  • なお,同梱している音声ファイルは,(株)AHSのVOICEROIDを使って作成したものです。

 

ダウンロード