保育園児の行動軌跡からの
教師なし活動場面分類

HDP-HMMとLDAを用いた2段階クラスタリング

はじめに

近年,親の共働きに伴い保育園の需要が高まる一方で保育士が不足している.このような状況下で,子どもの一日の活動を振り返る保育記録を付ける必要があり,保育士の負担が大きい.
そこで,保育記録業務を効率化するための保育士支援システムを構築することができれば,保育士への負担を軽減することができると考えている.
人工知能の技術により保育を支援するシステムの開発を行う保育園知能化プロジェクトを行っている.そこでは,保育園で活動している子どもをKinectによりデータを計測している.しかし,Kinectで計測しているデータはRGB画像と深度情報であり,このデータから直接活動へと分類するのは技術的に難しい.また,子どもが密集している場面や,予測しにくい動きをする場面などは子どもの行動追跡が難しい.
そこで本研究では,保育園の園児の活動場面を保育士に提示するために,行動追跡を取り入れた活動場面分類の手法を提案した.

提案手法

提案手法

分類は二段階で行い,一連の行動軌跡をHierarchical Dirhiclet Process Hidden Markov Modelを用いて局所的な行動へ離散化し,その局所行動の集合をLatent Dirichlet Allocationによって分類する.これらの2段階クラスタリングにより,行動軌跡から各活動に分類される. ここで,局所行動とは「ある瞬間に行っている動作」,活動とは「複数人の局所行動の集合によって構成される場面」を指す.

室内に設置したKinectにより子どもの一連の動きを計測
子どもの位置は行動追跡システム[張+ 16]により自動追跡
子どもの動く速度は各時刻における位置の差分を計算
Hierarchical Dirichlet Process- Hidden Markov Model(HDP-HMM)
HDP-HMMは,隠れマルコフモデル(HMM)に階層ディリクレ過程(HDP)を導入したモデル
このモデルでは局所行動の状態数が推定可能
各個人の行動軌跡(行動軌跡系列)をHDP-HMMを用いて分節化することで局所的な行動へ離散化
本研究では,下図のHDP-HMMのグラフィカルモデルにおいて,stを局所行動の状態,xtを行動軌跡データとしている
局所行動の集合は活動の特徴を表現していると捉える
局所行動系列からウィンドウ(一定時間)内の子ども全員分の各局所行動発生回数をカウントし,局所行動頻度ヒストグラムを作成
ウィンドウをオーバーラップさせながらずらし,ヒストグラム作成を繰り返す
Latent Dirichlet Allocation(LDA)
LDAは自然言語処理における文書分類のモデル
活動の特徴量である局所行動頻度ヒストグラムの類似性を基にLDAを用いて分類することで活動毎に分類
本研究では,下図のLDAのグラフィカルモデルにおいて,wを局所行動,zを活動と捉える

実験方法・結果

実験方法
実験には,保育園児13名がリトミックをしている16分40秒の場面を使用した.10fps,10,000フレームの動画を5fpsにダウンサンプリングし,活動分類数は8個と設定した.

実験結果
実験の結果,以下の8つの活動に分類された.

  1. 主に画面の下側で活動している
  2. 輪になって活動している
  3. 2人1組または輪になって活動している
  4. ぐるぐる回る状態とその場に留まっている状態が交互に含まれている
  5. 動き回っている状態とその場に留まっている状態が交互に含まれている
  6. 画面全体で活動している状態と画面の端で活動している状態が含まれている
  7. その場に留まって活動している
  8. ほぼ全員がその場に留まって活動しているが,数人は動いている
これらは,活動4や活動5といった子どもの動き方の特徴,活動2や活動3といった子どもの相互の位置関係,活動1や活動6といった子どもの位置,活動7や活動8といった子どもの動く速度に基づき分類された.しかし,場面の切り替わりで特徴が曖昧な活動や,本手法の特徴量では表現しきれていない活動はうまく分類できていなかった. 実験の結果,全場面のうち75%はうまく分類ができていた.


▼ 池田 佳那 (Kana Ikeda)