Bertモデルの異義語解釈性能を調べる
というブログを読む。
Bertは文脈に依存する異義語の単語埋め込みを正しく表現できることがウリなわけで、Googleは確かにそれを実証している。
が、実際にBertモデルを使った実験をやったとして、エラー分析の必要がある。
エラー分析の時に単語埋め込みが期待どおりにされているか？というのは、どうしても避けて通れない疑問。
例えば、最近だとこんなことがあった。Bert RTEモデルのエラー分析をしていると、構文表現はまったく同じなのに特定のキーワードの時だけRTE予測が失敗するということがあった。
こういう時には、どうしても単語埋め込みの状況を調査したいところ。
特に異義語の場合は、「そもそも文脈で違う意味が解釈できているの？」と調べる必要も出てくる。
こういう時に、今回のブログ内容はいいかもしれない。