エンジニアリングと理論実装の間

A8バナー広告

朝に論文紹介。同僚が"Ensemble Gaussian Processes with Spectral Features for Online Interactive Learning with Scalability"を紹介してくれる。

要するに、ガウス過程の学習をオンライン学習可能にする、という目的。手法自体は面白くって、Ensemble学習を導入してる。ぼくはガウス過程の研究をしてないので、ユースケースがいまいちピンと来ない。時系列タスクではよく「株価の値段予想」が例に出される。ガウス過程で値段予想するとPosteriorの分布がわかるが・・・でも、それってどんな人が喜ぶんだろうか?ぼくにはよくわからない。確率モデルをやってる人は「分布がわかると嬉しいよね♪」って既知の因果関係で片付けてしまうことが多い(と思う)。でも、ぼくにはその感覚が同意できないのが正直なとこ。

午後は自分の研究の実装。アルゴリズムはシンプルなんだが、データが4th tensorなので、実装が大変。データをディスクに保持しつつ、Streamingで計算グラフにデータを流すにはどうすれば・・・?と頭を悩ませる。頭の片隅では、「本当に4階テンソルを使う必要あるんだろうか??」と疑ってもいる。1サンプルが行列なので、テンソルの階数が上がってしまうことは、まぁ仕方ない。で、行列の集合を考えて、さらに、行列の集合間で距離指標を考えるので、理屈の上では4階テンソルになるのは仕方ない。でも、「適当にTransformerを持ってきて、Auto-Encoderとか適用したら、圧縮できるんじゃね?」と思ってしまうのが、正直なところ。エンジニアリングの発想なんだろうな、と自分でも思う。

とは言え、ぼくの所属組織が理論実装を目的にしているので、DNNをあまり好んでいない。そんな事情から、とりあえずは面倒な実装も試さないといけないのだった。

午後の隙間時間を使って、ドイツ人の同僚に手紙の添削をお願いする。ドイツで住んでたアパートの家主が敷金(die Kaution)を返さないのだ。メール連絡も無視されるので、手紙を書いたのだった。ぼくの期待では、同僚がサクッと手紙を読んで、単語の言い換えを指摘してくれればいいかな・・・と思っていた。が、同僚は文ごと書き換えたり、かなり時間を取ってくれた。頭が下がる。おかげさまで手紙はWirtschaftsdeutsch(ビジネスドイツ語)に仕上がった。

夜にいそいで仕事を切り上げてクラブの練習に行く。自分でも驚くくらいに多彩なテクニックが出来たことに驚き。無意識なんだろうか。自分でも、どうやったのかよくわからない。こういうのはストレスになる。言語化できないと、再現性がないから。きっと、ゆっくり時間とって体と対話するしかないのだろう。

練習を終えるともう夜の9時過ぎ。日本人のクラブメイトに「お腹が空いたんで、先かえります〜♪」と発した言葉がきょう唯一の日本語であった。

雑記

Posted by blog_author