sim2realのためには、質感予測モデルが必要になるんだろうなと思っただけのポエム

結論はタイトル。以下思った経緯をダラダラと。

sim2realという言葉があるらしい。

以下のtweetで知った

言葉は初めて聞いたけど、概念はなんとなくは知っていて、 現実のデータ集めるの大変だから、計算機上のシミュレーション環境で学習させて、 それを現実に適用させれば良いやんというアイデアらしい。

上のツイートや下のツイートにもある通り、若干筋悪の可能性があるみたい

そもそもこれは、以下のツイート に由来するもの

一旦上の議論を忘れて、現実世界をシミュレーション環境に再現する技術がどうなっているかが気になる。 画像や動画から3Dモデルとして取り込むのは検索するとめちゃくちゃ出てくる。 更に進んで、質感を予測するようなモデルが重要になるんだろうなあ(確実に先行研究が大量にあるはずだが見当たらない)。

ここでいう質感は、力学的な物性とほぼ同義で、粘性・弾性率・摩擦係数とかそういうの(物理シミュレーションで設定するやつ)

いろいろな天気の道路の画像(動画)から、道路の摩擦係数なんかを推定できると、晴れの日、雨の日、雪の日万能で運転できるとかありそう。
質感で重そうだと判断したらアームの力を強めて、軽そうだと判断できたらアームの力を弱めて壊さないようにそっと持ち上げるとかが可能になりそう。

水たまりがあると速度落とす走行データから学習されるよりも、水たまりと歩行者を再現して、歩行者に水をかけたら負の報酬を与える強化学習を計算機上で学習させたほうが効率いいとかもありそう。