从单张运动模糊图像估计相机运动
Estimating Camera Motion from a Single Motion-Blurred Image

原始链接: https://jerredchen.github.io/image-as-imu/

我们在真实世界的运动模糊视频上评估了我们的方法。虽然基线方法必须使用多帧来计算速度,但我们的网络只需要单帧图像作为输入。由于单张运动模糊图像的运动方向不明确,我们根据帧间的光度误差必要时反转速度方向。我们将陀螺仪读数直接作为角速度真值,并使用 ARKit 姿态和帧率来近似平移速度真值。需要注意的是,角速度轴为 x 向上、y 向左、z 向后(使用 IMU 惯例),而平移速度轴为 x 向右、y 向下、z 向前(使用 OpenCV 惯例)。

Hacker News 最新 | 过去 | 评论 | 提问 | 展示 | 招聘 | 提交 登录 从单张运动模糊图像估计相机运动 (jerredchen.github.io) smusamashah 1小时前 5 分 | 隐藏 | 过去 | 收藏 | 讨论 加入我们,参加 6 月 16-17 日在旧金山举办的 AI 初创公司学校! 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系我们 搜索:

原文

We evaluate our method on real-world motion-blurred videos. While the baseline methods must use multiple frames to compute the velocity, our network only takes a single frame as input. Because the true direction of a single motion-blurred image is ambiguous, we flip the velocity direction as necessary based on the photometric error between frames. We directly treat the gyroscope readings as the angular velocity ground truth, and we approximate the translational velocity ground truth using the ARKit poses and framerate. Note that the angular velocity axes are x-up, y-left, z-backwards (using the IMU convention) whereas the the translational velocity axes are x-right, y-down, z-forward (using OpenCV convention).

联系我们 contact @ memedata.com