视频插帧¶
概览¶
预训练权重个数: 7
配置文件个数: 0
论文个数: 3
ALGORITHM: 3
FLAVR (arXiv’2020)¶
任务: 视频插帧
预训练模型测试结果¶
在 RGB 通道上评估。
评估指标 PSNR / SSIM。
| 算法 | scale | Vimeo90k-triplet | GPU 信息 | 下载 |
|---|---|---|---|---|
| flavr_in4out1_g8b4_vimeo90k_septuplet | x2 | 36.3340 / 0.96015 | 8 (Tesla PG503-216) | 模型 | 日志 |
注：FLAVR 中的 8 倍视频插帧算法将会在未来版本中支持。
快速开始¶
训练
训练说明
您可以使用以下命令来训练模型。
## CPU上训练
CUDA_VISIBLE_DEVICES=-1 python tools/train.py configs/flavr/flavr_in4out1_8xb4_vimeo90k-septuplet.py
## 单个GPU上训练
python tools/train.py configs/flavr/flavr_in4out1_8xb4_vimeo90k-septuplet.py
## 多个GPU上训练
./tools/dist_train.sh configs/flavr/flavr_in4out1_8xb4_vimeo90k-septuplet.py 8
更多细节可以参考 train_test.md 中的 Train a model 部分。
测试
测试说明
您可以使用以下命令来测试模型。
## CPU上测试
CUDA_VISIBLE_DEVICES=-1 python tools/test.py configs/flavr/flavr_in4out1_8xb4_vimeo90k-septuplet.py https://download.openmmlab.com/mmediting/video_interpolators/flavr/flavr_in4out1_g8b4_vimeo90k_septuplet_20220509-c2468995.pth
## 单个GPU上测试
python tools/test.py configs/flavr/flavr_in4out1_8xb4_vimeo90k-septuplet.py https://download.openmmlab.com/mmediting/video_interpolators/flavr/flavr_in4out1_g8b4_vimeo90k_septuplet_20220509-c2468995.pth
## 多个GPU上测试
./tools/dist_test.sh configs/flavr/flavr_in4out1_8xb4_vimeo90k-septuplet.py https://download.openmmlab.com/mmediting/video_interpolators/flavr/flavr_in4out1_g8b4_vimeo90k_septuplet_20220509-c2468995.pth 8
更多细节可以参考 train_test.md 中的 Test a pre-trained model 部分。
Citation¶
@article{kalluri2020flavr,
title={Flavr: Flow-agnostic video representations for fast frame interpolation},
author={Kalluri, Tarun and Pathak, Deepak and Chandraker, Manmohan and Tran, Du},
journal={arXiv preprint arXiv:2012.08512},
year={2020}
}
CAIN (AAAI’2020)¶
任务: 视频插帧
CAIN (AAAI'2020)
@inproceedings{choi2020channel,
title={Channel attention is all you need for video frame interpolation},
author={Choi, Myungsub and Kim, Heewon and Han, Bohyung and Xu, Ning and Lee, Kyoung Mu},
booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
volume={34},
number={07},
pages={10663--10671},
year={2020}
}
在 RGB 通道上进行评估。
我们使用 PSNR 和 SSIM 作为指标。
学习率调整策略是等间隔调整策略。
| 算法 | vimeo-90k-triplet | GPU 信息 | 下载 |
|---|---|---|---|
| cain_b5_g1b32_vimeo90k_triplet | 34.6010 / 0.9578 | 1 (Tesla V100-SXM2-32GB) | 模型/日志 |
快速开始¶
训练
训练说明
您可以使用以下命令来训练模型。
## CPU上训练
CUDA_VISIBLE_DEVICES=-1 python tools/train.py configs/cain/cain_g1b32_1xb5_vimeo90k-triplet.py
## 单个GPU上训练
python tools/train.py configs/cain/cain_g1b32_1xb5_vimeo90k-triplet.py
## 多个GPU上训练
./tools/dist_train.sh configs/cain/cain_g1b32_1xb5_vimeo90k-triplet.py 8
更多细节可以参考 train_test.md 中的 Train a model 部分。
测试
测试说明
您可以使用以下命令来测试模型。
## CPU上测试
CUDA_VISIBLE_DEVICES=-1 python tools/test.py configs/cain/cain_g1b32_1xb5_vimeo90k-triplet.py https://download.openmmlab.com/mmediting/video_interpolators/cain/cain_b5_g1b32_vimeo90k_triplet_20220530-3520b00c.pth
## 单个GPU上测试
python tools/test.py configs/cain/cain_g1b32_1xb5_vimeo90k-triplet.py https://download.openmmlab.com/mmediting/video_interpolators/cain/cain_b5_g1b32_vimeo90k_triplet_20220530-3520b00c.pth
## 多个GPU上测试
./tools/dist_test.sh configs/cain/cain_g1b32_1xb5_vimeo90k-triplet.py https://download.openmmlab.com/mmediting/video_interpolators/cain/cain_b5_g1b32_vimeo90k_triplet_20220530-3520b00c.pth 8
更多细节可以参考 train_test.md 中的 Test a pre-trained model 部分。
TOFlow (IJCV’2019)¶
任务: 视频插帧, 视频超分辨率
预训练模型测试结果¶
在 RGB 通道上评估。
评估指标 PSNR / SSIM。
| 算法 | 预训练 SPyNet | Vimeo90k-triplet | GPU 信息 | 下载 |
|---|---|---|---|---|
| tof_vfi_spynet_chair_nobn_1xb1_vimeo90k | spynet_chairs_final | 33.3294 / 0.9465 | 1 (Tesla PG503-216) | 模型 | 日志 |
| tof_vfi_spynet_kitti_nobn_1xb1_vimeo90k | spynet_chairs_final | 33.3339 / 0.9466 | 1 (Tesla PG503-216) | 模型 | 日志 |
| tof_vfi_spynet_sintel_clean_nobn_1xb1_vimeo90k | spynet_chairs_final | 33.3170 / 0.9464 | 1 (Tesla PG503-216) | 模型 | 日志 |
| tof_vfi_spynet_sintel_final_nobn_1xb1_vimeo90k | spynet_chairs_final | 33.3237 / 0.9465 | 1 (Tesla PG503-216) | 模型 | 日志 |
| tof_vfi_spynet_pytoflow_nobn_1xb1_vimeo90k | spynet_chairs_final | 33.3426 / 0.9467 | 1 (Tesla PG503-216) | 模型 | 日志 |
注: 由于 batch_size=1 预训练的 SPyNet 不包含 BN 层，这与 https://github.com/Coldog2333/pytoflow 一致.
快速开始¶
训练
训练说明
您可以使用以下命令来训练模型。
TOF 的训练仅支持视频插帧任务。
## CPU上训练
CUDA_VISIBLE_DEVICES=-1 python tools/train.py configs/tof/tof_spynet-chair-wobn_1xb1_vimeo90k-triplet.py
## 单个GPU上训练
python tools/train.py configs/tof/tof_spynet-chair-wobn_1xb1_vimeo90k-triplet.py
## 多个GPU上训练
./tools/dist_train.sh configs/tof/tof_spynet-chair-wobn_1xb1_vimeo90k-triplet.py 8
更多细节可以参考 train_test.md 中的 Train a model 部分。
测试
测试说明
您可以使用以下命令来测试模型。
TOF 的测试支持视频插帧和视频超分辨率两种任务。
任务 1: 视频插帧
## CPU上测试
CUDA_VISIBLE_DEVICES=-1 python tools/test.py configs/tof/tof_spynet-chair-wobn_1xb1_vimeo90k-triplet.py https://download.openmmlab.com/mmediting/video_interpolators/toflow/pretrained_spynet_chair_20220321-4d82e91b.pth
## 单个GPU上测试
python tools/test.py configs/tof/tof_spynet-chair-wobn_1xb1_vimeo90k-triplet.py https://download.openmmlab.com/mmediting/video_interpolators/toflow/pretrained_spynet_chair_20220321-4d82e91b.pth
## 多个GPU上测试
./tools/dist_test.sh configs/tof/tof_spynet-chair-wobn_1xb1_vimeo90k-triplet.py https://download.openmmlab.com/mmediting/video_interpolators/toflow/pretrained_spynet_chair_20220321-4d82e91b.pth 8
任务 2: 视频超分辨率
## CPU上测试
CUDA_VISIBLE_DEVICES=-1 python tools/test.py configs/tof/tof_x4_official_vimeo90k.py https://download.openmmlab.com/mmediting/restorers/tof/tof_x4_vimeo90k_official-a569ff50.pth
## 单个GPU上测试
python tools/test.py configs/tof/tof_x4_official_vimeo90k.py https://download.openmmlab.com/mmediting/restorers/tof/tof_x4_vimeo90k_official-a569ff50.pth
## 多个GPU上测试
./tools/dist_test.sh configs/tof/tof_x4_official_vimeo90k.py https://download.openmmlab.com/mmediting/restorers/tof/tof_x4_vimeo90k_official-a569ff50.pth 8
更多细节可以参考 train_test.md 中的 Test a pre-trained model 部分。
Citation¶
@article{xue2019video,
title={Video enhancement with task-oriented flow},
author={Xue, Tianfan and Chen, Baian and Wu, Jiajun and Wei, Donglai and Freeman, William T},
journal={International Journal of Computer Vision},
volume={127},
number={8},
pages={1106--1125},
year={2019},
publisher={Springer}
}