Facebook开源算法代码库轻松复现前沿视频了解模型

机器之心发布

机器之心修改部

在近些年的视频了解研讨中，Facebook AI Research 贡献了许多精彩的作业。近来，FAIR视频团队在 ICCV 相关研讨会上开源了视频辨认检测代码库 PySlowFast，并一起发布了预练习的模型库。一起，该团队表明，他们还将实时将他们的前沿作业增加至此代码库。

项目地址：https://github.com/facebookresearch/SlowFast

Tutorial 地址（附 PPTT 资源）：https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

视频与动作了解俨然已成为当今最炽热的研讨方向之一，然而在开源社区中找到一个简练、高效、易于修正的视频了解代码库仍不是一件简略的工作。更重要的是，复现当今前沿的 (state-of-the-art) 的深度学习模型一直是一件令研讨者头疼的工作。

这些视频了解模型往往动辄几十 GFlops，需求练习数天，而复现出一个模型需求重复的试验调参，让每个细节都正确。这往往会消耗许多的时刻和资源，让许多研讨者望而生畏。

Facebook AI Research 在 CVPR、ICCV 等国际会议发布了很多研讨作业，并赢得了 CVPR 2019 行为检测挑战赛的冠军。然后，在本年的 ICCV 上，FAIR 推出了他们的视频了解代码库：PySlowFast。

PySlowfast 是一个依据 PyTorch 的代码库，让研讨者能够垂手可得地复现从根底至前沿的视频辨认 (Video Classification) 和行为检测 (Action Detection) 算法。

不但如此，PySlowFast 代码库一起开源了许多预练习模型 (pretrain models)，让研讨者省去了重复练习模型的烦恼，能够直接运用 FAIR 预练习的前沿 (cutting edge performance) 模型。

pySlowFast开源的模型的可视化检测成果

自开源后，PySlowFast 就一度连任 GitHub 趋势榜前十。以下对此开源项目进行了扼要介绍。 依据研讨会教程和开源代码库信息，PySlowFast 既供给视频了解基线（baseline）模型，还供给了当今前沿的视频了解算法复现。其算法不单单包含视频视频（video classification），一起也包含行为检测（Action Classification）算法。

与当今开源社区中各种视频辨认库复现出良莠不齐的功能比较，运用 PySlowFast 可垂手可得地复现出当今前沿的模型。

视频辨认（Kinetics）

表 1：PySlowFast 在视频分类数据库 Kinetics 400 上的功能)（节选自 https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md）

PySlowFast 不单单能够用于视频分类，一起也可用于视频了解，并供给赢得了 2019 年 CVPR ActivityNet Challenge Winner 的视频检测模型。

行为检测（AVA）

此外，PySlowFast 预留了接口，可经过简略的修改支撑多模态视频了解、视频自监督学习等等使命。该团队称，PySlowFast 将被活跃保护，实时更新其团队和业界的前沿算法，同开源其预练习模型，使代码库成为视频了解范畴的基线标杆。

经过以下教程，读者们能够简略试用下 PySlowFast 代码库。在完结装置后，经过下载 MODEL_ZOO 供给的预练习模型和相应的配置文件，运转如下代码，就能够测验（Test）模型在不同视频数据库上的功能：

pythontools/run_net.py--cfgconfigs/Kinetics/C2D_8x8_R50.yamlDATA.PATH_TO_DATA_DIRpath_to_your_datasetNUM_GPUS2

咱们我们能够发现，经过此代码库能够容易复现出前沿的高功能模型，一起读者们也能够测验经过简略的修正来完成自己的模型，并用多台 GPU 进行练习得到前沿的功能。