IOID数据集是第一个用于兴趣物体检测（Instance of Interest Detection, IOID）任务的数据集。IOID数据集基于MSCOCO2017构建，分为训练集和测试集，共有133类兴趣物体（Instance of Interest, IOI），每个IOI用物体类别和图像上对应的分割区域来表示。[详细说明] [下载]

NJU-DS400数据集用于评估深度相关的显著物体检测方法，包含了400张立体图像和相同分辨率的深度图像，以及人工标注的测试基准。[详细说明] [下载]

NJU-DS2000数据集用于评估深度相关的显著物体检测方法，为NJU-DS400数据集的扩展版。该数据集包含了2,000张立体图像和相同分辨率的深度图像，以及人工标注的测试基准。[详细说明] [下载]

ViROI数据集是第一个用于兴趣视觉关系检测（Visual Relation of Interest Detection, VROID）评估的数据集。ViROI数据集基于IOID和MSCOCO2017数据集构建，分为训练集和测试集，分别包含25091张和5029张图片，共有133类物体，每张图片上的兴趣视觉关系（VROI）用<主语，谓语，宾语>三元组表示。[详细说明] [下载]

该代码针对视频中的对话风格识别任务，构建了一个融合了情绪的多模态处理方法，加强了对话视频的区分性，在视频对话风格识别数据集LVU上达到了SOTA水准，准确性比之前的方法高了10%。

该代码提供了数据集下载链接，运行环境安装说明以及训练、评估、测试和结果可视化的脚本，实现了对于给定图像检测图片中人类可能感兴趣的视觉关系三元组，并给出涉及到的物体的包围框和类别，在自建的ViROI数据集上TOP10的Recall为30.75%，TOP20的Recall为38.79%，TOP50的Recall为49.60%，TOP100的Recall为57.50%。

该代码针对以人为中心的交互关系理解任务，构建了一个多层级的条件网络，从多个角度综合理解人与物体的交互关系，在人物交互检测的常用数据集HICO-Det与V-COCO上均达到了SOTA水准，在常见和非常见物体的各类交互关系检测上超越了之前的方法。

该代码提供了数据集下载链接，运行环境安装说明以及训练、评估和测试的脚本，实现了对于给定图像检测图中人类可能感兴趣的物体的包围框和类别，在自建的IOID数据集上达到了Precision68.47%，Recall30.15%。

视频关系理解（Video Relation Understanding, VRU） 是由多媒体顶级会议ACM Multimedia举办的技术挑战赛。MAGUS.Gamma于2019年在首届视觉关系理解竞赛视觉关系检测任务中取得冠军，相关论文“Video Visual Relation Detection via Multi-model Feature Fusion”发表在MM 2019 Grand Challenge。[论文] [代码和特征]