Netflix一位数据科学家剪出了上百部爱情片,想教AI认识“亲吻”

  • 时间:
  • 浏览:0
  • 来源:5分6合注册平台-5分6合官网平台_5分6合官网

7月6日,这可能性是一年中最适合亲吻的日子——国际接吻日(International Kissing Day)。

这俩节日最早起源于英国。1991年这俩节日得到了联合国的承认,也希望让更多人知道,亲吻的美好,这也是人类表达爱意最自然的并还要法律最好的方式。

这样,人工智还可以能通过训练了解亲吻吗?

来自Netflix的一位高级数据科学家就对“kiss”镜头情有独钟,否则通过上百部电影接吻情节的定位,成功训练出了还可以准确识别电影亲吻桥段的AI模型——模型的独创性在于还可以区别亲吻与性行为。

大千世界,无所只能,AI还可以检测到"kiss"?随文摘菌一探究竟吧。

让AI区别kiss和sex

作为情人关系片的代表情节,“亲吻”突然是很多观众最爱反复观看的镜头。不管是《人鬼情未了》中Swayze和Demi Moore的经典接吻桥段,还是《泰坦尼克号》中Rose和Jack的临别一吻,都造就了经典中的经典。

而在电影观看完程中,寻找kiss镜头,就成为了不少娱乐视频场景下的一一一兩个多多真实需求。

这项基于人工智能识别接吻的研究由出自Netflix高级数据科学家Amir Ziai之手——此时他正在斯坦福大学攻读人工智能研究生学位。

Ziai在上世纪好莱坞电影中选泽了80部有代表性的作品,并为电影片段手动标注“亲吻”或“非亲吻”标签,用静态画面和声音片段来训练淬硬层 学习算法,以实现对亲吻场景的画面和声音的识别。

为了避免任何人得到错误的印象,目前还只能选泽亲吻识别算法还可以用于性爱场景。Ziai说到,“在我的训练集中,我尽量避免出显性爱场景,原先就能确保我的模型我很多 混淆接吻和性爱。”

Ziai目前的雇主Netflix并这样参与到斯坦福大学的这俩项目上,但该项目在arXiv带有删改记载;另外,即使Ziai还没去调研这项研究在Netflix上的应用,否则比较慢想象,Netflix或一点公司(如YouTube,Facebook,Instagram和TikTok等避免极少量流媒体或存储视频的公司)可能性会对这俩技术的商业应用场景感兴趣。

该图是1990年的电影《人鬼情未了》中Swayze和Demi Moore的经典接吻桥段,数据科学家便是用了近百部类式的电影桥段来训练AI模型识别亲吻的行为。

感兴趣的读者还可以阅读论文原文,附上地址:

https://arxiv.org/pdf/1906.01843.pdf

“双管齐下”:不仅视频识别,还有kiss的音频识别

应用于接吻场景视觉识别最成功的淬硬层 学习模型是ResNet-18,这是并还要图像分类算法,且该算法经来自ImageNet数据库超过一百万张图像的预训练;而为了识别接吻场景的声音,研究人员采用了名为VGGish的淬硬层 学习模型,通过每个以秒分段的场景的后980毫秒音频训练。这俩双管齐下对接吻的图像和音频并肩避免的AI法律最好的方式使得训练出的模型获得了惊人的F1分(算法精度和准度的加权平均值,度量模型的并还要指标)——0.95。

ResNet-18模型内部管理图

在模型内部管理中,采用"shortcut connection”法律最好的方式,也可是上图中的弧线来减少卷积网络传播过程中的计算和参数量,感兴趣的读者还可以研究下,VGGish是是产生音频数据集的工具,一般用于音频分类。

github网址如下:

https://github.com/tensorflow/models/tree/master/research/audioset

不过在面对电影场景中一点棘手的片段或一点拍摄机视角时,该模型还是略显吃力。类式,远景或广角的接吻镜头会使算法产生混淆,可能性此类视频片段中带有了很多背景画面。此外,一点快节奏的视频片段和不并肩带有一一一兩个多多演员的镜头对模型来讲也还要极大的挑战。

电影《Titanic》中Jack和Rose在邮轮甲板上拥吻图片

淬硬层 学习是一一一兩个多多“黑盒子”,我门歌词 儿比较慢弄清楚淬硬层 学习模型实现预测时所使用的的具体数据模式。为了尝试理解AI的逻辑,我门歌词 通常采用的并还要法律最好的方式是使用显著地形图来可视化分析过程中受到AI关注最多的数据。在好莱坞影片识别接吻场景的项目中,淬硬层 学习模型似乎更加关注与演员面部相关的图像像素点。

Ziai表示,即使是在极少量有限的实验中也还可以看出,人工智能更依赖视觉内部管理而还要音频内部管理来识别接吻场景。他发现“精心选泽的数据集”对于训练接吻检测系统有很大帮助,类式数据还可以让该系统利用更多的上下文信息来检测接吻,而不仅仅是通过静态图像。

AI“kiss”之原理

AI模型是怎样才能习得这俩能力呢?

和初吻尚在的人类学习基本亲吻知识的途径一样,AI模型基于可能成熟的句子的句子 图片 图片 的淬硬层 学习算法,观看各式各样的好莱坞明星上演的浪漫拥吻片段,通过这俩极少量的训练来识别影片中人物的面部表情和定位嘴唇,数据科学家说明了AI系统怎样才能都还可以更深入地了解最亲密的人类活动的原理。

让AI识别kiss有那先 用?

早在2019年4月,谷歌组阁 其智能手机Pixel已更新其Photobooth功能,这项功还可以能在你面部表情居于变化的时候自动拍照,比如说微笑、亲吻、嘟嘴、伸舌头等等,该功能原先使智能手机从手机拍摄的视频中识别出接吻画面。

具体来说,当你按下Photobooth功能的拍摄按键时候,手机的AI就会自动分析你的脸部表情。根据不同状态,手可能性自动判定「最佳时刻」,并将这俩刻记录下来。同样,Ziai研发的应用端视频接吻识别技术使我门歌词 儿看完了视频内容自动分类,用户个性化视频推荐,甚至视频在线内容审核的未来。

Pixel手机Photobooth功能拍摄的静态图片

OpenAI的策略和传播主管Jack Clark在他的文章《Import AI newsletter》中重点强调了这项研究的意义:“现代计算机视觉技术可能性使得开发特定的'感知和响应类'软件变得相当容易,诸如识别定性或非内部管理化的东西,识别电影中的接吻场景可是一一一兩个多多极佳的例子,但此类AI对另一方软件的应用能力明显被低估。”

AI“kiss”之未来

好莱坞影片数据集和计算资源由斯坦福大学计算机科学助理教授Kayvon Fatahalian的实验室提供。

目前,这俩用80部好莱坞影片(如《安娜·卡列尼娜》(1935),《人鬼情未了》(1990)和《007:大战皇家赌场》(806)等)训练的AI模型在面对更大规模的影片时性能尚不清楚。但Ziai表示,在经超过80个影片进行训练后,该模型只看完了“边际改善”。

原先值得关注的那先 的间题是这俩AI模型在检测来自社交媒体的不类式型接吻场景视频时否能达到类式的准确度。这是个极大的挑战,可能性还要模型对更多的视频数据集进行额外训练,否则训练集中只能仅带有那先 出显在电影银幕上诸如Patrick Swayze和Demi Moore的好莱坞明星。尽管这样,从一点非常初步的测试中能看出,这俩基于AI的接吻测技术会有很好的的应用前景。

“未来研究将尽量使用更比较复杂的数据集,以确保模型我很多 对于并还要类型的电影过拟合,”Ziai说道,“不过有趣的是,该模型在我所选的YouTube视频上性能表现得相当好。”