编者按:本文来自微信公众号“音乐先声”(ID:nakedmusic),作者:柳成枝,编辑:范志辉,36氪经授权发布。
近期,美国数字研究机构Space150进行了一项有趣的试验:基于人工智能(Artificial Intelligence,简称AI)技术,模仿知名说唱歌手Travis Scott的人声和音乐风格,做出了一个说唱机器人"Travis Bott"。这个试验的目的是为了看AI到底能够持续创造出什么。事实上,"Travis Bott"真的创作了一首歌《Jack Park Canny Dope Man》,且歌词和旋律均由自己完成。同时,Space150还使用基于AI的人体图像合成技术"Deepfake",为这首歌拍摄了MV。
说实话,与以往的AI歌曲不同,这首AI歌曲在对真人继续学习后,近乎到底了真人的听感。国外网友在MV下面留言道。"better than real trvis(比真人还好)""Pretty amazing, this is only the beginning(太棒了,这仅仅是个开始)",甚至开始担心AI会奴役人类,但自己还是会买票去看。
原文视频链接:https://mp.weixin.qq.com/s/B0x62fBuXd_Nawm1t_Bhcw
原理上,Space150采用附加神经网络技术(Additional Neural Network)创造出旋律和打击乐伴奏,再将Travis Scott的歌词输入"文本生成器模型(Text Generator Model)",两周后,AI"Travis Bott"开始创建了歌词的韵脚(rhymes)。
从效果来看,Travis Bott模仿Travis Scott几乎达到了以假乱真的地步,完全融汇了Travis Scott作品以及人物魅力的最主要的外显特征,以至于被调侃可以加入Spotify的说唱热门歌单《Rap Caviar》。与此同时,该项目也进一步验证了人工神经网络技术(Artificial Neural Networks)的进步,有助于探索未来AI在音乐中的应用价值。
不可否认的是,AI已经渐渐地嵌入到我们的日常生活中。在"互联网+"以及"工业制造4.0"的新时代背景下,具备通信、网络与人机交互功能的AI作曲覆盖到教育科普、艺术表演和娱乐服务等领域已是大势所趋。而面对AI音乐的优异表现,也让我们思考:音乐人在与AI音乐的共生中,是否会遭遇到AlphaGo式的碾压?如何克隆Travis Scott?
事实上,AI作曲(Algorithmic Composition,也称"算法作曲")并不稀奇,复制Travis Scott也并非难事。
早在2016 年,索尼旗下的计算机科学实验室(Computer Science Laboratories ,简称Sony CSL)研究人员哈杰里斯和帕切特就曾开发了一个名为"DeepBach (深度巴赫) "的神经网络。他们利用巴赫创作的 352 部作品目来训练DeepBach。
而第一个正式获得世界地位的AI虚拟作曲家则是由2016年诞生的初创公司Aiva Technologies推出的AIVA(Artificial Intelligence Virtual Artist)。它的创作方向主要是古典音乐、影视配乐,发展到现在也逐渐有了其他类型的作品,例如摇滚乐、流行乐等。作为虚拟音乐人,它通过了法国和卢森堡作者权利协会(SACEM)的合法注册,并拥有自己的署名版权。在AI领域而言,复制一位或多位音乐人的音乐风格的工作也许早已在进行中。
目前来看,无论是DeepBach、AIVA抑或是Travis Bott,AI作曲背后都是一种基于人工神经网络的深度学习(Deep Learning)技术。在这种深度学习中,程序员必须搭建一个多层"神经网络",并在多层的结构中分别加以编程,从而可以处理各种输入和输出点之间的信息。来源于:2017·菠萝科学奖,人工智能主题解读
譬如说,DeepBach被输入的是巴赫的362部作品,AIVA被输入的信息是以巴赫、贝多芬、莫扎特等为代表的古典作曲家作品的大数据库,而Travis Bott被输入的则是Travis Scott的作品、人声以及音效。
在数据输入后,人工神经网络会找到众多被输入作品之间存在的规律,继而形成对音乐风格的理解。
但这个音乐风格并不是最终的产物,其主要目的是用来预测,AI程序会带着它对音乐风格的预测继续运行,而在前方将会遇到下一个验证数据集。这个数据集会告诉它预测的正确与否,正确与错误的回馈都将被AI记住,在不断的高速学习中,AI的预测能力就会慢慢的强,最终掌握程序员大数据中归总后的曲风,进而能编写出自己的曲子。
而AI创作者"Travis Bott"的突破,则在于其不止是输入了Travis Scott的作品,更输入了人声及音效,文本与声音的输入与输出在深度学习上又更上了一个台阶。
来源于《I am AI 》系列短纪录片
这种深度学习,看似只是基于人类大脑的神经结构相对比较简单模式,但在某种程度上已经可以像人类一般"思考"了。这也使得AI能够在数据中理解并塑造高度抽象化的模型,例如旋律中的模型,或者人脸的特征。但从人工智能音乐的发展沿革而言,人工神经网络只是AI作曲的主要技术之一,与其他算法相比,有其优点也有其劣势。就优势而言,具有自学能力、联想存储功能、高速寻找优化解的能力是人工神经网络较其他算法最卓越的地方。来源于:2017·菠萝科学奖,人工智能主题解读
但其劣势也较为明显:1. 著名的"黑匣子"问题,意味着你不知道神经网络将会如何产出结果,更不知道为何会产生这种结果;2.与认知不同,作曲是更高层次的智能活动;3. 耗时耗力;4. 数据饕餮,相较于传统的机器学习算法,需要更多的数据;5.算力成本较为昂贵。在实践中,即便是最先进的深度学习算法,要实现真正深度神经网络的成功训练,仍需要数周才能完全训练完毕。而目前AI作曲在主要技术上尚不存在最优解,大多采用混合型算法(Hybrid Algorithm)。如何避免AI作曲的版权风险?
与此同时,AI作曲的整体不足也较为显化。正如前文所言,AI作曲本质上就是大数据和云计算,AI音乐产生的过程就是机器根据程序员输入的要素或者是模式,在庞大的资料库中总结提取与之相匹配的特征,而后根据这些特征提取各种资料元素进行新的组合或者是延展。
这里面必然存在一个问题是:这个巨大的数据库如何区分哪些数据是有版权保护的?哪些是公共数据?数据库的搭建者如何保障具有版权数据的权益?使用数据库的主体如何做到不侵权?
很显然,目前的AI作曲在某种程度上仍旧无法完成或者说无法自主完成这一任务,版权的规避大多来自于程序员的有意为之。
2017年,Aiva Technologies对AIVA选择专注古典音乐的解释也正好回应了程序员对于AI作曲版权的刻意设计:"用来训练Aiva的古典音乐数据库不涉及版权问题,因为版权都过期了。"
对于开头的Travis Bott而言,其对于Travis Scott的学习中,作品库、人物形象的采样必然也要先取得Travis Scott的授权,但其学习后生产出的作品又如何避免对Travis Scott形成抄袭呢?
这一情况,也是造成目前市场上AI作曲质量参差不齐的原因之一,某种程度上来说,抄袭或许很难避免。查重工具 (Plagiarism Checker)以及查重的尺度在这里就显得特别的重要了,但就目前的实践来看,人类音乐人歌曲抄袭判断标准都还在寻求统一化中,何论AI作曲?
而即便AI作曲经历千辛万苦后终于生产出一个纯原创、不涉及任何侵权的作品,他(她)又将面临到版权认证的问题。
根据我国《著作权法》对于著作权的定义,"著作权是著作权法赋予民事主体对作品及相关客体所享有的权利。"其中,民事主体指公民、法人或非法人组织。AI在主体身份上就无法获得认可,权利的获得与放弃都变得尤为复杂。如果产生侵权纠纷,将难以解决。
比如,微软小冰独立创作的诗集《阳光失了玻璃窗》,作品一经发布后就出现了很多的盗版以及很多不规范引用。这种通常意义上的侵权,却因为缺失法律规定的缺失,版权的归属也就谁都说不清,侵权也就听之任之了。
但值得一提的是,相较于国内的空白,国外对于AI作品的放宽与认可已然成为一种常态,英国、南非、新西兰属于第一批明确认可AI版权的国家。而美国、日本、澳大利亚虽然在成文法上并未有明确规定,但在司法实践中都进行了不同程度的尝试。这也是怎么回事美国在成文法上未对AI作品进行认可,但在司法实践中却有胜诉的案例。
但中国因为是成文法国家,判例法并不是法的正式渊源,无法与普通法系(或英美法系)形成法官造法的司法实践,所以从制度上明确AI作品才是最根本的。
不可否认的是,受制于多国在AI领域以及法律操作上的水平差异,要获得大范围的认可或许仍有待时日。当然,在其中取巧也较为简单,在AI生成的作品加入人类艺术家的名字就可以突破这一桎梏。
2018年9月7日,AIVA的纯音乐专辑《艾娲(Vol.3 from artificial composer Aiva)》的做法是:专辑还是AIVA的,但每首曲子都会标注"feat. Aiva Sinfonietta Orchestra, Brad Frey",表明那位音乐监督在"演奏"中的贡献,团队成员就可以将作品进行商用。
总的来说,复制Travis Scott对于AI来说并非难事,但要处理其中的版权纠纷以及进一步将AI技术提升却并非一日之功。AI音乐的商业探索
AI音乐无疑是一个历时已久,但在这几年蓬勃发展的朝阳产业。
1974年,Rader系统的出现是带有AI作曲系统真正的开始。与现在意义上的AI不一样,其运用了AI中可运用规则的部分,使得机器根据旋律、和声生成的规则进行权衡,并且对音符与和声搭配的合适比重做出合理的选择。此后随着对音乐生成系统研究的不断深入,出现了可完成自动低音和声生成的Snobol系统,以及可用来生成巴赫风格和声的Choral系统(Ebciogln产品,专家系统)。
1993年,出现了运用人工神经网络学习模式进行和声生成的Musact系统,以及基于人工神经网络和"限制满意度技术"相结合方式,可根据旋律进行巴洛克风格和声生成的Harmonet系统。这些都是现代AI作曲系统的鼻祖,具有里程碑意义。
当代AI作曲系统的开发,大多从Google的Magenta开始萌芽。Magenta是Google于2015年底开源,并用TensorFlow机器引擎学习的一种人工智能技术,该项目旨在开发AI技术创作出音乐以及其他艺术形式,主要子项目有NSynth Super、onsets and frames以及MusicVAE。
此后,各类AI系统、产品开始迅速发展。其中,较为有代表性的程序开发有:2017年Taryn Southern专辑《I Am AI》采用的Amper Music应用、2018年Skygge录制发行《Hello World》使用的Flow Machines(Sony旗下产品)工具,以及2019年OpenAI开发的一种用于生成音乐作品的深层神经网络MuseNet。
目前,国外较为成熟的AI音乐公司,除了Google、Sony、Amper Music外,还包括洛杉矶的Popgun、伦敦的Jukedeck和AI Musical、旧金山的Humtap、柏林的Melodrive、Google总部山景城的Groov.A、卢森堡的AIVA、非盈利性研究公司OpenAI以及自称为 "首个建立在人工智能音乐发现基础上的全方位服务唱片公司"Snafu Records等。其中,Jukedeck已于2019年7月被字节跳动收购。而在国内,AI音乐也有不少的行业实践。
除了百度、腾讯、阿里、网易云等音乐平台都在不同程度上对AI音乐有布局外,高校以及大中型企业也逐渐加入到AI音乐的教育、研发中。例如,貌似和音乐搭不上边的平安科技有限公司,接连与中央民族大学、四川音乐学院等高校展开了合作,并在2018年EPFL瑞士联邦理工学院举办的AI作曲国际挑战赛中,赢得了智能作曲领域内首次的AI世界作曲大赛冠军。
而由微软(亚洲)互联网工程院人工智能创造力团队负责研发的AI音乐技术,已经能够基于和弦、节奏、旋律交叉等多项音乐元素进行内容创作,集作曲、作词、编曲、演唱等多项音乐创作力于一体,相当于一支完整乐队。如今,此项技术已在央视及各省市综艺娱乐节目中多次验证,并成功实现了商业化与产业化输出。2018年5月,微软宣布公司旗下人工智能小冰已经掌握了歌词创作和谱曲能力。另外,2018年4月,嗨翻屋发布的音乐AI创作助手"小嗨"在目前已经创作了数张专辑,除了作词作曲,还具备"识曲"功能。而2019 年2月、3 月分别在 IOS 和安卓上线的"鲸鸣"APP,则是一款可以让普通人的"在线合唱"变为可能的音乐类应用。"鲸鸣"APP使用的是 AI 歌声合成技术,用户只需要录入自己的声音,APP便可自动修音,并利用 AI 技术将录音者的声音与原唱或者是其他使用者的音色相结合,最终达成合唱效果。不难发现,AI在音乐领域的运用已经是各国文化产业的一大重点。在加快速度进行发展的同时虽然也存在一定的困境。当然,主要还是围绕算法、版权两个方面。但随着AI整体技术水平的提升,用户对作曲系统智能化程度要求的提高,AI在音乐领域的运用正逐步走出困境,国内发展的趋势也逐渐与国际接轨。
首先,在算法技术层面,混合型算法以及个性化智能音乐定制依然是主流。一方面,由于各种算法在人工智能作曲的使用中都有其自身的优势和不足,目前人工智能作曲的音乐作品风格和体裁比较单一,且可听性不强。在混合型的算法作曲中,各种算法将扬长避短,这样一些问题能获得有效解决。
另一方面,由于AI作曲从大数据中抽取规则,多产但很容易造成歌曲同质性较高的问题。但个性化智能音乐定制以听众的私人喜好为前提,通过大数据和算法运作后生产出的作品也因个体的差异,更具有原创性。
其次,在版权方面,受制于无法破除的法律困境,AI技术转向与人类音乐人合作将是短期内突破版权的最直接手段;同时,人类音乐人也会在其中获利,AI技术对于人类创造力以及音乐人灵感的激发作用会越发凸显。
有报道称,人机配合的创作方式是人类音乐家创作速度的20倍。某种程度来说,在提升音乐人的工作效率、降低音乐人与制作方的沟通成本方面,AI作曲都有着人类协作难以企及的优势。
2018年9月,阿里音乐首席科学家尧问(花名)曾在阿里音乐专场论坛上说道:"我觉得任何一个艺术家,总有创意枯竭的时候,他们需要灵感。AI创作的音乐可能不是整段歌都好听,但中间恰好有一小段和这些艺术家的情绪相符,艺术家就能参考借鉴,作为灵感的迸发点,把这个启发转化到自己的作品里面去,我觉得这对于他们是非常好的帮助。"
随着AI技术在深度学习的逐渐深化,对于人类情绪掌握的逐渐熟练,以及法律逐渐完善对计算机作品以及主体的定义,AI作为人类音乐家的辅助工具这一现状或许也不会持续太久,毕竟技术以及法律都并非是一尘不变的。
结语
从流媒体利用AI进行智能推荐去引导听众音乐品味,到科学家基于AI打造出AI作曲家再一次颠覆音乐行业,人们对于AI的发展有些喜忧参半。一方面,AI的加入能够让音乐行业更加完善,让这个行业的运作更加有效率;另一方面,作为人类制造出来的机器,AI作曲的销量和品质也许会让很多音乐人汗颜。长远来看,AI与人类的音乐人、电台DJ的关系或许也不是非此即彼,就像现在的数字音乐与黑胶的对决一样,黑胶的没落是有目共睹,但其价值仍然被大众认可,甚至被小部分人追捧。换句话说,技术的进步以及行业的综合性推进,最大可能会使得AI音乐成为音乐创作的一种标准配置。当然,人们对人类音乐人在音乐上的原创性、审美性要求也会越高。但无论是AI音乐或者是人类创作的音乐,从音乐诞生到现在花样百出的音乐产品,其最核心的仍然是提供服务,这个核心不改变,人和音乐的关系也不会被改变。归根结底,人工智能仍来源于人类智慧,与其说让音乐人失业或者是被遭遇到AlphaGo式的碾压,不如说是技术带来的行业变迁,而在作品或音乐服务的选择上,听众也有了更多元化的选择。参考资料:
《ARTIFICIAL INTELLIGENCE MADE A SONG IN THE STYLE OF TRAVIS SCOTT. IT SOUNDS UNNERVINGLY LIKE TRAVIS SCOTT.》,《Music Business Worldwide》,2020年2月16日
《艺术家们是如何看待虚拟现实这一未来大势的?》,《SIZE潮流生活》,2020年2月16日
《第一个世界正式的AI作曲家AIVA是怎样创作音乐的?》,《雷克世界》,2017年3月17日
《什么是人工神经网络(ANN)》,《知乎专栏:人工智能图像识别技术与计算机视觉(CV)》,发布于2018年8月30日
李景平:《人工智能深度介入文化产业的问题及风险防范》,《深圳大学学报(人文社会科学版)》,2019年9月第5期
贰叁叁 :《AI写的歌,应该受到版权保护吗?》,《音乐先声》,2019年6月14日
肖欣:《人工智能生成内容版权问题的国际比较研究》,华东政法大学硕士论文,2019年
《神经网络最大的优点,以及最严重的缺陷》,《csdn人工智能头条》,2018年10月12日
王铉、雷沁颖:《人工智能对中国音乐产业链的渗透与革新》,《现代传播(中国传媒大学学报)》,2019年12期
《博览会 | AI音乐家会像阿法狗那样碾压人类吗?》,《中国音乐财经网》,2018年4月24日
田梅、黄智兴、张友刚:《算法作曲中的人工智能技术》,《四川教育学院学报》,2006年12月