训练神经网络在柏林 Martin Gropius Bau 博物馆举行的互动公众仪式上唱歌
Spawn 训练仪式:Deep Belief 2019 年 3 月 性能、多渠道 A/V、TensorFlow
在“Deep Belief”中,一群演员带领观众进行一系列唱歌和口语练习,以训练 Holly 和 Mat 的歌唱神经网络 Spawn。
2016 年,Holly 和 Mat 与机器学习开发人员 Jules LaPlace 合作,着手开发他们的“AI 宝宝”项目 Spawn。通过使用 Holly 及其朋友的声音来训练歌唱神经网络,他们的目标是在录制新专辑之前在不断壮大的人声重唱团中迎来一位非人类的合作者。
直到巡演之前,Spawn 仍未做好在舞台上表演的准备。但是,合唱成员在台上引领每位观众齐唱一首呼应式歌曲,以收集更多用于训练 Spawn 的人声样本,正如这个在伦敦 Barbican 中心拍摄的剪辑所示。迄今为止,已有 5 万多人的声音帮助训练了这个网络。
在 Holly 的专辑《PROTO》(4AD, 2019) 中,Spawn 以歌手的身份出现。AI 就像人类歌手一样理解音乐段落。这种方法并不将 AI 视为人类作曲家的替代品,而是将 AI 想象为合作者,能向与其并肩工作的音乐家学习、给他们带来惊喜和增强他们的能力。
Holly 以构建用于语音实验的工具而闻名,并将 AI 视为扩展她的音域和能力的前所未有的机会。当她在斯坦福大学的 CCRMA(音乐与声学计算机研究中心)攻读博士学位时,她还研究了机器学习模型本身的知识产权影响。
Holly 在电子和前卫流行音乐的边缘开展工作,并凭借自己活力十足且具颠覆性的卡农曲脱颖而出。在她最新的全长专辑《PROTO》中,Herndon 领导并指挥一个由人声和 AI 声音组成的电子流行音乐合唱团。Herndon 在 PROTO 中合成的声音、她的“AI 宝宝”Spawn 和人声重唱团结合了 Herndon 活力十足且独特的个人历程中的元素。其中包括她在东田纳西州教堂的童年经历的永恒民间传统,她在米尔斯学院探索的前卫音乐,以及柏林激进的俱乐部文化。她最近在斯坦福大学攻读作曲专业博士学位,并研究机器学习和音乐,这进一步增强了上述元素。Herndon 与 Mat Dryhurst 共同创办了播客系列节目“Interdependence”。
网站
Mathew Dryhurst 是位于柏林的艺术家兼研究人员。他与 Holly Herndon 一起创作音乐和艺术,他们的专辑《PROTO》和《Platform》(4AD) 在国际上赢得了好评。他在纽约大学的克莱夫·戴维斯录音音乐学院、斯特雷卡学院和欧洲研究院任教,并曾担任旧金山灰区的编排总监。Dryhurst 与 Holly Herndon 共同创办了播客系列节目“Interdependence”。
音乐家对数据集处理已十分熟悉;完整的音乐流派完全基于对样本的处理。如今,音乐制作技术已经变得如此复杂,以至于听众只能感知音乐的特质。但在幕后,创造这些特质的方法正在发生巨大变化。这个专家小组将包含电子乐器的创作者和用户,他们依赖深度学习技术来表演 – 无论是从现有录音中创造全新的声音和音乐,还是以人类形式来演奏音乐。