A colaboração do aclamado tecladista Jordan Rudess com o MIT Media Lab culmina na improvisação ao vivo entre um “jam_bot” de IA e o artista.
Uma multidão se reuniu no MIT Media Lab em setembro para um present do músico Jordan Rudess e dois colaboradores. Uma delas, a violinista e vocalista Camilla Bäckman, já tocou com Rudess antes. O outro – um modelo de inteligência synthetic apelidado informalmente de jam_bot, que Rudess desenvolveu com uma equipe do MIT nos meses anteriores – estava fazendo sua estreia pública como um trabalho em andamento.
Ao longo do present, Rudess e Bäckman trocaram sinais e sorrisos de músicos experientes encontrando o ritmo juntos. As interações de Rudess com o jam_bot sugeriram um tipo de troca diferente e desconhecido. Durante um dueto inspirado em Bach, Rudess alternou entre tocar alguns compassos e permitir que a IA continuasse a música em um estilo barroco semelhante. Cada vez que o modelo fazia a sua vez, uma série de expressões percorria o rosto de Rudess: perplexidade, concentração, curiosidade. No closing da peça, Rudess admitiu ao público: “Essa é uma combinação de muita diversão e muito, muito desafiador”.
Rudess é um aclamado tecladista – o melhor de todos os tempos, de acordo com uma pesquisa da revista Music Radar – conhecido por seu trabalho com a banda de metallic progressivo Dream Theater, vencedora de disco de platina e ganhadora do Grammy, que embarca neste outono em uma turnê de 40º aniversário. Ele também é um artista solo cujo último álbum, “Permissão para voar”, foi lançado em 6 de setembro; um educador que compartilha suas habilidades através de tutoriais on-line detalhados; e o fundador da empresa de software program Wizdom Music. O seu trabalho combina uma base clássica rigorosa (começou os seus estudos de piano na Juilliard College aos 9 anos) com um génio para a improvisação e um apetite pela experimentação.
Na primavera passada, Rudess tornou-se artista visitante do Centro de Arte, Ciência e Tecnologia do MIT (CAST), colaborando com o grupo de pesquisa de Ambientes Responsivos do MIT Media Lab na criação de novas tecnologias musicais baseadas em IA. Os principais colaboradores de Rudess na empresa são os estudantes de pós-graduação do Media Lab, Lancelot Blanchard, que pesquisa aplicações musicais de IA generativa (informado por seus próprios estudos em piano clássico), e Perry Naseck, um artista e engenheiro especializado em aplicações interativas, cinéticas, de luz e mídia baseada no tempo. Supervisionando o projeto está o professor Joseph Paradiso, chefe do grupo Responsive Environments e fã de longa knowledge do Rudess. Paradiso chegou ao Media Lab em 1994 com um currículo em física e engenharia e uma atividade paralela projetando e construindo sintetizadores para explorar seus gostos musicais de vanguarda. Seu grupo tem tradição de investigar fronteiras musicais por meio de novas interfaces de usuário, redes de sensores e conjuntos de dados não convencionais.
Os pesquisadores decidiram desenvolver um modelo de aprendizado de máquina que canalizasse o estilo e a técnica musical distintivos de Rudess. Em um papel publicado on-line pela MIT Press em setembro, em coautoria com o professor de tecnologia musical do MIT, Eran Egozy, eles articulam sua visão para o que chamam de “virtuosismo simbiótico”: que humanos e computadores façam um dueto em tempo actual, aprendendo com cada dueto que executam juntos , e fazendo novas músicas dignas de efficiency diante de um público ao vivo.
Rudess contribuiu com os dados nos quais Blanchard treinou o modelo de IA. Rudess também forneceu testes e suggestions contínuos, enquanto Naseck experimentou formas de visualizar a tecnologia para o público.
“O público está acostumado a ver iluminação, gráficos e elementos cênicos em muitos reveals, por isso precisávamos de uma plataforma que permitisse que a IA construísse seu próprio relacionamento com o público”, diz Naseck. Nas primeiras demos, isso assumia a forma de uma instalação escultural com iluminação que mudava cada vez que a IA mudava de acorde. Durante o concerto de 21 de setembro, uma grade de painéis em forma de pétala montada atrás de Rudess ganhou vida por meio de coreografia baseada na atividade e na geração futura do modelo de IA.
“Se você vir músicos de jazz fazendo contato visible e acenando uns para os outros, isso dá ao público uma antecipação do que vai acontecer”, diz Naseck. “A IA está efetivamente gerando partituras e depois tocando-as. Como mostramos o que vem a seguir e comunicamos isso?”
Naseck projetou e programou a estrutura do zero no Media Lab com a ajuda de Brian Mayton (projeto mecânico) e Carlo Mandolini (fabricação), extraindo alguns de seus movimentos a partir de um modelo experimental de aprendizado de máquina desenvolvido pelo estudante visitante Madhav Lavakare que mapeia música em pontos movendo-se no espaço. Com a capacidade de girar e inclinar suas pétalas em velocidades que variam de sutil a dramática, a escultura cinética distinguiu as contribuições da IA durante o concerto daquelas dos artistas humanos, ao mesmo tempo que transmitiu a emoção e a energia de sua produção: balançando suavemente quando Rudess pegou o liderar, por exemplo, ou enrolar e desenrolar como uma flor enquanto o modelo de IA gerava acordes majestosos para um adágio improvisado. Este último foi um dos momentos favoritos do present de Naseck.
“No closing, Jordan e Camilla deixaram o palco e permitiram que a IA explorasse totalmente sua própria direção”, lembra. “A escultura tornou este momento muito poderoso – permitiu que o palco permanecesse animado e intensificou a natureza grandiosa dos acordes que a IA tocava. O público ficou claramente cativado por esta parte, sentado nas pontas dos assentos.”
“O objetivo é criar uma experiência visible musical”, diz Rudess, “para mostrar o que é possível e melhorar o jogo”.
Futuros musicais
Como ponto de partida para seu modelo, Blanchard usou um transformador de música, uma arquitetura de rede neural de código aberto desenvolvida pela professora assistente do MIT Anna Huang SM ’08, que ingressou no corpo docente do MIT em setembro.
“Os transformadores musicais funcionam de maneira semelhante aos grandes modelos de linguagem”, explica Blanchard. “Da mesma forma que o ChatGPT geraria a próxima palavra mais provável, o modelo que temos preveria as próximas notas mais prováveis.”
Blanchard ajustou o modelo usando a própria execução de elementos de Rudess, desde linhas de baixo a acordes e melodias, variações das quais Rudess gravou em seu estúdio em Nova York. Ao longo do caminho, Blanchard garantiu que a IA seria ágil o suficiente para responder em tempo actual às improvisações de Rudess.
“Reestruturamos o projeto”, diz Blanchard, “em termos de futuros musicais que foram hipotetizados pelo modelo e que só estavam sendo realizados no momento com base no que Jordan estava decidindo”.
Como diz Rudess: “Como a IA pode responder – como posso dialogar com ela? Essa é a parte mais inovadora do que estamos fazendo.”
Outra prioridade surgiu: “No campo da IA generativa e da música, você ouve falar de startups como Suno ou Udio que são capazes de gerar música com base em prompts de texto. São muito interessantes, mas carecem de controlabilidade”, diz Blanchard. “Period importante para Jordan poder antecipar o que iria acontecer. Se ele pudesse ver que a IA iria tomar uma decisão que ele não queria, ele poderia reiniciar a geração ou ter um interruptor de interrupção para que pudesse assumir o controle novamente.”
Além de dar a Rudess uma tela que mostra as decisões musicais do modelo, Blanchard construiu diferentes modalidades que o músico poderia ativar enquanto tocava – fazendo com que a IA gerasse acordes ou melodias principais, por exemplo, ou iniciasse um padrão de chamada e resposta. .
“Jordan é o cérebro de tudo o que está acontecendo”, diz ele.
O que Jordan faria
Embora a residência esteja encerrada, os colaboradores veem muitos caminhos para dar continuidade à pesquisa. Por exemplo, Naseck gostaria de experimentar mais maneiras de Rudess interagir diretamente com sua instalação, por meio de recursos como detecção capacitiva. “Esperamos que no futuro possamos trabalhar com mais movimentos e posturas sutis”, diz Naseck.
Embora a colaboração do MIT tenha se concentrado em como Rudess pode usar a ferramenta para aprimorar suas próprias performances, é fácil imaginar outras aplicações. Paradiso relembra um primeiro encontro com a tecnologia: “Toquei uma sequência de acordes e o modelo de Jordan estava gerando os solos. Foi como ter uma ‘abelha’ musical de Jordan Rudess zumbindo em torno da base melódica que eu estava estabelecendo, fazendo algo como Jordan faria, mas sujeito à progressão simples que eu estava tocando”, lembra ele, seu rosto ecoando a alegria que sentiu. no momento. “Você verá plug-ins de IA para seu músico favorito que você pode trazer para suas próprias composições, com alguns botões que permitem controlar os detalhes”, ele afirma. “É esse tipo de mundo que estamos abrindo com isso.”
Rudess também está interessado em explorar usos educacionais. Como as amostras que ele gravou para treinar o modelo eram semelhantes aos exercícios de treinamento auditivo que ele usa com os alunos, ele acha que o modelo em si poderá algum dia ser usado para o ensino. “Este trabalho vai além do valor apenas de entretenimento”, diz ele.
A incursão na inteligência synthetic é uma progressão pure para o interesse de Rudess pela tecnologia musical. “Este é o próximo passo”, acredita ele. No entanto, quando ele discute o trabalho com outros músicos, seu entusiasmo pela IA muitas vezes encontra resistência. “Posso ter simpatia ou compaixão por um músico que se sente ameaçado, entendo isso perfeitamente”, admite. “Mas minha missão é ser uma das pessoas que transfer essa tecnologia em direção a coisas positivas.”
“No Media Lab, é muito importante pensar em como a IA e os humanos se unem para o benefício de todos”, afirma Paradiso. “Como a IA vai nos elevar a todos? Idealmente, fará o que tantas tecnologias fizeram – nos levará para outra perspectiva onde estamos mais capacitados.”
“Jordan está à frente do grupo”, acrescenta Paradiso. “Assim que estiver estabelecido com ele, as pessoas o seguirão.”
Tocando com o MIT
O Media Lab apareceu pela primeira vez no radar de Rudess antes de sua residência porque ele queria experimentar o teclado de malha criado por outro membro da Responsive Environments, a pesquisadora têxtil Irmandy Wickasono PhD ’24. Daquele momento em diante, “tem sido uma descoberta para mim aprender sobre as coisas legais que estão acontecendo no MIT no mundo da música”, diz Rudess.
Durante duas visitas a Cambridge na primavera passada (assistido por sua esposa, a produtora de teatro e música Danielle Rudess), Rudess revisou os projetos finais do curso de Paradiso sobre controladores de música eletrônica, cujo programa incluía vídeos de suas próprias apresentações anteriores. Ele trouxe um novo sintetizador controlado por gestos chamado Osmose para uma aula sobre sistemas musicais interativos ministrada por Egozy, cujos créditos incluem a co-criação do videogame “Guitar Hero”. Rudess também deu dicas de improvisação para uma aula de composição; tocou GeoShred, um instrumento musical touchscreen que ele co-criou com pesquisadores da Universidade de Stanford, com estudantes músicos do programa MIT Laptop computer Ensemble and Arts Students; e experimentou áudio imersivo no MIT Spatial Sound Lab. Durante sua mais recente viagem ao campus em setembro, ele ministrou uma masterclass para pianistas no Programa Emerson/Harris do MIT, que fornece a um complete de 67 acadêmicos e bolsistas suporte para instrução musical em nível de conservatório.
“Sinto uma espécie de pressa sempre que venho para a universidade”, diz Rudess. “Tenho a sensação de que, uau, todas as minhas ideias musicais, inspiração e interesses se uniram de uma forma muito authorized.”
