Machine Translated by Google

Veja discussões, estatísticas e perfis de autores para esta publicação em: https://www.researchgate.net/publication/228344553

ANTESCOFO: Sincronização Antecipada e Controle de Parâmetros

Interativos em Computação Musical.
Artigo de agosto de 2008

CITAÇÕES LÊ

88 355

Alguns dos autores desta publicação também estão trabalhando nesses projetos relacionados:

Projeto de vista de fundo

O projeto Vista da Cozinha

Todo o conteúdo desta página foi carregado por Arshia Cont em 03 de março de 2014.

O usuário solicitou aprimoramento do arquivo baixado.

Machine Translated by Google

ANTISCOFO: SINCRONIZAÇÃO ANTECIPADA E CONTROLE

DE PARÂMETROS INTERATIVOS EM MÚSICA DE COMPUTADOR

Arshia Cont
UCSD, Departamento de Música, e
Ircam - UMR CNRS STMS.
cont@ircam.fr

ABSTRATO Tem havido pouca ou nenhuma consideração para diferentes

temporalidades dos eventos musicais, a interação temporal
Antecofo é um sistema modular de acompanhamento antecipado de dentro e a escrita do tempo envolvido [2].
partituras que reúne partituras instrumentais e eletrônicas e é capaz de Este artigo está preocupado com componentes interativos
executar partituras eletrônicas em de repertório de música instrumental e eletrônica mista partiturada onde
sincronização com uma performance ao vivo e usando vários controles a necessidade de uma interação explícita entre o
ao longo do tempo. Em seu uso muito básico, é um sistema clássico instrumento ao vivo e a eletrônica é evidente. Apresentamos
de acompanhamento de partituras, mas em uso avançado ele permite Antes, uma ferramenta que lidava tanto com a pontuação quanto com a
a representação e o reconhecimento simultâneos de diferentes interação ao vivo dessas peças de música de computador. Em seu muito básico
descritores de áudio (em vez de pitch), controle sobre várias escalas uso, o antesscofo é uma partitura clássica seguindo a aplicação
de tempo usadas na escrita de música e permite interação entre a que sincroniza áudio em tempo real com uma partitura musical (como
performance e a eletrônica midi). Mas ele foi projetado em seu núcleo para abordar o
pontuação. Antecofo vem com uma linguagem de partitura simples para seguintes extensões que lidam com scripts de pontuação flexíveis e
escrita flexível de tempo e interação em música de computador. interações ao vivo: (1) para habilitar
e representações definidas pelo usuário do fluxo de áudio no
pontuação, (2) para representar e lidar simultaneamente com diferentes
1. INTRODUÇÃO
escalas de tempo tanto na pontuação quanto no reconhecimento e permitem uma
escrita flexível de tempo, (3) para fornecer uma linguagem de pontuação
No momento em que uma peça musical composta por computador se
que lida com a interação entre o(s) performer(es) ao vivo e
preocupa com uma mistura de instrumentos ao vivo e eletrônica, o
eletrônica tanto em termos de tempo quanto de processo durante o tempo de
questão de como lidar com sincronização e interação
execução (ou seja, performance musical).
entre os dois torna-se inevitável. Durante o início
Neste artigo apresentamos as principais ideias que fundamentam o
períodos de peças mistas, a maioria dos compositores (com exceções)
antesscofo e discutimos seu uso durante a produção
tratou o problema como uma preocupação secundária. Dentro
e desempenho. Começamos o artigo fornecendo algumas
início dos anos 80 e com o advento dos ambientes interativos de música
formação musical e técnica sobre o assunto. Isto é
por computador e sua popularidade entre os músicos, a ideia de lidar
seguido por uma descrição geral do projeto subjacente
com a interação tanto durante
arquitetura que define as principais preocupações e componentes do
performance e composição tornaram-se mais aparentes e
sistema. Esboçamos nosso modelo nas seções 7 a
softwares e tecnologias como seguidores de pontuação começaram
10 com ênfase contemplativa no tempo de modelagem para
aumentar as possibilidades que tal controle poderia trazer para o
música na seção 5. A linguagem da partitura e a sintaxe desenvolvida
mundo da composição e performance de música por computador.
para o antescofo são definidas na seção 8. Por fim,
Hoje, comemorando 25 anos de pontuação após pesquisa
direcionar a atenção dos leitores para o desenvolvimento e produção
e performance, a divisão entre 'composicional' e
questões relativas ao sistema, bem como discussões e direções futuras.
aspectos 'performativos' da música por computador [1] e a falta de
Neste artigo, focamos nossa atenção na
de consideração para a interação na escrita da peça
aspectos musicais do design em Antecofo e deixar derivações científicas
são ainda mais aparentes do que eram na época. Isto é
e provas de métodos introduzidas brevemente
também acompanhado pela relutância de muitos compositores em
por uma questão de completude para uma comunicação posterior.
considerar tais técnicas no processo composicional. Nós
acredito que esta situação é parcialmente devido ao seguinte com
tensões nos sistemas de música de computador interativos disponíveis: 2. FUNDO DA MÚSICA
(1) Embora o vocabulário comum usado na partitura de música
instrumental tenha se expandido extensivamente, a sincronização O consenso para a interação entre uma performance de música ao vivo
ou pontuação as seguintes aplicações são extremamente limitadas a e a eletrônica remonta aos primeiros experimentos
vocabulário muito simples na notação tradicional ocidental (notas, de Maderna, Stockhausen e Davidovsky entre outros
trinados etc). (2) A noção de interação é mais frequentemente limitada através de peças «fixas» ou de fita onde o intérprete ao vivo
ao mero acionamento de uma partitura eletrônica separada. (3) é responsável por sincronizar com a eletrônica us-
Machine Translated by Google

faixas de cliques ou escuta ativa. Mais tarde, em meados dos anos 80, interação de itens e manuseio é deixada para o usuário uma vez que os eventos
o movimento é acompanhado por experimentos e repertório de são reconhecidos em tempo real.
a chamada “eletrônica em tempo real”, a partir de experimentos de É interessante notar que o MIDI Syn thetic Performer inicial de
Manoury e Boulez, onde na maioria das vezes uma partitura Vercoe teve interação explícita com o deduzido
1 . Com a mudança para o áudio
seguinte aplicativo é responsável por sincronizar eventos tempo do performer ao vivo[5]
dos instrumentos ao vivo para a partitura pré-escrita e acionando os sistemas usando algoritmos de detecção de pitch o tempo foi
eventos eletrônicos apropriados (sejam fixos ou temporariamente esquecido com foco em técnicas de correspondência de cordas
através da geração viva). Neste último grupo, até hoje, um e de volta com Grubb e Dannenberg [6] onde o
muitos compositores se apoiaram na ideia de uma partitura seguindo as observações de pitch usadas no modelo probabilístico podem
um aplicativo para automatizar a execução da partitura eletrônica com influenciar o tempo de corrida comparando o tempo decorrido
sincronização ao(s) intérprete(s) ao vivo, e o tempo idealizado da partitura. Talvez a taxa mais elaborada e o
enquanto outros, com Manoury como precursor, imediatamente modelo de tempo explícito que foi usado pertença
reconheceram e incorporaram as possibilidades em para Rafael [7]. O projeto de Raphael possui duas etapas para
escrevendo partituras eletrônicas interativas que são realizadas decodificação da posição e do andamento da partitura. A primeira, composta
durante a apresentação ao vivo. Modelos ocultos de Markov deduzidos da pontuação responsável por
Naturalmente, o advento das técnicas de acompanhamento de pontuação para decodificar a posição na partitura e o segundo,
sincronização de performance ao vivo com partitura eletrônica uma elaborada rede Bayesiana que toma esta informação para deduzir
e o controle da interação criaram muito impulso tanto o andamento suave durante a performance.
nas comunidades de pesquisa e música, mas não sem Notavelmente, Raphael usa esse tempo em interação com seu
crítica. Entre muitas críticas dirigidas à escola de eletrônica em tempo sistema de acompanhamento para adaptar o tempo-duração do
real, de particular interesse são as seção de acompanhamento usando técnicas de codificação de fase
pelos compositores Jean-Claude Risset e Marco Stroppa. Ris set que provou ser muito eficaz.
argumenta que “não só o uso de sistemas em tempo real traz limitações Antecofo é um seguidor de pontuação antecipatória com um design
e dificuldades para a durabilidade antecipatório que será descontinuado a seguir. É capaz de produzir o
da música, mas pode-se até argumentar que o conceito tempo em tempo real da performance
de tempo real diz respeito principalmente ao desempenho e pode ser mas ao contrário das abordagens anteriores, compreende duas
de pouca relevância para a composição musical” [3]. Uma leitura agentes de áudio e tempo que trabalham de forma colaborativa e
construtiva do artigo de Risset apontaria para uma importante falta nos competitivamente em um projeto antecipado para reduzir a computação
sistemas existentes: a falta de uma interação composicional durante a e a complexidade do projeto e aumentar a robustez
performance. Enquanto esta questão é quando há incerteza em um dos dois agentes. a
na maioria das vezes estético, também tem muito a ver com desenho central da abordagem probabilística no Antecofo, permite o
a falta de projetos explícitos para tais questões. A extensa crítica de acesso direto a estruturas temporais que podem ser
Stroppa à eletrônica em tempo real é acompanhada por facilmente acessado e ajustado na linguagem de partitura fornecida.
a proposta detalhada do compositor para um Intérprete Virtual
sistema[2]. Nesta vasta proposta (que não detalharemos
neste artigo), o compositor está preocupado principalmente com a 4. ARQUITETURA GERAL
temporalidade dos eventos musicais e diferentes graus temporais
de interação em música de computador abrangendo desde O sistema proposto neste artigo é baseado em pares acoplados
interação de processos eletrônicos fixos ou ativos com tempi detectado agentes de áudio e tempo. A partitura é representada
em tempo real para representações contínuas de tempo através de um modelo gráfico probabilístico construído diretamente a
para permitir o ajuste fino de componentes eletrônicos compostos para um som ao vivo
partir de uma partitura simbólica. Os dois áudios e
atuação. os agentes tempo colaboram o tempo todo para mapear o tempo real
entrada de áudio para a sequência de estado mais provável na partitura

3. HISTÓRICO DE PESQUISA modelo. O agente de tempo calcula na escala de tempo do evento

e é baseado em um modelo cognitivo de estrutura métrica musical
introduzido em [9] e fornece previsões contínuas de tempo com base na
Desde o início dos primeiros seguidores de partitura MIDI em
entrada de áudio ao vivo e na música fornecida
1984 por Dannenberg [4] e Vercoe [5], a comunidade de pesquisa fez
pontuação. Por outro lado, o agente de áudio é computado na escala
muitas contribuições e avanços
de tempo de áudio contínuo e atribui
para o campo, incorporando reconhecimento mais avançado
valores probabilísticos fora do prazo para estados relevantes no
e técnicas de alinhamento como modelos probabilísticos [6],
espaço de estados de pontuação. O modelo proposto é uma antecipação
modelagem gráfica [7] e muito mais que não revisaremos no escopo
sistema que implica “um sistema contendo um
deste artigo e remeteríamos o leitor curioso a [8] para uma revisão
modelo de si mesmo e/ou de seu ambiente, o que lhe permite
histórica. Para este papel,
mudar de estado em um instante de acordo com o modelo
estamos particularmente interessados em abordagens onde
previsões relativas a um instante posterior” [10]. áudio
modelos de tempo estão envolvidos durante o reconhecimento;
agente é influenciado dinamicamente pelo tempo previsto,
mencionando que nenhum dos sistemas disponíveis, na medida
conhecimento do autor, integrou explicitamente a interação com a 1 Veja o vídeo histórico em http://www.youtube.com/
partitura eletrônica dentro do sistema de reconhecimento assistir?v=vOYky8MmrEU
Machine Translated by Google

e, em troca, o agente do tempo é diretamente afetado pelo reunir diversas contemplações importantes sobre a modelagem do tempo
decisões obtidas instantaneamente pelo sistema. como insumos da comunidade artística que constitui
Este modelo tem a hipótese subjacente de que o sinal de áudio pode o núcleo da modelagem temporal do antesscofo. não há
ser totalmente gerado pelo modelo de pontuação do espaço de estados referência única sobre modelos de tempo nas artes! todo
subjacente. Portanto, o problema de seguir a pontuação é o inverso desta compositor ou artista lidou com o problema de uma maneira ou
hipótese, ou para encontrar o outro. Não passaremos por todos os aspectos da modelagem de tempo
provável sequência de estados associada a tempo real observado neste artigo e deixaremos uma análise mais ampla para o futuro.
sequência de áudio. Devido à natureza deste problema inverso, Além disso, não pretendemos fornecer um modelo universal de
a seqüência de estado subjacente que gera o áudio é Tempo. Aqui, apresentamos várias visões e categorias que
não observável diretamente pelo sistema. Este processo de são amplamente aceitos e são altamente inspiradores para o
encontrar a sequência de estado mais provável em um processo oculto projeto do Antecofo e foram parcialmente apresentados em [12] .
até o presente é referido como o problema de inferência.
O modelo gerador de espaço de estados da pontuação proposta
5.1.1. temporário vs. Eterno
aqui está uma cadeia híbrida oculta de Markov/semi-Markov [11].
A Figura 1 mostra um diagrama geral do projeto da Antecofo. Formalizado primeiramente por Xenakis[13], o Atemporal (ou fora do
Além de decodificar a posição e o andamento corretos da partitura, tempo) corresponde a um objeto que possui sua própria estrutura temporal
o sistema é capaz de realizar ações de pontuação (eletrônica) se estiverem interna independente da estrutura temporal geral.
presentes na pontuação pré-carregada como estruturas da peça musical. Ele também enfatiza sobre
maneira de se comunicar com motores externos generativos ou de síntese a independência das estruturas bitemporais. se conformar
acoplados com as escalas de tempo musicais que são esta distinção com nosso projeto probabilístico, definimos um
fornecidos através da linguagem de partituras da Antecofo. Objeto ou evento atemporal como aquele que possui uma
espaço na partitura, mas não contribui para o físico
Fluxos de áudio
desligada
hora do placar. Exemplos típicos de objetos atemporais
tempo real são notas de graça e notas internas de um trinado (livre) no
Observadores notação clássica ocidental. Embora ambos tenham presença física, os
eventos individuais não contribuem para a noção
de tempo, mas sua aparência temporal relativa no caso
pontuação

Inferência e decodificação
do primeiro, ou sua estrutura global em tempo no caso de
a segunda contribui para a noção de tempo. Outros exemplos de objetos
pontuação pontuação

analisador ações atemporais são os eventos com fermatas ou caixas de improvisação livre
Áudio Tempo
vistas em diversas músicas contemporâneas
repertório.

Posição de pontuação Tempo

5.1.2. Tempo estriado vs. tempo suave

Figura 1. Diagrama de Projeto Geral da Antecofo O tempo estriado é aquele que se baseia na recorrência temporal
regularidades enquanto o tempo suave é uma noção contínua de
A seguir, veremos um projeto mais detalhado tempo como um fluxo de informação [14]. O tempo pulsado usado
de cada componente do sistema descrito acima. na maioria da notação de música clássica ocidental é uma notação regulamentada
fluxo de tempo estriado que usa um relógio musical interno geralmente
5. NA MODELAGEM DO TEMPO MUSICAL acionado por um parâmetro de tempo em batidas por minuto. Dentro
nossa terminologia, distinguimos entre uma escala de tempo estriada
5.1. Fundamentos Musicais onde a noção de tempo é dirigida em relação a um tempo em constante

evolução, e uma escala de tempo suave onde o

Na maioria dos sistemas de música de computador que lidam com modelos
a informação no nível microscópico consiste em elementos individuais
Com o passar do tempo, os conceitos de modelagem são herdados de
atemporais ou é definida em relação a um relógio. Exemplo típico de um
modelos há muito estudados disponíveis para fala ou sequências biológicas.
evento de tempo suave no oeste
Em quase todos os campos de pesquisa que lidam com sequências de
notação tradicional são glissandis livres. Essa distinção é
tempo, a questão da propagação de crenças através do tempo é
crucial para permitir uma escrita flexível do tempo e
um enorme dilema e objeto de intensa pesquisa em andamento.
também para permitir a coexistência de notações de eventos
Escolher uma abordagem em detrimento de outra traz desvantagens
tradicionais com a de eventos contínuos acionados por áudio.
e aproximações de acordo com a hipótese de partida
mentiu no próprio modelo. Quando se trata de música
sinais, a questão da modelagem de tempo é mais pesada. Sobre 6. MODELOS PROBABILÍSTICOS DE TEMPO
por outro lado, músicos e artistas, diferentemente dos pesquisadores,
ter mais liberdade em contemplar a questão do tempo Um dos principais objetivos da modelagem probabilística é decodificar a
modelagem. O autor acredita que ainda há muito dinâmica temporal de um processo externo. O principal
aprender com os artistas no que diz respeito ao tempo de modelagem em cada dificuldade em relação a esta tarefa é a dinâmica temporal de
campo de pesquisa que trata do assunto. Nesta seção, nós o modelo subjacente em uso. Na maioria dos problemas, qualquer estado
Machine Translated by Google

de um determinado processo ocupa uma duração que pode ser onde u = 1, . . . , Mj e Mj denotam a parte superior
terminística ou não. Em tais tarefas, estamos interessados em um vinculado ao tempo gasto no estado j. Assim, assumimos que
modelo probabilístico da duração do macroestado e do tempo de jornada. as distribuições de ocupação dos estados estão concentradas
Em um contexto musical, um macroestado pode se referir a um evento em conjuntos finitos de pontos de tempo.
musical (nota, acorde, silêncio, trinados etc.)
dada uma duração prevista. Uma maneira comum de modelar • Uma distribuição implícita de permanência anexada a cada estado

dados de séries temporais na literatura é pelo uso de modelos de espaço markoviano j onde

de estados. Um modelo de espaço de estados de uma sequência é um P(St+1 = k|St+1 6= j, St = j) = ˜pjk/(1 ÿ p˜jk)

sequência de grafos indexados no tempo (nós e arestas) onde definir uma distribuição de ocupação estadual implícita como

cada nó se refere a um estado do sistema ao longo do tempo. Portanto, a distribuição geométrica com parâmetro 1 ÿ p˜jk:
uÿ1
cada estado tem uma ocupação de tempo que pode ser usada para dj (u) = (1 ÿ p˜jk) ˜pjk

tempo de permanência do modelo e duração dos eventos em

consideração. Neste artigo, limitamo-nos a duas amplas 7. O OBSERVADOR
classes de modelos gráficos e seus modelos de duração que
cobrem a maioria das abordagens existentes: Modelos de Markov O processo de áudio {Xt} está relacionado ao híbrido Markov /
Ocultos (HMM) e Cadeias de Semi-Markov Ocultas. O prefeito cadeia semi-Markov {St} (ou a pontuação) pela observação
desvantagem no HMM é a sua inflexibilidade em descrever o probabilidades:
tempo gasto em um determinado estado devido à sua natureza implícita de
ocupação do tempo. Uma cadeia de semi-Markov é composta por um bj (y) = P(Xt = y|St = j) onde X bj (y) = 1.
Cadeia de Markov incorporada representando as transições entre S
estados distintos e ocupação de estado explícita discreta
distribuições representando tempos de permanência. Nossa proposta é As observações em nosso contexto correspondem à crença instantânea

para usar os benefícios dos dois mundos, introduzindo cadeias híbridas sobre os eventos de pontuação esperados dadas as últimas entradas

de Markov/semi-Markov como definido pela primeira vez em [11]. (ou em tempo real) do sistema. A maioria dos aplicativos de

Na seção 8 mostraremos como tal mistura pode representar diferentes acompanhamento de pontuação vem com seus mecanismos internos de

dependências de tempo visitadas na última seção. observação ou são ajustados para um módulo de observação específico

Para formalizar o problema, assumimos que o áudio que vive fora do próprio seguidor de pontuação. Por
ÿ o design do antesscofo, decidimos torná-lo modular, fornecendo um
fluxo através do tempo ÿ ou x 0 (como abreviação de x0, . . . , xÿ ) é
um processo estocástico representado pela variável aleatória mecanismo interno de observação
ÿ
através e também habilitando entradas de observação definidas pelo usuário. Em seu
{Xt}, que é gerado por uma sequência de estados s 0
uso básico, o antesscofo é um aplicativo de partitura clássica que aceita
ugh a variável aleatória {St} correspondente a (oculto)
estados em uma cadeia híbrida de markov/semi-Markov gerada uma lista de notas (em Hz ou MIDI) como entrada

da pontuação. A solução para o problema de inferência então para mapeá-lo para a posição da partitura e a variável tempo. Mas

determina a sequência de estados mais provável S ÿ isso iria Para usuários mais curiosos, o Antecofo é capaz de aceitar observações
0
simultâneas de diferentes naturezas. O número de observações atuais
gerar Xÿ 0 e em troca a posição do placar e em tempo real
para o sistema (que são definidas pelo usuário
tempo decodificado. Além deste ponto, usamos P(St = j) como um
e calculados fora da Antecofo) e seus nomes de código
abreviação de P(St = sj ) denotando a probabilidade de que o estado j
é emitido no instante t. são definidos pelo usuário durante a instanciação do objeto em Max

Seja St uma cadeia híbrida de estado-J Markov/semi-Markov. ou PS A Figura 2 mostra as aparências clássicas e definidas pelo usuário

Pode então ser definido por: do Antecofo em uma janela Max. Aqui o
usuário criativo da figura 2(b) tentou fornecer quatro
• Probabilidades iniciais: observação simultânea diferente para o módulo. Consequentemente, a

ÿj = P(S0 = j) com P j ÿj = 1, que executa spond até pontuação que o usuário cria normalmente
o ponto inicial na pontuação do aplicativo de sincronização durante faça uso dessas diferentes fontes para acompanhar diferentes aspectos

a execução. dos fluxos de áudio durante uma apresentação. Nós vamos chegar
voltar a este ponto mais tarde na seção 8.2 e aqui focar
• Probabilidades de Transição:
como essas observações são preparadas pelo observador para
– estado semi-Markoviano j: os módulos de inferência e decodificação.

para cada k 6= j, pjk = P(St+1 = k|St+1 6= Antecofo vem com várias observações padrão incorporadas para
j, St = j) onde P pjk = 1 e pjj = 0. partituras clássicas que são indicadas
k6=j por: hz, midi e KL usados respectivamente para observação de afinação
– Estado de Markov j: usando um rastreador de afinação externo, observação de MIDI
p˜jk = P(St+1 = k|St = j) com P p˜jk = 1. e observações de áudio polifônicos. Para obter probabilidades de
k
observação instantânea para os módulos modulares da Antecofo
• Uma distribuição explícita de ocupação (ou tempo de permanência) observador, simplesmente centralizamos as distribuições normais sobre o
anexado a cada estado semi-Markoviano: valor esperado indicado na pontuação e obter probabilidades em tempo
de execução. Obviamente, se a entrada consiste em um
dj (u) = P(St+u+1 6= j, St+uÿv = j, (1) vetor de valores distribuições normais multivariadas são usadas
v = 0, . . . , u ÿ 2|St+1 = j, St 6= j) em vez de. A variância dessas distribuições normais (ou a
Machine Translated by Google

8.1.2. evento único

Um único evento pode ser um único tom, silêncio ou nota de graça

se a observação em consideração for pitch. Estes eventos
pode ser temporário ou atemporal (ver seção 5.1.1).
A sintaxe usual para um único evento é a seguinte:

(a) Clássico <float> <duração> <nome opcional>

onde a duração é expressa como o número de batidas em relação ao
tempo da partitura inicial. A Figura 3 mostra uma amostra
pontuação gráfica, o equivalente Antecofo e o diagrama de transição de
estado criado após a análise. Se a duração
associado a um único evento é definido como 0,0, é um sinal de que
o evento associado é atemporal. Neste exemplo, os arremessos
são codificados usando o formato MIDIcent e um estado esquerdo-direito
(b) Definido pelo usuário
é criado um diagrama que está em correspondência um-para-um
com a pontuação. Observe que neste exemplo, um silêncio temporário
Figura 2. Observação Modular no Antecefo
temporário é criado no estado intermediário. antecofo's
analisador coloca automaticamente silêncios fictícios entre eventos
onde apropriado para modelar melhor o áudio de entrada.
matriz de covariância diagonal para entradas vetoriais) são definidas como 1%
do valor esperado (ou um semitom para afinação), também controlável pelo
usuário através da partitura (seção 8.2). a ; Esta é uma pontuação de amostra
BPM 60
7200 0,0 ; notas de graça
acima vale para todos os modos de observação, exceto o modo KL 7200 1,0 nota 1 ; nota normal
7600 0,0
que é projetado para rastreamento polifônico e é deixado de fora 7400 1,0 nota 2
0 0,5 ; silêncio
aqui devido a considerações de espaço.

74 72 0 76 74 0
8. TOPOLOGIA DE PONTUAÇÃO E IDIOMA

A topologia de espaço de estado de {St} é determinada pela Figura 3. Amostra de pontuação da Antecofo e transição de estado
pontuação, onde cada elemento de pontuação é mapeado em um híbrido diagrama para eventos únicos
Cadeia equivalente de Markov/semi-Markov usando Antecofo's
analisador. Esses mapas integrados descrevem diferentes tipos de eventos
e modelos de tempo e podem ser descritos diretamente usando um 8.1.3. Classe TRILL
linguagem de pontuação baseada em texto simples. A linguagem de pontuação de
Anteriormente, foi cuidadosamente projetado para permitir a importação de Como o nome sugere, a classe TRILL do Antecofo é
formatos de partitura comuns, como MIDI e para poder uma maneira de imitar a notação trinado da música clássica. termos
descrever facilmente o repertório comum de música clássica como de modelagem, o TRILL da Antecofo é um evento in-time que
bem como eventos definidos pelo usuário provenientes de diferentes tem vários eventos fora do tempo dentro. Além disso, a ordem
observações e com diferentes temporalidades. Nesta seção descrevemos em que esses subestados aparecem não é importante. A Figura 4 mostra
o básico da linguagem de partitura do antesscofo dois exemplos para o TRILL syn tax de antesofo onde o segundo é retirado
com suas equivalências no mundo real e mostrar como o mesmo do primeiro compasso

sintaxes podem definir eventos de pontuação não convencionais complexos. em Little-I de Marco Stroppa para flauta e eletrônica e
Além disso, a linguagem da partitura do antesscofo possibilita a coexistência demonstra um glissando livre que pode ser
da partitura instrumental e da música eletrônica codificado usando a classe TRILL no Antecfo. O TRILHO
pontuação total. Como convenção, nas figuras a seguir, um estado de sintaxe da classe é a seguinte:
Markov é demonstrado por um círculo regular TRILL ( +<float> ) <duração> <nome>
e um estado de Semi-Markov por um círculo de linha dupla. Também
na definição de sintaxes de comando, o sinal de mais (+) ao lado de 8.1.4. Classe CHORD
cada tipo deve ser interpretado como “um ou mais de”. Ás
uma última convenção, um <float> indica um número flutuante que Como o nome sugere, uma classe de acordes denota um único semimarkov
(ou markov se a duração for definida como zero) que
representa as observações anotadas na partitura. Por
eventos afinados e como convenção, os eventos seriam representados por modela eventos polifônicos. A sintaxe regular para o CHORD

números de notas MIDI ou MIDIcent. classe é semelhante à classe TRILL, mas se traduz em apenas
um estado:
CHORD ( +<float> ) <duração> <nome>
8.1. Comandos básicos

8.1.1. Comando BPM 8.1.5. Classe MÚLTIPLA

O andamento inicial e qualquer mudança de andamento na partitura podem Usando os comandos acima, qualquer peça de música clássica pode
ser codificado pelo comando BPM em Beats-Per-Minute. ser facilmente analisado ou reescrito no formato do Antecofo. Nós
Machine Translated by Google

do corpo da flauta. Um aumento da variância do observador

; Este é um trinado simples
BPM 60 nesse caso poderia salvar o sistema e o desempenho!
TRILHO ( 7200 7400 ) 1.0 meuTrill

Além disso, ao lidar com diferentes fontes de informação de

áudio, pode-se querer adaptar essa porcentagem à natureza do processo
de entrada.
72 74

8.2.2. O operador
; Isso também é um trinado
BPM 60
TRILL ( 6600 6700 6550 ) 8.0 myTrill
Conforme mencionado na seção 7, o Antecofo é capaz de ter representações
simultâneas de fluxos de áudio para captação e interação. Por padrão, o
Antecofo usa a entrada mais à esquerda para todo o trabalho de
66 67 65,5 reconhecimento, a menos que especificado previamente pelo operador @. A
string após o @operator deve estar de acordo com os nomes de código
criados pelo usuário
Figura 4. Amostra de pontuação da Antecofo e transição de estado durante a instanciação do objeto (seção 7), caso contrário
diagrama para classe TRILL seria negligenciado durante a análise de pontuação e uma mensagem de
erro seria enviada. Com isso, o usuário pode alternar facilmente
entre várias representações de áudio e siga as
adicione mais uma classe para permitir objetos mais complexos e
aspectos desejados simultaneamente em uma única partitura.
codificação temporária. A classe MULTI é semelhante à classe
classe TRILL com a exceção de que os símbolos definidos
dentro dele são ordenados a tempo. Esta nova adição à sintaxe de partitura 8.3. Ações de partitura de música de computador

do An tescofo permite a decodificação de tempo contínuo

Uma das características importantes das pontuações do antescofo é a
eventos como glissandis (em notação ocidental) e até mesmo
coexistência da parte instrumental com a eletrônica
fluxos de áudio associados a uma observação predefinida
parte no mesmo lugar. Tradicionalmente, na maioria dos
para correspondência de áudio. A sintaxe MULTI é a seguinte:
ambientes que fazem uso de sistemas de acompanhamento de pontuação,
MULTI ( +<float> ) <duração> <nome>
a partitura eletrônica vive separadamente em qlists adicionais
Nesta nova topologia, um estado semi-markov de alto nível
e os números de eventos (ou nomes no nosso caso) associados
representa a estrutura temporal geral de todo o objeto que é mapeado para
com eventos de pontuação específicos acionariam as mensagens em
uma série de Markov sequencial esquerda-direita
a qlist para processamento posterior. Isso pode ser feito facilmente
correntes. A Figura 5 mostra um exemplo MULTI para dois glissandis
dentro das pontuações do Antecofo. Além disso, a Antecofo
notados consecutivos.
possui um temporizador interno que é acoplado ao tempo decodificado em
tempo real que pode ser usado para fazer o sequenciamento sobre o
mensagens a serem enviadas. Observe que enquanto as qlists tradicionais também
permitem o sequenciamento através de valores de atraso em milissegundos,
o simples fato de que o sequenciador no Antecofo pode aceitar valores
; Esta é uma amostra para a classe MULTI
BPM 60 musicais relativos (em batidas) que são realizados em
MULTI ( 6080 6100 6150 6200 ) 4.0 First-Gliss
MULTI ( 6300 6200 6150 6100 ) 4.0 2º Gliss tempo de execução (durante o desempenho) adiciona uma nova dimensão e
flexibilidade na escrita de processos temporais para
repertório de música instrumental e computadorizada.
Um evento de música eletrônica interativo (ou fixo) pode
estar vinculado a um único evento na partitura. Nesse caso,
uma sequência de comandos FWD com mensagens correspondentes
seguindo o evento na pontuação do antesscofo faria
Figura 5. Amostra de pontuação da Antecofo e transição de estado
o trabalho. A sintaxe simples do FWD é a seguinte:
diagrama para classe MULTI
FWD <símbolo> +<mensagem>
FWD <atraso> <símbolo> +<mensagem>
onde <symbol> é a string correspondente ao símbolo receptor e
8.2. Comandos avançados +<message> corresponde ao(s) átomo(s)

8.2.1. VARIAÇÃO
que seria enviado para o símbolo na posição desejada.
A opção <delay> se existir, é um número float que indica o valor do tempo
A variação associada ao observador (consulte a seção 7) atrasado em batidas que atrasaria o
também pode ser controlado na partitura e toma como unidade, semitons hora do relógio para enviar a mensagem para processos externos
(para eventos de altura) ou valores percentuais do evento de pontuação usando um agendador interno acoplado ao agente tempo.
esperado (para outras observações). Isso é bastante O comando adicional LFWD (ou loop forward) em
útil em várias circunstâncias. Por exemplo, ao seguir sinais de áudio de permite mensagens periódicas com a seguinte sintaxe:
uma flauta em uma apresentação ao vivo, LFWD <nome> <período> <símbolo> +<mensagem>
a afinação dos agudos pode tornar-se diferente do que ao ser acionado envia as mensagens indicadas para um
afinação esperada considerada na partitura devido ao aquecimento símbolo de forma periódica. O período é dado em batimentos
Machine Translated by Google

e é acoplado ao andamento decodificado dentro do Antescofo. seria um derivado da distribuição de von Mises como mostrado abaixo
Isso significa simplesmente que o período da mensagem em loop [9]:
mudaria apropriadamente com o ritmo do(s) músico(s). O comando
1
KILLFWD pode parar um loop para frente chamando o nome do F(ÿ, ÿ) = 2ÿ e ÿ cos(2ÿÿ) sen 2ÿÿ
exp ÿ
processo em qualquer lugar na partitura:
KILLFWD <nome>. Aqui, o parâmetro ÿ desempenha um papel importante como menor
Essa característica da linguagem de partituras do Antecofo é constantemente valores espalham a correção por todo o domínio de fase.
crescendo de acordo com as necessidades da comunidade de música Para levar esse fato em consideração, acumulamos
por computador usando o software desenvolvido. Para obter uma lista fatores que ocorrem durante os IOIs de notas e resolvem numericamente
abrangente de ações de pontuação e planos futuros desses para o melhor ÿ que deve ser usado durante a próxima atualização.
características convidamos o leitor curioso a experimentar e seguir o Pode-se mostrar que as considerações acima correm em resposta
desenvolvimento na seção 11. à seguinte atualização de andamento na chegada de cada
nova posição de pontuação decodificada do agente de áudio:

9. DECODIFICAÇÃO DE TEMPO
sn+1 = sn(1 + F(ÿn, ÿ))

A percepção do tempo em tarefas de sincronização de música é

10. INFERÊNCIA ANTECIPATÓRIA
não apenas uma análise do conteúdo rítmico, mas sim
FORMULAÇÃO
molda uma estratégia de escuta ativa na qual o
expectativas sobre eventos futuros podem desempenhar um papel
Como mencionado anteriormente, o problema de inferência aborda a
tão importante quanto os próprios eventos musicais. Portanto, qualquer
decodificação da sequência de estados mais provável em associação de tempo.
modelo para sincronização de tempo de eventos musicais deve ÿÿ1
com a sequência de áudio observada x 0 . Em um não
considerar a hipótese de que a estrutura temporal das expectativas
contexto em tempo real, uma inferência exata pode ser obtida usando
dos ouvintes é uma estrutura dinâmica. para primário
A função de tal estrutura é atencional que permite uma antecipação o algoritmo de Viterbi [15] que para cada tempo t usa ambos
crenças do tempo 0 a t (referido como para frente ou
de eventos futuros, possibilitando o direcionamento perceptivo,
e coordenação de ação com eventos musicais. esto ÿ probabilidade) e conhecimento futuro do presente (t) para
um estado terminal no tempo T (referido como para trás ou ÿ
considerações levaram Large et al. [9] para projetar um
probabilidade). Em um sistema de acompanhamento de pontuação que exige
modelo de andamento baseado em oscilações internas.
sincronização em tempo real de áudio com a partitura da música,
O modelo usado no Antecofo para decodificação da variável de
usando a probabilidade ÿ ou inversa de uma inferência exata
tempo contínuo é altamente inspirado em [9]. O andamento interno é
quadro é impossível ou introduziria atrasos consideráveis no sistema.
representado por uma variável aleatória sk
No sistema proposto,
revelando o quão rápido a música está fluindo no que diz respeito
esperamos compensar essa ausência de crenças futuras por meio de
o tempo físico. Depois de Large, modelamos o comportamento de
nosso modelo antecipatório de agentes acoplados áudio/tempo
tal variável aleatória como um oscilador interno arrastando
e um procedimento de cálculo de ÿ adaptativo. Aqui, formulamos uma
para a performance do músico. Essa oscilação interna
abordagem de programação dinâmica para um
pode ser representado e modelado facilmente usando círculo senoidal
cálculo de ÿ para um híbrido oculto Markov/semi-Markov
mapas. Esses modelos têm sido bem estudados na literatura e podem
processo. As técnicas de inferência mostradas aqui podem ser
ser considerados como modelos não lineares de oscilações que
deduzidas e comprovadas matematicamente da estrutura
treinam para um sinal periódico e usando formalismo de tempo
discutidos na seção 6, que são deixados de fora devido ao espaço
discreto. Usando esta estrutura, representamos o considerações.
variável aleatória tempo em segundos/batida e início da nota
Para um estado semi-Markoviano j, a recursão de Viterbi de
posições como valores de fase ÿk no círculo senoidal. Por aqui,
a variável direta é fornecida pela seguinte dinâmica
dado um tempo local sk, o tempo de início tn pode ser representado
formulação de programação:
como ÿn = vocês todos

+ 2kÿ onde k é o número de andamento

sk
ciclos para atingir tn. Para nosso modelo, um avanço de fase
ser a parte do período do oscilador correspondente a ÿj (t) = bj (xt) max( max
1ÿuÿt
note Intervalos entre inícios (IOI). ( (uYÿ1 v=1 bj (xtÿv) )
Para compensar flutuações temporárias durante a apresentação dj ( u )max (pijÿi(t ÿ u))))) (dois)
i6=j
de música ao vivo, precisaríamos de uma função de
ÿ que corrigiria a fase durante a sincronização ao vivo e ao mesmo Para um estado de Markov j, o mesmo objetivo equivale a:
tempo modelaria o efeito atencional discutido anteriormente, permitindo
tÿ1
= sim 0 , xt 0 = x 0 )
vocês

assim o direcionamento perceptivo, e ÿ˜j (t) = max P(St = j, Stÿ1 0

s0,...,stÿ1
coordenação de ação com evento musical. A atenção
= bj (xt) max ( ˜pijÿ˜i(t ÿ 1)) (3)
O pulso pode ser modelado usando uma função de densidade de Ei

probabilidade periódica, a distribuição de von Mises, que é a versão

Dentro desta formulação, a probabilidade do
do mapa circular da distribuição gaussiana. Já que estamos ÿÿ1
sequência x 0 juntamente com o estado mais provável se
interessado na atualização de andamento e não diretamente na fase,
sequência é argmax [ÿj (ÿ ÿ 1)].
o fator de atenção correspondente para a variável tempo j
Machine Translated by Google

As equações 3 e 2 nos fornecem uma estrutura recursiva para em seguida, foi usado em vários shows, incluindo “...Explosante-
decodificar a posição da partitura em tempo real, dado que Fixe...” de Boulez com a Filarmônica de Los Angeles em janeiro de
conhecemos a função de sobrevivência dj (u) para cada evento na 2008 e várias novas produções estão em andamento.
partitura na equação 2. Em troca, o tempo pode ser decodificado Neste artigo demonstramos fundamentos e conceitos básicos do
corretamente se temos as posições da partitura da nota atual e das antesscofo. Deixamos uma discussão mais rigorosa sobre o desenho,
notas anteriores, conforme visto na seção 9. Para resolver ambos os avaliação e exploração do sistema para uma futura comunicação.
problemas, juntamos os dois agentes onde ambos estão sendo
executados em paralelo e colaborando para decodificar a melhor
posição e andamento da partitura. Embora a influência do 12. AGRADECIMENTOS
decodificador de posição da partitura no agente de tempo seja
evidente, precisamos refinar o contrário principalmente porque os O autor gostaria de agradecer fortemente sua colaboração com
dois agentes são executados em escalas de tempo diferentes. Marco Stroppa neste projeto, sem cuja forte intuição musical e
Para resolver essa carga, consideramos um processo estocástico perseverança este projeto nunca alcançaria seu estado atual.
P(Tk) que modela o tempo estimado de chegada (em termos de
do número de quadros de análise) para a º evento no
pontuação k como um processo de poisson. Uma vez que a função 13. REFERÊNCIAS
de sobrevivência dj (u) é o tempo entre chegadas, usando os
princípios estocásticos básicos, pode-se mostrar facilmente que, [1] Miller Puckette. Uma divisão entre aspectos 'composicionais' e
'performativos' do pd. In First International Pd Convention, Graz,
ÿÿ(tnÿtnÿ1) dj Áustria., 2004.
(tn ÿ tnÿ1) = e
[2] Marco Stroppa. Eletrônica ao vivo ou música ao vivo? para uma crítica
onde ÿ é o número esperado de ocorrências que se esperaria que da interação. Contemporary Music Review, 18(3):41-77, 1999.
acontecessem durante o intervalo de tempo dado.
Durante a estrutura de inferência da equação 2, sendo tn o tempo [3] Jean-Claude Risset. Compondo em tempo real? Contemporary Music
real e tnÿ1 a última posição decodificada, podemos obter facilmente Review, 18(3):31-39, 1999.
ÿ usando o último tempo decodificado e a duração do evento (em [4] Roger B. Dannenberg. Um algoritmo online para acompanhamento em
batidas) da partitura. tempo real. In Proceedings of the International Computer Music
Conference (ICMC), páginas 193-198, 1984.

11. DESENVOLVIMENTO E DISCUSSÃO [5] Barry Vercoe. O performer sintético no contexto da performance ao vivo.
In Proceedings of the ICMC, páginas 199–200, 1984.

Anteriormente, foi desenvolvido usando bibliotecas de modelos C++

[6] Lorin Grubb e Roger B. Dannenberg. Um método estocástico de
avançadas e está disponível gratuitamente no site do autor para
acompanhamento de um intérprete vocal. In Proceedings of the ICMC,
ambientes Max/MSP e PureData em seus respectivos sistemas
páginas 301–308, 1997.
operacionais. A linguagem de partitura descrita do Antecofo também
[7] Cristóvão Rafael. Alinhando o áudio da música com partituras simbólicas
pode ser exportada através do software de notação musical comercial
NoteAbility Pro 2 . A usando um modelo gráfico híbrido. Aprendizado de Máquina,
Figura 6 mostra um instantâneo do arquivo de pacote
ajuda que
paravem com o
download
65(2-3):389-409, 2006.
com exemplos e tutoriais demonstrativos: http://cosmal.ucsd.edu/
[8] Arshia Cont. Melhoria da modelagem de observação para
arshia/antescofo/
acompanhamento de pontuação. Dea atiam, Universidade de Paris 6,
IRCAM, Paris, 2004.

[9] Edward W.Large. Periodicidade, formação de padrões e estrutura

métrica. Journal of New Music Research, 22:173-185, 2001.

[10] Roberto Rosen. Sistemas Antecipatórios, volume 1 da Série Internacional

da IFSR sobre Ciência e Engenharia de Sistemas.
Pergammon Press, Oxford, 1985.
[11] Yann Guedon. Cadeias híbridas ocultas de markov/semi-markov.
Estatísticas Computacionais e Análise de Dados, 49:663–688, 2005.

[12] Ircam. Colloque International Ecritures du temps et de l'interaction. In

Agora Festival, Paris, França., Junho de 2006.
Ircam-Centro Pompidou.
[13] I. Xenakis. Música formalizada. Imprensa da Universidade de Indiana,
Figura 6. Instantâneo da Ajuda do Antecofo no Max/MSP 1971.

[14] Pierre Boulez. Pense na Música Aujourd'hui. gallimard,

Antecofo foi concebido principalmente para “... of Silence” de 1964.
Marco Stroppa para saxofone e eletrônica de câmara, estreado em
[15] Kevin P. Murphy. Redes Bayesianas Dinâmicas: Representação,
23 de novembro de 2007 em Shizuoka, Japão. Desde Inferência e Aprendizagem. Tese de doutorado, UC Berkeley,
Computer Science Division, 2002.
dois

http://debussy.music.ubc.ca/NoteAbility/

Ver estatísticas de publicação