Melodyne 2.0: Direct Note Access

Lo pongo entre spoilers porque supongo que algunos no van a tener ganas de leerlo.

A ver, vamos de cero. Cada nota, digamos de una guitarra, es un sonido complejo. Eso significa que no es un sonido que podemos definir como una sola frecuencia, sino que está compuesto de muchas frecuencias. En general nos referimos a la más grave de estas como la frecuencia fundamental y al resto como armónicos o sobretonos. Estos armónicos tienen cierta relación entre ellos, y es que son siempre múltiplos enteros de la fundamental (por ej. con una fundamental de 250Hz, podemos esperar encontrarnos armónicos en: 500Hz, 750Hz, 1000Hz, 1250Hz, etc.).
Entonces, si pensamos en una guitarra tocando de a una sola nota, muy facilmente podemos analizar, cada vez que el guitarrista toca, qué es lo que suena y darnos cuenta cuál es la fundamental y cuáles son sus armónicos.
Ahora, lo que hace que una guitarra suene a guitarra es su timbre. El timbre va a estar dado por la amplitud y fase de cada uno de estos armónicos, y su envolvente temporal (cómo varía esa amplitud en el tiempo).
Entonces, siguiendo la linea de la guitarra monofónica, podríamos mantener el timbre de una guitarra y cambiar su afinación manteniendo ciertos aspectos de la señal (su envolvente temporal, la amplitud de sus armónicos) y moviendo otros (la frecuencia fundamental y sus respectivos armónicos). Eso, matemáticamente, es factible. Y bastante básico.

Ahora, qué pasa cuando la guitarra deja de hacer 1 nota y empieza a hacer 2, por ejemplo?
En teoría, ahora tendríamos 2 frecuencias fundamentales. Cada una tiene su "set" de armónicos, que puede coincidir con la otra, o no. Y he ahí nuestro dilema.
La relación esta, de números enteros, entre armónicos, musicalmente hablando es una relación bastante tonal. Por ejemplo, el doble de una frecuencia es su octava. Multiplicarla por 3 nos daría la 5ta justade la octava arriba de la fundamental. Por 4 es nuevamente una octava (la octava de la octava) y después encontramos 3ra mayor, 5ta nuevamente, etc.
Entonces, qué pasa si nuestro guitarrista toca una octava?
Supongamos que decide tocar la octava correspondiente a 250Hz y 500Hz, no importa qué nota sean.
Lo que vamos a tener es que nuestras fundamentales muy probablemente compartan armónicos, y dependiendo de la precisión del guitarrista, estos armónicos se pueden haber sumado... o restado.
Cómo hace un programa para:
1. Discernir entre 2 notas tocadas al mismo tiempo o 1 nota con componente armónico más rico?
2. Seleccionar, en el caso de 2 notas que compartan armónicos, qué armónicos le corresponde a cada una, y cuál es su amplitud relativa?

Se me ocurre analizar variaciones de fase en las fundamentales, eso podría llegar a llevar a algo. Pero así y todo, es muy poco probable.

Pero bueno... lo hicieron. Espero verlo andando, y tan bien como promete!