Procesos, herramientas y prácticas de la Sonificación

[1] Procesos, herramientas y prácticas de la Sonificación Francisco-Javier Ruiz-del-Olmo Universidad de Málaga (Spain) fjruiz@uma.es José Vertedor Universidad de Málaga (Spain) vertedor.78@gmail.com 1. Concepto y contexto de la Sonificación En el ámbito de la creación y la representación audiovisuales contemporáneas, el término Sonificación puede definirse como la representación de la información usando el sonido, para facilitar la comprensión de los datos o los procesos de información mediante su escucha. También puede entenderse como la transformación de las relaciones entre los datos, en relaciones que se perciben en una señal acústica a los efectos de facilitar la comunicación o la interpretación de éstos (Asri e Ibrahim, 2014). En ese sentido entonces, y en un contexto de prácticas artísticas o científicas, la Sonificación puede ser la contrapartida acústica a la visualización. Es un método que siguiendo reglas uniformemente aplicables en lugar de asignar posiciones específicas en un diagrama a valores abstractos de acuerdo a reglas uniformes (convirtiendo así datos en ilustraciones) les asigna sonidos, también siguiendo reglas uniformes. Un ejemplo recurrente en este ámbito es el fenómeno de la radiactividad, que se mide comúnmente con un contador de Geiger. Los datos obtenidos por este dispositivo de medición no se visualizan sino que se hacen audibles en su lugar. La medición produce un sonido, por lo que cada clic corresponde a una desintegración radiactiva. De las características del sonido, se puede deducir la intensidad de la radiación, escuchando así lo que no se puede ver. Como en otros medios, donde la digitalización produjo una radical transformación de las prácticas de producción, distribución y uso (postfotografía, postcine…) la década de los noventa del siglo pasado fue clave en una primera conceptualización del fenómeno. Desde 1992, un grupo de investigadores se ha venido reuniendo anualmente en la Conferencia Internacional para la Exhibición Auditiva, ICAD. En 1997, sus participantes estuvieron de acuerdo en la [2] siguiente definición que afirma que la Sonificación es el uso de audio sin voz para transmitir información. La conferencia también estableció la subdivisión actual de sonificación de acuerdo con sus tres métodos: audición, mapeo de parámetros y sonificación basada en modelos. Por tanto, bajo este concepto se engloban muchas técnicas y procesos diferentes (véase Ilustración 1, mas abajo); se trata de un ámbito interdisciplinar donde tiene cabida un amplio espectro de profesionales (artistas, psicólogos, informáticos, músicos, físicos…) puesto que integra e involucra desde el estudio sobre la percepción humana hasta la elección de dispositivos acústicos. Gran parte de la investigación centrada en la sonificación, por ejemplo, se ha dirigido a sentar las bases teóricas de los umbrales auditivos, las escalas psicofísicas y los modelos de percepción auditivos. El tratamiento de grandes cantidades de información mediante la incorporación del sonido es un campo de investigación de innegable utilidad. Ilustración 1. Descripción y concepto de Sonificación. (Elaboración propia) La citada reunión de ICAD (International Conference on Auditory Display) dirige sus esfuerzos hacia los dispositivos acústicos en el ámbito de la percepción, tecnología y áreas de aplicación de la disciplina. Sus temas de interés incluyen:  La exploración auditiva mediante la sonificación (sonido controlado) y la audificación (muestreo de datos en forma acústica).  La monitorización de múltiples variables vía sonificación en tiempo real.  Sonido en interfaces inmersivas (ambientes virtuales) y teleoperación.  Sonido en interfaces generales.  Aplicaciones de dispositivos acústicos. [3] La Sonificación es aún un campo en desarrollo cuyos límites se encuentran a menudo poco definidos. Integra una amplia variedad de campos profesionales y amplía la interacción entre los usuarios que están accediendo a la información en una diversidad de modalidades (véase en ese sentido icad.org, la Comunidad Internacional para la Presentación Auditiva). Para fines científicos, emplea el sentido desarrollado de la audición como complemento de la visualización de datos, con el fin de mejorar las técnicas actuales de análisis de éstos (Diaz-Merced, Candey, Brickhouse, Schneps, Mannone, Brewster y Kolenberg, 2011). Otro recurso específico para la investigación y el debate sobre la sonificación es sonifier.org; adicionalmente este recurso de la red también permite escuchar sonidos de estudio. En su estructura y contenido, sonifyer.org ofrece dos áreas centrales:  En el apartado “Sonido”, pueden escucharse datos sonificados de todos los campos y discutirlos. El primer campo que podemos configurar aquí es una biblioteca de sonidos de EEG, datos sonificados. Y se muestras de sonido de múltiples áreas.  Muestra el desarrollo de un software llamado “Sonifyer” con el objetivo de ofrecer a los usuarios de la plataforma Mac una interfaz rápida y eficiente para escuchar los datos.  En el apratado “Soft- & Hardware” se encuentran las últimas actualizaciones sobre programas y equipos, así como un foro para discutir temas e intercambiar información.  Por último, bajo el título “Conocimiento”, publican una creciente colección de composiciones (principalmente de compositores de los siglos XX y XXI) para los que se han empleado diferentes técnicas de sonificación. 2. Usos y herramientas para la Sonificación Un repertorio cerrado o siquiera aproximado de los diferentes usos de la Sonificación resulta inabordable aquí. Por otra parte, se trata de un campo en continuo crecimiento y experimentación, que aborda cada día nuevas creaciones y posibilidades. Podemos citar sin embargo algunos de ellos. Por ejemplo, la sonificación del movimiento humano ofrece una amplia gama de nuevos tipos de información para ayudar al aprendizaje motor en deportes y rehabilitación. Aquí la percepción auditiva ofrece una resolución temporal única y sutil, así como una enorme capacidad de integración para mejorar la percepción de los patrones de movimiento humano: [4] una sonificación basada en los datos del movimiento cinemático puede mediar las características estructurales del movimiento a través del sistema auditivo, como los polirritmos del movimiento, etc. Y la sonificación de los datos del movimiento dinámico hace que las fuerzas musculares sean también audibles. Aquí se presenta un marco flexible para la sonificación de datos de movimiento humano, capaz de procesar datos de captura de movimiento cinemático estándar, así como cantidades derivadas tales como datos de fuerza. Los datos de fuerza se calculan mediante algoritmos de dinámica inversa y se pueden utilizar como parámetros de entrada para la sonificación en tiempo real. La visualización simultánea se proporciona mediante una herramienta OpenGL (Effenberg, Melzer, Weber & Zinke 2005). Un software por excelencia en los procesos de sonificación de datos es Max/MSP1, un entorno de programación visual en tiempo real para la multimedia y la interacción que es ideal para aprender sobre el procesamiento de señales digitales, explorar nuevas ideas para hacer música, la interconexión de hardware (por ejemplo, utilizado desde controles remotos Wii a iPhones, entre otros). Su cualidad para el trabajo en tiempo real lo hace apropiado para el trabajo en vivo Live Coding. También es destacable aquí el software basado en lenguaje Java y llamado xSonify, que utiliza una técnica de sonificación para promover el descubrimiento en los datos astronómicos. El prototipo está diseñado para analizar datos bidimensionales, como datos de series temporales. Es demostrable la utilidad de la técnica de sonificación con ejemplos aplicados a la astronomía de rayos X y datos solares (Diaz-Merced, Candey, Brickhouse, Schneps, Mannone, Brewster & Kolenberg 2011). Por su parte, Sonification Sandbox es un proyecto del Laboratorio de Sonificación del Departamento de Psicología del Instituto de Tecnología de Georgia, supervisado por Bruce Walker. Motivados por la necesidad de un conjunto de herramientas simples, multi-plataforma y multiuso para sonificar datos, el Sandbox de Sonificación permite al usuario mapear datos a múltiples parámetros auditivos y agregar contexto usando una interfaz gráfica. Los datos se pueden importar de archivos CSV (que se pueden crear en MS Excel, por ejemplo), y manipulados y editados por tanto en una hoja de cálculo. El mapeo entre los datos y los gráficos visuales y auditivos puede ser transformado de muchas maneras. Las representaciones visuales y auditivas de los datos están disponibles, y los gráficos visuales y auditivos pueden ser exportados como imágenes, archivos de datos, archivos de audio 1 Cycling ’74. (n.d.). Retrieved October 16, 2016, from https://cycling74.com/ [5] e incluso archivos de película QuickTime multimodales; esto es, a una gran variedad de formatos de archivo2. Otro ejemplo lo proporciona Pulsu(m) Plantae; es un proyecto desarrollado por Leslie García con la aplicación Pure Data que analiza empí ricamente cuá les son los mecanismos que utilizan las plantas para comunicarse y visualiza có mo sus propios procesos bioló gicos constituyen una manifestació n de comunicació n, aparentemente intangible para nuestros sentidos. El proyecto plantea el diseñ o de una pró tesis sonora, basada en el principio de biofeedback, té cnica que se enfoca en obtener datos sobre diversas funciones fisioló gicas de un cuerpo orgá nico, utilizando instrumentos que permiten obtener informació n sobre el funcionamiento y ciclos de estos sistemas vivos. El sistema traduce las lecturas obtenidas del biofeedback en un proceso de sí ntesis sonora, produciendo de esta forma una voz abstracta para plantas3. Pure Data, por su parte, es un lenguaje de programación visual de código abierto que puede funcionar numerosos dispositivos, desde computadoras personales Raspberry Pi a teléfonos inteligentes (a través de libpd, pddroidparty y Rjdj). Pure Data permite a los músicos, artistas visuales, intérpretes, investigadores y desarrolladores crear software gráficamente sin escribir líneas de código. Se utiliza por tanto para procesar y generar sonido, video, gráficos 2D / 3D, y sensores de interfaz, dispositivos de entrada y MIDI. Pure Data puede trabajar fácilmente sobre redes locales y remotas para integrar tecnología portátil, y es adecuado para el aprendizaje de procesamiento multimedia básico y métodos de programación visual, así como para la realización de sistemas complejos en proyectos a gran escala4 (véase Ilustración 2). Sonification Sandbox. (n.d.). Retrieved October 16, 2016, from http://sonify.psych.gatech.edu/research/sonification_sandbox/ 3 Pulsu(m) Plantae. (n.d.). Retrieved October 16, 2016, from http://lessnullvoid.cc/pulsum/ 4 Pure Data — Pd Community Site. (n.d.). Retrieved September 10, 2016, from https://puredata.info/ 2 [6] Ilustración 2. Aplicaciones y software para la Sonificación. (Elaboración propia) 3. Creadores de Sonificación En un campo emergente como éste, con incorporaciones de creadores y científicos de forma creciente, cualquier intento de exhaustividad resulta tarea imposible, ni es pretensión de este trabajo. Incluimos sin embargo algunos creadores que tienen ya una cierta trayectoria en el ámbito de la sonificación, así como un número constatable de seguidores y citas y referencias en la red sobre sus trabajos. Entre ellos, Robert Alexander, especialista en sonificación que trabaja con el Grupo de Investigación Solar y Heliosférica de la Universidad de Michigan, en el doctorado en Ciencias del Diseño. El trabajo de Ryoji Ikeda aborda directamente la sonificación y la estética de los datos. Dentro de la obra de Ikeda, no sólo estamos explorando datos como medio estético, observamos los datos como inmersivos y comprobamos que estos son ilusorios. Su obra conjura lo científico y lo preciso y juega con las nociones de exactitud. Estos dos autores citados utilizan un equilibrio entre la representación científica y apelan también directamente a la noción de lo conceptual, lo sublime y lo espiritual5. Ikeda es sobre todo compositor de música electrónica y artista visual japonés, y se centra en las características esenciales del sonido y de las visuales como luz mediante la precisión y la estética matemática. El japonés se ha ganado una reputación como uno de los pocos artistas internacionales que trabajan de manera convincente a través de medios visuales y sónicos. Conjuga e integra elaboradamente el sonido, los materiales visuales, los Data as Playful: Sonification Specialist on superposition – UMS – University Musical Society. (n.d.). Retrieved from http://ums.org/2014/10/06/data-is-playful/ 5 [7] fenómenos físicos y las nociones matemáticas en las representaciones y las instalaciones inmersivas vivas o en tiempo real6. Por su parte, David Griffiths es un codificador creativo y artista de Live Coding, y forma parte de FoAM (una organización independiente de las artes y la investigación, un laboratorio de investigación transdisciplinar independiente, que trabaja entre arte, ciencia y naturaleza). Es relevante señalar cómo Griffiths trabajó en la industria del cine y los videojuegos durante 10 años (en Moving Picture Company, empresa de investigación y desarrollo de Sony Eyetoy). Realiza a nivel internacional con “slub” un grupo de rave algorítmico livecoding y también trabaja con científicos para la bioinformática y el trabajo de divulgación científica. Otros autoresrelevantes pueden ser Alberto del Campo o Leslie García (véase Ilustración 3). Ilustración 3. Creadores de Sonificación. (Elaboración propia) 4. Conexiones y dinámicas de la Sonificación A modo de conclusión elaboramos un primer mapa mental, necesariamente limitado, cualitativo e interpretativo, en este contexto, y que recoge las conexiones entre buena parte de los elementos reseñados en las páginas anteriores. Se esquematizan en cuatro categorías (Ilustración 4):  Autores,  Software,  Entorno,  Y Prácticas de la Sonificación. ryoji ikeda | biography. (n.d.). Retrieved November 13, 2016, from http://www.ryojiikeda.com/biography/ 6 [8] Ilustración 4. Conexiones y dinámicas. (Elaboración propia) Fuentes: Asri, A., & Ibrahim, A. (2014). Sonification of 3D Body Movement Using Parameter Mapping Technique. In 2014 International Conference on Information Technology and Multimedia(ICIMU) (pp. 385–389). Campo, A., Hoeldrich, R., Eckel, G., & Wallisch, A. (2007). NEW SONIFICATION TOOLS FOR EEG DATA SCREENING AND MONITORING Alberto. Proceedings of the 13th International Conference on Auditory Display, 7. Cycling ’74. (n.d.). Retrieved October 16, 2016, from https://cycling74.com/ Data as Playful: Sonification Specialist on superposition – UMS – University Musical Society. (n.d.). Retrieved June 1, 2016, from http://ums.org/2014/10/06/data-is-playful/ Diaz-Merced, W. L., Candey, R. M., Brickhouse, N., Schneps, M., Mannone, J. C., Brewster, S., & Kolenberg, K. (2011). Sonification of Astronomical Data. J. Hanisch & R. Seaman. International Astronomical Union. http://doi.org/10.1017/S1743921312000440 Effenberg, A., Melzer, J., Weber, A., & Zinke, A. (2005). MotionLab Sonify: A Framework for the Sonification of Human Motion Data. In The 9th International Conference on Information Visualisation (IV’05) (pp. 17–23). http://doi.org/10.1109/IV.2005.84 [9] Pulsu(m) Plantae. (n.d.). Retrieved October 16, 2016, from http://lessnullvoid.cc/pulsum/ Pure Data - Pd Community Site. (n.d.). Retrieved September 10, 2016, from https://puredata.info/ Sonification Sandbox. (n.d.). Retrieved October 16, 2016, from http://sonify.psych.gatech.edu/research/sonification_sandbox/ Sonifyer home. (n.d.). Retrieved October 16, 2016, from http://www.sonifyer.org/ Dave Griffiths’s profile. [FoAM]. (n.d.). Retrieved November 13, 2016, from http://fo.am/people/dave/ ryoji ikeda | biography. (n.d.). Retrieved November 13, 2016, from http://www.ryojiikeda.com/biography/ Tabla de Ilustraciones: Ilustración Ilustración Ilustración Ilustración 1. 2. 3. 4. Descripción y concepto de Sonificación........ Aplicaciones y software para la Sonificación.. Creadores de Sonificación..................... Conexiones y dinámicas........................ 2 6 7 8