Sinestesia expandida: experiência multissensorial aromática em realidade virtual

Ano

2021

PT

A sinestesia é uma condição neurológica em que o individuo afetado tem a perceção involuntária de dois sentidos sobre uma impressão, por outras palavras, os sentidos estão misturados (Whitelaw, 2008; Hinderk et al, n.d.), alterando a maneira de como o mundo é percecionado. Um dos casos mais conhecidos de sinestesia é a mistura entre a visão e o som, permitindo que o individuo veja as cores e formas de um som ou em outras situações o som de cada cor, como é o caso de Wassily Kandinsky, um famoso pintor russo do século XX (Miller, 2014). Esta condição neurológica não tem qualquer efeito negativo na vida do individuo, aliás, para alguns pode ser visto como uma virtude, o dom de sentir o mundo de maneira diferente, algo que pode ser explorado artisticamente. Com este projeto pretende-se explorar o potencial da sinestesia com recurso à realidade virtual (VR) e a um conjunto de tecnologias multimédia que permitam estimular e relacionar sentidos e ações de uma forma abrangente e imersiva. A realidade virtual apresenta a possibilidade de intensificar experiências sensoriais e expandir relações de sinestesia. Neste contexto, foi desenvolvido um protótipo denominado de Sensory Medley, que tem como objetivo principal encontrar uma forma de simular a sensação de sinestesia através do VR numa experiência imersiva e interativa, adicionando um quarto sentido, o olfato. Este projeto apresenta uma solução baseada na utilização de dispensadores de aroma automáticos modificados para que pudessem ser controlados a partir de uma plataforma de prototipagem (Arduino), de forma a complementar a interação. Esta interação acontece num ambiente de realidade virtual interativo desenvolvido numa plataforma de autoria de videojogos (Unity 3D). Os objetos tridimensionais foram produzidos numa ferramenta de modelação 3D e animação (Blender). O som espacializado foi produzido e integrado através de uma plataforma de áudio imersivo em tempo real (FMOD). Ao longo deste documento é apresentada uma descrição detalhada sobre todo processo de criação e desenvolvimento. Esta solução devolveu resultados interessantes que puderam ser observados durante uma experiência realizada na ESMAD com alguns participantes, que conseguiram de forma intuitiva associar objetos a aromas. Estes resultados também são analisados e alvo de reflexão.

EN

Synesthesia is a neurological condition in which the affected individual has an involuntary two-way perception of an impression, in other words, the senses are mixed (Whitelaw, 2008; Hinderk et al, nd), changing the way the world is perceived. One of the best-known cases of synesthesia is the mixture between vision and sound, allowing the individual to see the colors and shapes of a sound or in other situations the sound of each color, as is the case with Wassily Kandinsky, a famous Russian painter 20th century (Miller, 2014). This neurological condition has no negative effects on the individual’s life, in fact, for some it can be seen as a virtue, the gift of perceiving the world differently, something that can be explored artistically. With this project, it is intended to explore the potential of synesthesia using virtual reality (VR) and a set of multimedia technologies that allow to stimulate and relate senses and actions in a comprehensive and immersive way. Virtual reality presents the possibility of intensifying sensory experiences and expanding synesthetic relationships. In this context, a prototype called Sensory Medley was developed, whose main objective is to find a way to simulate the sensation of synesthesia through VR in an immersive and interactive experience, adding a fourth sense, smell. This project presents a solution based on the use of modified automatic aroma dispensers so that they could be controlled from a prototyping platform (Arduino), in order to complement the interaction. This interaction takes place in an interactive virtual reality environment developed on a video game authoring platform (Unity 3D). The three-dimensional objects were produced in a 3D modeling and animation tool (Blender). The spatialized sound was produced and integrated through an immersive real-time audio platform (FMOD). Throughout this document, a detailed description of the entire creation and development process is presented. This solution returned interesting results that could be observed during an experiment carried out at ESMAD with some participants, who were able to intuitively associate objects with aromas. These results are also analyzed and subject of reflection.