|
Um vídeo mostra uma boca articulando ga, o alto-falante toca um áudio de ba, e o que a maior parte das pessoas escuta é da, uma sílaba que não está em nenhum dos dois canais.
O som que entra pelo ouvido não muda um decibel, o que muda é o que a boca na tela faz enquanto ele entra.
Saber do truque não desfaz nada, você pode ler a explicação inteira, rodar o vídeo de novo e continuar escutando da.
O botão de desligar é outro, feche os olhos e o ba volta na hora, limpo, exatamente como sempre esteve.
I
O Mecanismo
O achado começou como erro de dublagem.
Harry McGurk e John MacDonald estudavam percepção de fala em bebês na Universidade de Surrey e pediram ao técnico uma fita com o áudio de uma sílaba colado por cima do vídeo de outra. A fita voltou e os dois pesquisadores escutaram uma terceira sílaba, que não estava em lugar nenhum da gravação.
O teste virou protocolo. Eles filmaram uma falante repetindo ba, ga, pa e ka, cruzaram trilha e imagem em todas as combinações e mostraram o material a pré-escolares, a crianças em idade escolar e a adultos, pedindo apenas que cada um relatasse o que tinha escutado.
O resultado dependia da idade. Na combinação de áudio ba com boca de ga, noventa e oito por cento dos adultos relataram da, contra oitenta e um por cento das crianças de escola e cinquenta e nove por cento dos pré-escolares.
O controle era a parte decisiva do desenho. Com a tela apagada e o mesmo áudio tocando, o acerto ficava perto de cem por cento, o que elimina a hipótese de o som ser ambíguo.
A troca não é aleatória, é aritmética de articulação. O b é bilabial, exige os lábios se fechando; o g é velar, nasce no fundo da língua contra o palato mole; e o olho, ao ver que os lábios não fecharam, contradiz o ouvido, que insistia numa consoante da frente da boca.
O cérebro fecha o impasse no meio do caminho. O d é alveolar, articulado com a ponta da língua atrás dos dentes, um ponto intermediário entre os lábios e o fundo da garganta, e é exatamente a sílaba que o relato do voluntário entrega.
A conta muda quando os papéis se invertem. Áudio de ga sobre boca de ba não produz fusão, produz combinação, e as pessoas relatam bga ou baga, com as duas informações empilhadas em vez de mescladas numa terceira.
A ilusão não exige coerência nenhuma entre as pistas. Kerry Green, Patricia Kuhl, Andrew Meltzoff e Erica Stevens juntaram uma voz masculina a um rosto feminino, incompatibilidade escancarada, e a fusão continuou acontecendo.
O motivo do canal visual pesar tanto está no relógio. Os lábios começam a se mover antes de o som sair da boca, com vantagem que costuma ficar entre cem e trezentos milissegundos, e o cérebro trata a imagem como palpite adiantado sobre o que vem a seguir.
A antecipação aparece na atividade cortical. Virginie van Wassenhove, Ken Grant e David Poeppel mostraram que ver a boca falando encurta a latência da resposta auditiva no córtex, ou seja, a imagem não chega depois para corrigir o som, ela chega antes e prepara o terreno.
A janela de integração é larga, mas tem borda. Dessincronizar as duas trilhas mantém a fusão dentro de uma faixa de algumas centenas de milissegundos, com tolerância maior quando o som atrasa em relação à imagem do que quando adianta, arranjo que espelha a física do mundo real.
O ponto de encontro tem endereço no crânio. Michael Beauchamp, Audrey Nath e Siavash Pasalar miraram estimulação magnética transcraniana no sulco temporal superior esquerdo e a percepção fundida despencou, enquanto pulsos aplicados fora do alvo ou fora da janela de tempo não mudaram nada.
A suscetibilidade varia muito de pessoa para pessoa. Um levantamento com centenas de voluntários encontrou gente que relata a fusão em todas as tentativas e gente que nunca relata, com a mesma pessoa mantendo o próprio padrão quando volta ao laboratório um ano depois.
A língua materna mexe no peso do canal visual. Kaoru Sekiyama e Yoh'ichi Tohkura mediram falantes de japonês com sílabas japonesas e encontraram fusão mais fraca do que a de falantes de inglês com sílabas inglesas.
O efeito também aparece cedo demais para ser hábito adquirido. Bebês de poucos meses, testados por tempo de olhar em vez de relato verbal, já reagem ao descompasso entre boca e som como quem esperava outra coisa.
O ponto mais estranho é a resistência ao conhecimento. Nenhuma quantidade de explicação dissolve a fusão, porque ela é resolvida antes de a percepção chegar ao andar consciente, e o único interruptor à mão continua sendo a pálpebra.
II
Por que Importa
A fala nunca foi um sentido só. O nome audição vende a conversa como canal único, e o experimento mostra que olhar a boca do outro é parte do ato de escutar, não um apoio opcional.
O ganho fica visível no barulho. William Sumby e Irwin Pollack mediram compreensão de palavras em ambiente barulhento e encontraram que ver o rosto do falante rende o equivalente a subir a fala cerca de quinze decibéis acima do fundo.
O bar cheio explica o resto. Quando você se inclina na direção de quem fala e cola o olho na boca dele, não é gesto de simpatia, é aquisição de sinal, e a compreensão sobe de fato.
A máscara cirúrgica cobrou o pedágio inverso. Cobrir a boca abafa as frequências altas e ainda apaga o canal visual inteiro, combinação que derrubou a inteligibilidade principalmente para quem já tinha perda auditiva.
Aparelho auditivo e implante coclear vivem do rosto. Quem usa implante costuma desenvolver leitura labial acima da média e compreende bem mais quando enxerga o falante do que quando depende só do áudio.
A chamada de vídeo dessincronizada cansa por motivo físico. As normas de transmissão pedem que o som não fique mais que algumas dezenas de milissegundos à frente da imagem, e fora dessa faixa a fusão falha e a escuta passa a exigir esforço.
O cinema dublado vive de uma trégua com o mesmo mecanismo. A fusão mascara boa parte do desencaixe entre lábio e fala, e a dublagem só desmorona quando o descompasso cresce além do que o cérebro aceita costurar.
O ventríloquo usa a mesma cola no sentido contrário. A visão sequestra a origem do som e joga a voz para o boneco, prova de que a imagem também manda no endereço, não apenas no conteúdo.
A ilusão desmonta a ideia de sentidos separados. Não existem cinco relatórios independentes chegando à mesa da consciência, existe um único produto já combinado, e a costura é feita longe do seu alcance.
A variação entre pessoas virou ferramenta de pesquisa. Grupos com autismo e com dislexia costumam mostrar fusão mais fraca, resultado que ainda oscila de estudo para estudo, mas que transformou uma ilusão de sílaba em medida de integração sensorial.
A máquina acabou seguindo o mesmo caminho. Sistemas de reconhecimento de fala ficaram bem mais robustos em ambiente barulhento quando passaram a processar o vídeo dos lábios junto com o áudio, aposta que o cérebro faz há muito tempo.
É o experimento mais barato da neurociência. Não precisa de aparelho, precisa de um vídeo dublado, e a demonstração acontece dentro do crânio de quem assiste.
O fecho inverte a intuição. Você não escuta com o ouvido, escuta com o ouvido e com o olho ao mesmo tempo, e quando os dois discordam quem decide é o olho.
III
A Fonte
Nature, 1976.
Harry McGurk e John MacDonald, em "Hearing lips and seeing voices", dublaram áudio de ba sobre imagem de ga e registraram relato de da em noventa e oito por cento dos adultos, contra acerto perto de cem por cento quando a tela era apagada.
Journal of Neuroscience, 2010.
Michael Beauchamp, Audrey Nath e Siavash Pasalar, em "fMRI-Guided transcranial magnetic stimulation reveals that the superior temporal sulcus is a cortical locus of the McGurk effect", derrubaram a percepção fundida ao interferir num ponto específico do córtex.
PNAS, 2005. Virginie van Wassenhove, Ken Grant e David Poeppel, em "Visual speech speeds up the neural processing of auditory speech", mostraram que a imagem da boca antecipa e acelera o processamento cortical do som da fala.
Journal of the Acoustical Society of America, 1954. William Sumby e Irwin Pollack, em "Visual contribution to speech intelligibility in noise", quantificaram o ganho de ver o falante como equivalente a cerca de quinze decibéis de vantagem sobre o barulho de fundo.
| 
