Pular para o conteúdo
  • BTC $58.580 −6,9%
  • ETH $1.625 −8,7%
  • SOL $69,13 −6,8%
  • BNB $539,82 −8,1%
  • XRP $0,9086 −6,8%
  • DOGE $0,0541 −8,2%
  • ADA $0,1412 −8,1%

Os teus olhos chegam lá primeiro

O rastreamento ocular passou trinta anos dentro de hardware especializado e caro. Agora funciona numa webcam comum, e há uma página online onde qualquer pessoa pode testá-lo em cerca de noventa segundos. Observe qualquer pessoa usar um computador e o mesmo atraso se repete, centenas de vezes por hora. Ela olha para o botão. Depois move…

O rastreamento ocular passou trinta anos dentro de hardware especializado e caro. Agora funciona em uma webcam comum, e há uma página online onde qualquer pessoa pode testá‑lo em cerca de noventa segundos.


Observe qualquer pessoa usando um computador e o mesmo atraso se repete, centenas de vezes por hora. Ela olha para o botão. Depois move o mouse até o botão. O olho chega primeiro, sempre, e então espera a mão alcançá‑lo. Alvos maiores, atalhos de teclado, preenchimento automático, gestos: grande parte do design de interface existe para compensar um ponteiro mais lento do que a pessoa que o segura.

Durante a maior parte da história da computação não havia alternativa. Saber para onde alguém estava olhando exigia um dispositivo dedicado com iluminadores infravermelhos, um preço de milhares de dólares e um ambiente controlado para manter a precisão. A Tobii, empresa sueca que domina a área, construiu um negócio sério com isso. Para pessoas com ELA ou lesão na coluna que falam olhando para letras em uma tela, esse hardware muda a vida. Ele também fica atrás de uma ordem de compra.

Esse portão está sendo removido por dois lados. De cima, as plataformas: a Apple distribui o Eye Tracking como recurso padrão de acessibilidade no iPhone e no iPad usando apenas a câmera frontal, e o Vision Pro transformou o olhar em ponteiro e o beliscão em clique. De baixo, a pilha de código aberto: modelos de rastreamento facial que eram projetos de pesquisa há alguns anos agora rodam em uma aba do navegador, na taxa de quadros da câmera, de graça.

A demonstração

É aí que entra Lugano. A Mont3, um estúdio de software na cidade, colocou um exemplo funcional online. A página pede acesso à câmera, conduz o visitante por cerca de um minuto de calibração seguindo um ponto pela tela e então um marcador começa a rastrear o olhar. Dois pequenos jogos estão anexados: em um você pisca para eliminar um inseto para o qual está olhando, no outro, uma versão de Snake, você direciona olhando para onde quer ir. Não há instalação, nem conta e nem upload: o fluxo da câmera permanece na máquina do visitante, o modelo é treinado e armazenado no navegador, e fechar a aba encerra tudo.

Meio da calibração. O anel verde é o alvo para o qual o usuário é instruído a olhar, o marcador azul é onde a página acha que ele está olhando, e a faixa à direita é o rastreamento da íris que está sendo lido. Crédito: Mont3

Como funciona

A maneira óbvia de construir isso é enviar quadros da câmera para um modelo e perguntar para onde a pessoa está olhando. Funciona de forma impressionante até a cabeça inclinar, ponto em que tudo desmorona, porque o que o modelo aprendeu foi uma postura.

Então a imagem é descartada quase imediatamente. O MediaPipe FaceLandmarker do Google, uma malha facial de código aberto que roda no dispositivo, retorna 478 pontos por quadro, incluindo um anel em torno de cada íris, e esse rastreamento de íris é por si só um trabalho de pesquisa publicado. Cerca de uma dúzia de números sobrevive: onde cada íris se encontra dentro de sua própria órbita ocular, o yaw, pitch e roll da cabeça, e a distância entre os olhos como um substituto para a distância de visualização.

Esse é o truque que sobrevive ao contato com uma pessoa real: a posição da íris medida dentro do olho anula onde o rosto está no quadro, então recostar na cadeira deixa de destruir a estimativa.

De pontos de referência faciais a um ponto na tela. Crédito: Mont3

Um arquivo HTML

Vale a pena ser preciso sobre quanto custa fazer isso, porque é essa a parte que mudou. A página é um único arquivo HTML: cerca de 1.100 linhas, 51 KB, uma tag de script, nenhum framework, nenhuma etapa de build, nenhum servidor, nenhum npm install. JavaScript puro, rodando em qualquer navegador que o leitor já tenha aberto. A única dependência externa é a malha facial do Google, carregada de um CDN público em uma única linha. A regressão no final são 65 termos de álgebra linear escrita à mão, resolvida em forma fechada, sem nenhuma biblioteca de aprendizado de máquina envolvida.

Um desenvolvedor competente poderia reproduzi‑la em um fim de semana. Quinze anos atrás o mesmo resultado era um projeto de pesquisa financiado com orçamento de hardware.

Quão preciso isso realmente é

O olhar via webcam fica em cerca de 2 a 4 graus de erro após a calibração. À distância de um laptop isso é algo entre uma moeda grande e um cartão de crédito: confiável no nível de uma grade de 4×4 zonas. Não é um cursor, e qualquer um que afirme o contrário em hardware de consumo está vendendo alguma coisa.

Esse limite é mais interessante do que parece. Grande parte das interfaces não precisa de precisão de pixel: qual de seis blocos tem a sua atenção, se você terminou um parágrafo, se ainda está na frente da tela. Seleção por permanência, a técnica que a tecnologia assistiva usa há décadas, funciona bem com precisão por zona.

Para onde isso vai

É assim que se parece quando uma tecnologia sai de seu cercado. Uma capacidade fica por anos dentro de hardware caro, atendendo às pessoas que não conseguem viver sem ela, até que a detecção fique boa o suficiente para peças comuns e os modelos se tornem abertos. Os primeiros beneficiários são aqueles que sempre precisaram disso, para quem a diferença entre um dispositivo que custa milhares e uma página que não custa nada é a diferença entre falar e não falar. O que vem depois é mais comum: interfaces que percebem para onde a atenção foi e param de pedir que a mão explique isso.

Noventa segundos e um navegador são suficientes para ver o quão longe já chegamos, em mont3.ch/control_with_eyes. Chrome, mesmo com pouca luz no rosto, cabeça a um braço de distância da tela.


Notas para o editor

  • Contagem de palavras: 838 palavras (apenas corpo do texto, excluindo título, linha de apoio, legendas e este bloco).
  • Enquadramento: um texto sobre para onde o controle ocular está indo, tendo a demonstração de Lugano como algo que o leitor pode ir e verificar. A empresa é mencionada uma vez no corpo e uma vez na URL de encerramento. Sem links para suas páginas comerciais, sem citações dela, e o único “nós” é o editorial.
  • Crédito do autor: deixado em branco de propósito.
  • Imagens: duas, ambas fornecidas pelo estúdio, sem direitos de terceiros envolvidos. A Imagem 1 é uma captura de tela da página em uso, feita por seu autor. A Imagem 2 é um diagrama original feito para este artigo. Linha de crédito “Crédito: Mont3”, que pode ser removida ou movida para uma única linha no rodapé se o estilo da casa preferir.
  • Links externos usados: Tobii, Apple Newsroom, documentação do Google MediaPipe, arXiv. Todos verificados e ativos no momento da redação.
  • A demonstração precisa de uma câmera e funciona melhor no Chrome. Ela não faz nada sem uma concessão explícita de permissão e não faz upload de nada.

Cryptonomist Editorial Staff

Todos os artigos de Cryptonomist Editorial Staff