OmniTouch

Uma das grandes revoluções na computação foram as telas sensíveis ao toque. Eles trouxeram uma nova forma de interagir com o computador, seja com um ponteiro especial ou com o dedo. Em 2011, a Microsoft foi além com a introdução do OmniTouch, um projeto que tornou qualquer superfície tocável. A ideia básica é montar no ombro um dispositivo de câmera e projetor, que projeta a tela e lê as teclas digitadas pelo usuário. As possibilidades são infinitas, permitindo-nos transformar a nossa mão, a parede, um lençol ou qualquer outra superfície num ecrã táctil .

Como funciona o OmniTouch: reconhecendo as teclas digitadas

A parte mais importante do projeto OmniTouch é o rastreamento da posição e profundidade dos dedos, para saber onde o usuário está tocando. Para isso, uma câmera PrimeSense sensível à profundidade foi utilizada no protótipo. Ao contrário de uma câmera normal que mede cores, o PrimeSense mede a distância de cada ponto na imagem da lente da câmera. A precisão de 1mm e o alcance mínimo de 20cm são as principais vantagens em relação à câmera Kinect, originalmente utilizada no projeto.

"

Para localizar os dedos, o OmniTouch primeiro captura o mapa de profundidade (A). Então, o mapa de inclinação é calculado>"

Em (B) você pode ver esse mapa traduzido em cores: vermelho significa que há menos profundidade no sentido positivo do eixo X ou Y (para cima ou para a direita) e azul significa que há é menor profundidade na direção negativa do eixo X ou Y (para baixo ou para a esquerda).Roxo significa que quase não há mudança na profundidade.

Com este mapa, o software procura seções cilíndricas verticais, uma superfície que se aproxima da câmera, fica e finalmente se afasta. O que tem sido um dedo se você passar de um lado para o outro, uau. No mapa de cores, procure uma seção vermelha, depois uma roxa e depois uma azul, todas no mesmo eixo vertical.

Possíveis candidatos são filtrados por altura, para filtrar qualquer coisa que não seja um dedo (por exemplo, um cilindro de 2 milímetros de altura não pode ser reconhecido como um dedo, então é descartado). Na figura (C) você pode ver todas as seções do dedo identificadas.

Feito isso, todas as seções verticais são reunidas para formar o dedo (figura D). Os dedos que podem ser muito curtos são descartados e assume-se que, como o usuário é destro, a parte mais à esquerda do dedo é a ponta.E pronto, agora sabemos para onde o usuário está apontando .

Agora, como sabemos se o dedo está tocando a superfície? Eles chamam isso de flood fill, mas será mais familiar se eu disser que é como encher o balde de tinta do Paint.

A técnica é simples: localize o ponto médio do dedo e comece a preencher os pixels para cima, para a esquerda e para a direita, com uma tolerância de 13 milímetros. Ou seja, eles só preenchem um pixel se a diferença entre sua profundidade e a do ponto médio do dedo for menor que 13 milímetros.

Dessa forma, se seu dedo não estiver tocando em nada, apenas os pixels correspondentes ao seu dedo serão preenchidos. Se você estiver tocando a mão, muitos mais serão preenchidos. Na imagem você pode ver o que acontece se o dedo estiver no ar (esquerda) ou tocando a mão (direita). Ao passar uma certa margem de pixels preenchidos, o software enviará um toque ou clique no local correspondente.

Como funciona o OmniTouch: projetando a imagem

Embora o reconhecimento do dedo seja a parte central, não podemos esquecer que o OmniTouch também tem que projetar uma imagem em qualquer superfície. A câmara de profundidade também é usada para isso. Todas as superfícies na imagem são detectadas usando um algoritmo de componente conectado, que detecta com muita eficiência pontos interconectados na imagem.

Descartadas as superfícies menores que uma mão, procedemos à fixação de um centro ou ponto de referência para projetar a imagem. Este ponto ajuda a detectar a orientação da superfície e, portanto, permite criar uma imagem que não pareça distorcida.

O próximo ponto difícil é quando se trata de detectar o tamanho da superfície.Como as bordas das superfícies não podem ser reconhecidas suficientemente bem, o OmniTouch usa a média e o desvio padrão dos pontos componentes para classificá-los em cinco pontos: mão, braço, notebook, parede e mesa. Cada um deles tem um determinado tamanho e um centro para a imagem.

O software gera a imagem a ser projetada com todos os dados, distorcendo-a para que apareça corretamente na superfície. Em seguida, ele passa a imagem para o projetor, que exibirá a imagem em qualquer superfície.

Tecnologia precisa com muitas possibilidades

Testes usados ​​para medir a precisão do OmniTouch.

Em testes, o OmniTouch provou ser uma tecnologia muito precisa. 96,5% de precisão no reconhecimento de um clique, uma figura muito boa e ainda mais por se tratar de um protótipo.Em relação ao tamanho da interface, com botões de 2 centímetros de diâmetro, 95% das teclas digitadas seriam reconhecidas.

Este tamanho máximo é necessário para uma interface projetada na mão. Em outras superfícies mais distantes, como uma mesa ou uma parede, ela pode ser reduzida para 15 milímetros, mais ou menos o mesmo tamanho recomendado para um botão em uma tela sensível ao toque convencional .

"

Quanto às possibilidades, elas são infinitas. Com o protótipo, foi criado um púlpito para pintar: na parede você desenhou e na mão esquerda escolheu as cores. Também usado como marcador>"

Mas o mais interessante é o que mencionam no final do documento: as possibilidades que o OmniTouch abre quando deixamos de considerar superfícies bidimensionais, aproveitando as formas do corpo para mudar a forma como interagimos com o computador.

"

OmniTouch é um projeto verdadeiramente empolgante, tanto em sua técnica quanto em suas possibilidades. Voltaremos a falar dele em breve no especial O futuro segundo Microsoft>"

No Xataka Windows | O futuro segundo a Microsoft Mais informações | OmniTouch