Mejorando las pantallas táctiles con IA

Archivo «CapContacto» Este método le permite ubicar los toques de sus dedos en las pantallas táctiles de teléfonos móviles y tabletas con mucha más precisión que la tecnología actual para toda la industria. (Video: CHI / SIPLAP)

Los científicos informáticos de ETH han desarrollado una nueva solución de inteligencia artificial que permite que las pantallas táctiles detecten con ocho veces la resolución de los dispositivos actuales. Gracias a la inteligencia artificial, su solución puede inferir con mucha más precisión dónde tocan la pantalla sus dedos.

Escribir rápidamente un mensaje en un teléfono inteligente a veces da como resultado que se presionen letras incorrectas en el teclado pequeño u otros botones de entrada en la aplicación. Tocar sensores que detectan la entrada del dedo en Pantalla táctil Poco ha cambiado desde su primer lanzamiento en teléfonos móviles a mediados de la década de 2000.

Por otro lado, las pantallas de teléfonos inteligentes y tabletas ahora brindan una calidad visual sin precedentes que es aún más visible con cada nueva generación de dispositivos: mayor fidelidad de color, mayor resolución, mayor contraste. Por ejemplo, el iPhone de última generación tiene una resolución de pantalla de 2532 x 1170 píxeles. Pero sensor tactil integra solo puede detectar una entrada con una resolución de aproximadamente 32×15 píxeles, es casi 80 veces menor que la resolución de la pantalla: «Y aquí estamos, nos preguntamos por qué cometemos tantos errores al escribir en un teclado pequeño. Creemos que deberíamos poder seleccionar objetos con precisión de píxeles mediante el tacto, pero ciertamente este no es el caso,» dice Christian Holz, profesor de informática de ETH del Laboratorio de Impresión, Interacción y Percepción (SIPLAB) en una entrevista en el Departamento de Ciencias de la Computación de ETH «Faros» serie.

Junto con su estudiante de doctorado Paul Streli, Holz ha desarrollado una inteligencia artificial (IA) llamada CapContact que le da a las pantallas táctiles una superresolución para que puedan detectar de manera confiable cuándo y dónde los dedos tocan la superficie de la pantalla con mucha mayor precisión que los dispositivos actuales. hacer. Esta semana, presentaron su nueva solución de inteligencia artificial en ACM CHI 2021, la principal conferencia de factores humanos en sistemas informáticos.

Reconocer dónde tocan la pantalla sus dedos

Los investigadores de ETH han desarrollado inteligencia artificial para pantallas táctiles capacitivas, que son los tipos de pantallas táctiles que se utilizan en todos nuestros teléfonos celulares, tabletas y computadoras portátiles. El sensor detecta la posición de los dedos debido a que el campo eléctrico entre las líneas del sensor cambia debido a la proximidad del dedo al tocar la superficie de la pantalla. Dado que los sensores capacitivos detectan de manera inherente esta proximidad, en realidad no pueden detectar el contacto verdadero, lo que, sin embargo, es suficiente para la interacción, ya que la intensidad del toque medido disminuye exponencialmente a medida que aumenta la distancia entre los dedos.

La detección de capacitancia nunca ha sido diseñada para inferir con la máxima precisión dónde ocurre realmente el tacto en la pantalla, dice Holz: «Solo detecta la proximidad de nuestros dedos.» Las pantallas táctiles de los dispositivos actuales interpolan así la ubicación en la que se ingresan los datos con un dedo a partir de mediciones de proximidad aproximadas. En su proyecto, los científicos buscaron abordar ambas deficiencias de estos sensores ubicuos: por un lado, necesitaban aumentar la baja resolución actual de los sensores y, por otro lado, tenían que aprender a deducir con precisión el contacto apropiado. área entre el dedo y la superficie de la pantalla a partir de mediciones capacitivas.

En consecuencia, CapContact, un nuevo método desarrollado por Streli y Holz para este propósito, combina dos enfoques: por un lado, utilizan pantallas táctiles como sensores de imagen. Según Holz, la pantalla táctil es esencialmente una cámara de profundidad de muy baja resolución que puede ver desde unos ocho milímetros de distancia. La cámara de profundidad no captura imágenes en color, pero captura una imagen de lo cerca que están los objetos. Por otro lado, CapContact utiliza estos conocimientos para detectar con precisión las áreas de contacto entre los dedos y la superficie utilizando un novedoso algoritmo de aprendizaje profundo desarrollado por científicos.

«Primero, «CapContact ‘estima las áreas reales de contacto entre sus dedos y la pantalla táctil cuando se toca,» dice Holz, «En segundo lugar, genera estas áreas de contacto con ocho veces la resolución de los sensores táctiles actuales, lo que permite que nuestros dispositivos táctiles detecten el tacto con mucha más precisión.»

Para entrenar la inteligencia artificial, los científicos construyeron un dispositivo personalizado que registra la intensidad de la capacidad, es decir, los tipos de mediciones registradas por nuestros teléfonos y tabletas, y mapea los contactos reales usando un sensor de presión óptico de alta resolución. Al capturar múltiples toques de varios participantes de la prueba, los investigadores obtuvieron un conjunto de datos de entrenamiento del cual CapContact aprendió a predecir áreas de contacto en súper resolución a partir de datos de los sensores gruesos y de baja resolución de los dispositivos táctiles actuales.

Baja resolución de la pantalla táctil como fuente de error

«En nuestro artículo, mostramos que desde el área de contacto entre el dedo y la pantalla del teléfono inteligente, de acuerdo con las estimaciones de CapContact, podemos designar ubicaciones de entrada táctil con mayor precisión que los dispositivos actuales,» añade Paul Streli. Los científicos muestran que un tercio de los errores en los dispositivos actuales se deben a la detección de una señal de entrada de baja resolución. CapContact puede corregir estos errores gracias al enfoque innovador del científico para el aprendizaje profundo.

Los investigadores también demostraron que CapContact distingue de manera confiable entre superficies táctiles, incluso cuando los dedos tocan la pantalla muy cerca unos de otros. Este es el caso del gesto de pellizcar, por ejemplo, cuando desliza el pulgar y el índice por la pantalla para ampliar textos o imágenes. Los dispositivos de hoy en día apenas pueden distinguir entre toques cercanos.

Los resultados de su proyecto ahora cuestionan el estándar actual de la industria para pantallas táctiles. En otro experimento, los científicos utilizaron un sensor con una resolución incluso más baja que los instalados actualmente en nuestros teléfonos móviles. No obstante, CapContact detectó mejor los toques y pudo determinar las ubicaciones de entrada con mayor precisión que los dispositivos actuales con la resolución habitual actual. Esto significa que la solución de inteligencia artificial de los científicos podría allanar el camino para una nueva. tocar sensores en los futuros teléfonos móviles y tabletas para que funcionen de forma más fiable y precisa, pero con menos tamaño y complejidad en términos de fabricación de sensores.

Para permitir que otros se basen en sus resultados, los investigadores ponen a disposición su modelo, código y conjunto de datos de aprendizaje profundo capacitado en el sitio web del proyecto.


Descripción general de la patente de Apple: detección de fuerza y ​​tacto basada en ultrasonidos

Más información:
Paul Streli y col. CapContact: reconstrucción de áreas de contacto de alta resolución en sensores capacitivos, Materiales de la conferencia CHI 2021 sobre el factor humano en los sistemas informáticos (2021). DOI: 10.1145 / 3411764.3445621

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *