ARTÍCULOS ORIGINALES

Interfaces gestuales aplicadas como complemento cognitivo y social para niños con TEA

Contreras Víctor Hugo¹, Fernandez Daniel Alejandro¹, Pons Claudia Fabiana¹

¹ CAETI - Centro de Altos Estudios en Tecnología Informática, Facultad de Tecnología Informática, Universidad Abierta Interamericana, Av. Montes de Oca 745, Ciudad Autónoma de Buenos Aires, Argentina

victor.contreras@vaneduc.edu.ar, danielalejandro.fernandez@alumnos.uai.edu.ar, claudia.pons@uai.edu.ar

 

Resumen

El trastorno del espectro autista (TEA) es una alteración del desarrollo que se especifica por deficiencias cualitativas en la comunicación y en la interacción social, comportamiento caracterizado por patrones repetitivos y estereotipados. Los niños con trastorno del espectro autista, como también otros niños que no padecen este trastorno, presentan una afinidad por las Tecnologías de la Información y la Comunicación (TIC). En este artículo describiremos un proyecto cuyo  objetivo es investigar acerca del uso de  interfaces naturales de usuario para complementar las actividades educativas, sociales y cognitivas, en niños que padecen TEA.

Palabras clave: Autismo; Interfaces naturales; Realidad aumentada; Actividades lúdicas; Programas específicos; Trastorno del espectro autista.

Abstract

The Autism Spectrum Disorder (ASD) is a disorder of the brain development,which is often characterized by difficulties in social interaction, verbal and nonverbal communication and repetitive behaviors. The kids with ASD, as most of the kids nowadays, have a particular affinity for the Information and Communications Technologies (ICT). On the following paper we will develop a project with the main goal of researching about the use of Natural Human Interfaces (NUI) as a complement for the educational, social and cognitive activities on kids with ASD.

Keywords: Autism; Natural interfaces ; Augmented reality; Playful activities; Specific programs; Autism spectrum disorder.

 

1. Fundamentos del proyecto

Los niños con TEA, como también otros niños que no padecen este trastorno, presentan una afinidad  por las TICs [1]. Se tiene como objetivo investigar acerca del uso de  interfaces naturales de usuario y desarrollar prototipos con esta tecnología, para complementar actividades  educativas, cognitivas y sociales en niños que padecen TEA.

Es fundamental para la comprensión de esta investigación entender que es la Interfaz Natural de Usuario (de inglés Natural User Interface o NUI). Es aquella en las que se interactúa con un sistema o aplicación sin utilizar controles de mando o dispositivos de entrada tales como el mouse, teclado, touchpad, joystick, y otros [2]. En su lugar, se hace uso de movimientos gestuales como las manos o el cuerpo, por lo tanto, podríamos decir, que dichos movimientos son el control de mando.

En la última década numerosas empresas, entre las que destacamos Nintendo, Sony y Microsoft, han desarrollado diversos dispositivos que aportan interfaces naturales y que son de fácil acceso para personas, las cuales interactúan con sus equipos de entretenimiento (Pc’s y consolas). Dichas NUI despliegan una perspectiva moderna en el desarrollo de aplicaciones y  plantean una nueva manera de construirlas como el caso del Kit de Desarrollo de Software (SDK) Kinect de Microsoft [3].

Otro concepto relacionado es la realidad aumentada, que se usa para definir una visión a través de un dispositivo tecnológico, directa o indirecta, de un entorno físico del mundo real, cuyos elementos se combinan con elementos virtuales para la creación de una realidad mixta en tiempo real [4]. Consiste en un conjunto de dispositivos que añaden información virtual a la información física ya existente, complementa una parte sintética virtual a lo real. Esta es la principal diferencia con la realidad virtual, puesto que no sustituye la realidad física, sino que sobreimprime los datos informáticos al mundo real. Actualmente, las interfaces naturales de usuario proporcionan una experiencia atrayente respecto a entornos de realidad aumentada, aunque desarrollar aplicaciones con esta tecnología no está al alcance de todos los usuarios.

En el ámbito escolar existen niños con necesidades educativas especiales, dentro de estos se encuentran estudiantes con TEA, con peculiaridades a conocer y tener en cuenta para llevar a cabo una intervención acertada y eficiente. Puesto que en la escuela se desarrolla una parte importante de la vida de los niños; para favorecer la evolución personal y social del alumnado es preciso que la intervención psicoeducativa ofrezca respuestas a las necesidades individuales aportando el apoyo necesario en la instrucción académica y favoreciendo, también, la integración en su grupo de iguales.

Se tiene como objetivo investigar acerca del uso de  interfaces naturales de usuario, complementadas con conceptos de realidad aumentada, y desarrollar prototipos que implanten estas tecnologías, y aporten actividades de apoyo en el contexto educativo, cognitivo y social en niños que padecen este trastorno.

Para cumplir el objetivo del presente proyecto, se toma como caso de estudio al Colegio Especial N° 501 de José C. Paz, Provincia de Buenos Aires, Argentina. El éxito del mismo está supeditado a que los factores económicos y técnicos del producto final hagan factible su implementación.

2. Objetivos

2.1. Objetivo general

Desarrollar e implementar prototipos empleando la tecnología de interfaces naturales de usuario como complemento educativo, cognitivo y social en niños que padecen el Trastorno del Espectro Autista.

Brindar la posibilidad de instruirse a través de la conexión entre las diferentes áreas de aprendizaje, explotando puntos de vistas variados de la realidad, orientándose a los aspectos intelectuales, físicos, creativos y sociales.

2.2. Objetivos específicos

Relevar y clasificar la información de nuestro entorno, con respecto a las implementaciones con interfaces naturales para personas que padecen TEA, su impacto en la educación y actividades sociales, como también su utilidad complementaria al tratamiento. Llevar a cabo una evaluación de los procedimientos y técnicas desarrolladas durante los últimos años para lograr construir software que permita el progreso en lo cognitivo y relaciones sociales en personas que presenten las características descritas. Esto incluye una búsqueda sobre desarrollos, propuestas y elementos publicados para generar un análisis del estado del arte.

Desarrollar actividades de modalidad tripartita (niño – tutor – dispositivo Kinect), que hagan uso de interfaces naturales. Siendo el tutor (Psiquiatra, Psicólogo, Padre, Maestro) quien elige la actividad a realizar; la persona que posee la disfunción quien sigue las indicaciones del tutor; y el dispositivo Kinect como complemento a ambos.

Desarrollar prototipos basados en modelos lúdicos donde se debe cumplir con la premisa de ser dinámicos y variados para no generar una automatización por parte del paciente.

Indagar, clasificar y planificar las actividades ocio-educativas como instrumentos para el desarrollo de prototipo que abarque el conocimiento del medio físico y cognitivo

Generar un ambiente que contenga un equilibrio seguro y flexible, logrando actividades tanto estructuradas como libres. Mantener siempre la motivación, se avance o no en las actividades, dado que distintos especialistas hacen énfasis en que la frustración es muy contraproducente para el tratamiento.

Evaluar los resultados bridados por los prototipos, basándonos en las experiencias realizadas por los profesionales con los niños, con el fin de especializar el desarrollo de cada actividad.

3. Descripción del problema y soluciones relacionadas

El autismo es un trastorno del neurodesarrollo caracterizado por una tríada de síntomas observables en los primeros tres años de vida, que consiste en la afectación en el desarrollo del lenguaje, conductas estereotipadas asociadas a intereses restringidos y trastorno en la interacción social [5]. Por otro lado, los niños con autismo muestran deficiencias cognitivas significativas en distintas áreas [6].

Podrían explicarse por defectos en sus procesos atencionales muchas de las características de los niños con Trastorno Generalizado del Desarrollo (TGD) y autismo [7]. Los autistas actúan de forma inapropiada con los estímulos que ven, y parecen tener, en especial, dificultades en interpretar la información socialmente relevante, ya que los estímulos significativos desde el punto de vista social son físicamente complejos, y este hecho es fundamental para el comportamiento adaptativo [8].

Las personas con TEA presentan ciertos síntomas semejantes como problemas de interacción social. Pero hay diferencias en el momento en que aparecen los síntomas, su severidad y la naturaleza de estos. En la presente investigación se pretende hacer foco en la siguientes subcategoría de síntomas:

• Dificultad para relacionarse con los niños

• Aislamiento

• Baja tolerancia a la frustación

• Apego inapropiado a los objetos

• Aceptación por los juegos

• Resistencia a los métodos regulares de aprendizaje

Para llevar a cabo lo expuesto, se desarrollaron prototipos que permitirán trabajar y evaluar el esquema corporal y la coordinación, y así ayudar a interactuar físicamente y de forma lúdica con otros niños, favoreciendo el contacto y propiciando la comunicación para que se origine de forma natural. Entre los distintos prototipos ocio-educativos, el desarrollo de unos de ellos tendrá el objetivo de incentivar el lenguaje corporal y el reconocimiento de uno mismo, a través de del Microsoft Kinect y así, conseguir el reconocimiento del movimiento, que se reproduce en una imagen del propio niño con elementos gráficos en la pantalla.

Dentro de las interfaces naturales, existen distintas aplicaciones que intentan dar solución a las necesidades de pacientes con TEA. No hemos encontrado investigaciones o proyectos relacionados con la aplicación de interfaces naturales aplicadas al TEA a nivel regional; sí hemos hallado este tipo de proyectos en España, como Pictogram Room [9], el cual posee distintas actividades ocio-educativas; por ejemplo: incentivar el lenguaje corporal y el reconocimiento de uno mismo, a través de un sistema de cámara-sensor-proyector (Microsoft Kinect [10]) y así, conseguir el reconocimiento del movimiento, que se reproduce en una imagen del propio paciente con elementos gráficos y musicales en la pantalla. Básicamente es una herramienta que sirve para trabajar la comunicación (la persona tiene que pedir ayuda, decidir qué juego quiere, atender a órdenes sencillas y complejas, entre otras), la imitación y la atención. Es una herramienta muy motivadora para la persona con TEA pues utiliza métodos lúdicos y amenos.

Otro proyecto relevante es SAVIA [11], un sistema de aprendizaje virtual también originado en España. Este prevé el desarrollo de una plataforma tecnológica, de realidad aumentada (Microsoft Kinect), capaz de integrar sistemas y herramientas que cubran todos los contenidos educativos necesarios para las personas con TEA y permitan trabajar diferentes aspectos que hasta ahora requerían de soluciones diversas, como aprendizajes básicos (grande, pequeño, lejos, cerca, etc.) y habilidades para la vida diaria (aseo, alimentación, etc.). “Nos ha sorprendido lo útil que resulta en el caso de las personas con Autismo de Alto Funcionamiento (síndrome de Asperger). Permite trabajar el esquema corporal y la coordinación, y les ayuda a interaccionar físicamente y de forma lúdica con otras personas, favoreciendo el contacto y propiciando la comunicación verbal que se produce de forma natural”, describe Miguel Lancho, profesional de Autismo Burgos.

La cantidad de información sobre tratamientos disponibles en los casos de TEA está aumentando exponencialmente en estas últimas décadas, motivo por el cual, para poder procesarla, se hace imprescindible aplicar ciertos filtros de calidad [12].

La eficacia de un tratamiento se obtiene con base en la evidencia científica procedente del diseño metodológico del estudio, de la validez interna, consistencia y replicabilidad. Por su parte, la utilidad clínica –sinónimo, en este caso, de efectividad– hace referencia a la aplicabilidad práctica de un tratamiento en la vida real, es decir, fuera de las condiciones especiales de los estudios de investigación [13].

Las computadoras y en particular las tecnologías de realidad virtual han demostrado ser una herramienta valiosa especialmente en el caso de los niños con TEA, ya que en general demuestran facilidades, preferencia y habilidades especiales para relacionarse con estas máquinas, abriendo así nuevas oportunidades para el desarrollo de terapias [14].

Las interfaces naturales permiten una interacción social sencilla y predecible para llevar a cabo actividades con niños que presentan TEA, con la finalidad que les evite el apremio y el estrés. Nos permiten trabajar con el uso de los gestos, mirada, expresión facial, distancia y orientación corporal, esencial para adquirir habilidades sociales. Por lo mencionado, se debe acrecentar la confianza de los profesionales argentinos, fundaciones u otros organismos en la aceptación de las tecnologías, para trabajar temas relacionados a las personas con TEA.

4. Desarrollo e Innovación

Considerando el alto grado de complejidad inherente al problema de personas que padecen TEA, el primer paso para llevar a cabo este proyecto fue realizar una evaluación de los procedimientos y técnicas desarrolladas durante los últimos años para lograr construir software que permita el progreso en lo cognitivo y relaciones socialesen personas que presenten las características descritas en la fundamentación del proyecto.

En primer lugar se estudiaron aspectos particulares de las actividades ocio-educativos que realizan los docentes de la Escuela Especial nro. 501 que pertenece a la educación pública estatal, Educación Especial Nivel Inicial, Educación Especial Primaria, Ayuda a la Integración Escolar de José C. Paz. En este método la encuesta, entrevista y la observación directa de las actividades desarrolladas por los docentes, es de fundamental importancia, pues permiten recabar adecuadamente la información para el desarrollo y/o adaptación  de prototipos, a la vez permita generar los ajustes necesarios para la implementación y evolución de estos. Las actividades que permitirán recabar las muestras,  se realizaran durante el primer cuatrimestre escolar del año 2016. Y serán analizadas durante los siguientes seis meses, a partir de la toma de las mismas, trabajando en conjunto con un equipo interdisciplinario.

De acuerdo con la naturaleza de las Interfaces Naturales de Usuario, no existe una metodología de ensayo en particular para una evaluación objetiva con respecto al nivel de facilidad de uso relacionado al concepto de las interacciones touch–less. El mismo podría ser útil para algunos niños pero para otras personas puede ser muy difícil de usar. Esto significa que los resultados concluyentes se pueden recolectar mediante la ejecución de pruebas que evalúen la usabilidad.

Para dicha  evaluación de usabilidad de la Interfaz Natural de Usuario, se ha diseñado e implementado en esta investigación una prueba dirigida a la experiencia del usuario en el uso de las interacciones touch–less para acciones más comunes que los niños con TEA pueden llevar a cabo: como hacer un clic, arrastrar, desplazarse y zoom.  El nivel de usabilidad se define por una escala de calificación dividida en una grado de diez. La calificación 9 (nueve) representa la experiencia intuitiva y sin requisito necesario para el aprendizaje y la calificación 0 (cero) representa la peor experiencia cuando las interacciones no son utilizables en absoluto. La escala de calificación se describe por la Tabla 1:

Tabla 1 - Escala de calificación

El nivel de confort se pondera para evaluar la  interacción del niño con respecto a la actividad. El nivel de confort se define por una escala de calificación dividida en seis. La calificación 5 (cinco) representa la experiencia cómoda y sin ningún agotamiento notable y la calificación 0 (cero) representa una experiencia exigente físicamente. La escala de calificación se describe por la Tabla 2:

Tabla 2 - Nivel de confort

El equipamiento necesario para la realización de las actividades consta de una sala de amplias dimensiones, en vista de tener suficiente espacio físico para que el niño pueda realizar los movimientos sugeridos por la aplicación, con total libertad y que no cause daños para sí mismo u otras personas. Se recomienda que la distancia entre el dispositivo y la persona que interactúa sea entre 1,5 y 2,5 m. Dicha sala debe poseer el mínimo contacto con el exterior, para optimizar la concentración del niño y para que, tanto el dispositivo Kinect como la persona que interactúa, puedan interpretar correctamente los sonidos que se emiten; además debe poseer paredes con colores claros ya que no producen cambios emocionales y favorecen la concentración. Así también se requiere un dispositivo Kinect, una computadora y un proyector o en su defecto un monitor o televisor de grandes dimensiones. La configuración se muestra en la figura 1.

Figura 1. Entorno Kinect

Un concepto clave en cuanto a interfaces naturales de usuario es comprender que es un gesto en Kinect. Este sensor reconoce la posición de 20 partes del cuerpo humano en el espacio 3D(X, Y, Z). Esta información es actualizada constantemente por el SDK 30 veces por segundo, agrupados en frames o también llamado FPS. Si estas posiciones del cuerpo son observadas y evaluadas se puede determinar que gesto realizó la persona.

Como se hace referencia en (SDK and Developer Toolkit Known Issues [3]) un gesto trata de asignar ciertos movimientos consecutivos de partes del cuerpo a una determinada acción (saltar, saludar, girar, etc.) como se puede ver en la figura 2.

Figura 2. Gestos Kinect

Al igual que nos pasa con los gestos, el reconocimiento y detección de posturas también tiene muchas técnicas diferentes que se pueden aplicar para lograr una mejor identificación o una implementación más sencilla. Una técnica muy utilizada para la interpretación gestual por parte de software desarrollado para Kinect son las redes neuronales las cuales se pueden entrenar para ir alcanzando cada vez más precisión y calidad de detección [16], dicha técnica está fuera del alcance del presente proyecto.

En Kinect for Windows Product Blog [17] se menciona una investigación que hace referencia a que también podemos usar técnicas como comparar con una serie de plantillas ya definidas o como definir algorítmicamente el gesto, al igual que hicimos con la postura, es esta última seleccionada para el manejo de gestos.

4.1. Prototipos

La primer parte de la investigación es la experiencia del niño en el uso, para ello el ensayo de la aplicación prototipo está dirigido a pruebas subjetivas de la utilización de las interacciones táctiles. El prototipo está diseñado para evaluar una experiencia subjetiva en el uso de la interfaz touch–less para las acciones comunes: como hacer clic, arrastrar y gestos multi-touch .  Con el dispositivo Kinect junto con el desarrollo de la aplicación “Descubriendo mi cuerpo” (figura 3 ) planteamos un juego educativo para que los niños afectados con el Trastorno del Espectro Autista puedan desarrollar aquellas áreas que más necesitan.

Figura 3. Descubriendo mi cuerpo

Tan importante como lo son otros lenguajes no verbales lo es el llamado lenguaje corporal, que se corresponde con los gestos y movimientos que realizamos a diario con nuestro cuerpo y que son percibidos por nosotros mismos y por otras personas y pueden decodificarse en mensajes tan útiles como los hablados. Este tipo de lenguaje tiene un impacto muy importante en el tratamiento del TEA y es por eso que se ha desarrollado un juego en el cual se le permita al niño reflejar la estructura de su propio cuerpo en un "espejo virtual". Lo hemos llamado así debido a que, básicamente, se tienen todas las características de un espejo convencional pero con la posibilidad de crear todo un nuevo mundo alrededor del cuerpo del niño. Este concepto se relaciona con lo explicado como realidad aumentada. De esta manera se logran muchos de los objetivos buscados en las actividades: motivación, actividades tanto estructuradas como libres, logrando un clima agradable y confiable para el niño.

Asimismo, al poder alterar la realidad que se ve en este "espejo", se le puede indicar al niño distintas consignas para que él mismo pueda completarlas con el movimiento de su cuerpo, tales como buscar objetos de diferentes tipos, en diferentes ambientes y con distintas partes de su cuerpo. Con ello se podría instruir tanto la parte intelectual, como detectar formas y figuras, seguir consignas y relacionar lugares o situaciones con objetos específicos; como las habilidades motrices, tomar un objeto con determinada mano, movilizarse por el escenario para lograr el objetivo y hasta detectar y utilizar distintas partes de su propio cuerpo.

Respecto de las consignas, con el objetivo de lograr contener la mayor variedad de habilidades de un niño, son tanto escritas como orales, o sea, se permite leer la consigna en pantalla pero también se reproduce como sonido para aquellos niños con dificultades o sin el conocimiento para leer. Esta selección de estrategia queda totalmente supeditadas por el tutor.

Toda la actividad es realizada en un marco tecnológico; anteriormente se ha descripto la gran importancia que tiene el mencionado marco para el presente proyecto de investigación, debido tanto a la afinidad que tienen los niños con TEA [1] con la tecnología, como también por la gran motivación que se puede generar con las realidades aumentadas.

La aplicación cuenta con la posibilidad de seleccionar distintas situaciones para que el niño pueda realizar las actividades, algunas de ellas utilizando habitaciones virtuales, por ejemplo: "Mi cuarto" o "Mi cocina" u otras directamente mostrando en pantalla el contexto real en el que se encuentra (figura 4). En cada situación el niño deberá recolectar, utilizando el movimiento de su cuerpo, distintos objetos relacionados. Asimismo, el mismo juego, no solo le indicará que objeto tocar sino también con que parte de su cuerpo deberá hacerlo, por ejemplo, su mano derecha, su cabeza, etc.

Figura 4. Escenario de realidad aumentada

El juego realiza aportes tanto para el niño como para el profesional/tutor. Para el niño, por cada objetivo cumplido el juego emite sonidos y realizará algún efecto visual, por ejemplo, sumar puntos, para intentar estimular a que continúe jugando. Para el profesional/tutor le permite llevar una estadística donde se miden diferentes datos, por ejemplo, la demora entre la emisión de la consigna hasta que el niño la consigue realizar y un registro de los intentos fallidos, o sea, cuantas veces no se cumplió con la consigna antes de conseguirla.

Cada pantalla del juego, si bien intenta ser motivadora, mediante colores e imágenes, a su vez, no contiene elementos que generen una distracción al mismo, intentando mantener focalizado al jugador en la consigna. Es por eso que toda información para el profesional/tutor puede ser visualizada aparte, o sea, desde otro módulo o pantalla. Finalmente, todas las actividades de la aplicación están pensadas para ser desarrolladas de manera tripartita, donde tan importante como el niño y las interfaces naturales, lo es la persona (profesional o tutor) que acompañe y genere tanto las explicaciones necesarias según el caso como la motivación extra para lograr los objetivos.

En primera instancia el juego se inicia descubriendo al jugador y a continuación una serie de imágenes que él deberá analizar y descubrir con su cuerpo; esto se lleva a través de gestos.

La primera versión de la aplicación muestra que con tan solo mover las manos, las piernas y la cabeza, el niño ha conseguido reconocer las partes de su cuerpo con un sistema que detecta los movimientos. En cada instancia se propone que parte del cuerpo se debe reconocer, por ejemplo, aparece la etiqueta “Mano Izquierda” y entonces el niño debe capturar la imagen con esa parte de su cuerpo, en caso contrario, si no lo hace con lo que solicita la aplicación la figura no cambia.

El niño debe realizar una lectura comprensiva de la actividad presentada. A su vez debe reconocer la extremidad de su cuerpo que la actividad le sugiere, en vista de comenzar a interactuar. Posteriormente tendría que interpretar y reconocer el objeto a encontrar.

Para ello es fundamental que dicho objeto se presente y luego se ubique en el espacio físico (escenario) planteado por el software. Para realizar correctamente la actividad, el niño debe señalar el objeto con la extremidad indicada por la aplicación, interpretando como si se encontrara inmerso en el escenario virtual.

En cada reconocimiento se almacena información que detalla el tiempo en que el niño resolvió la consigna, es decir, desde que aparece la imagen hasta que él la detecta con la parte del cuerpo correspondiente (figura 5). La consigna está dada por las siguientes etapas: leer e interpretar cual es la parte del cuerpo con la que se debe trabajar, encontrar espacialmente la imagen y efectuar contacto con ella. Este solo es uno de los tipos estadísticos requeridos con el fin de evaluar el desarrollo de las actividades del niño en diferentes instancias. Al ejecutar las pruebas mencionadas anteriormente se definirán el resto de la información estadística que sean solicitadas por los profesionales.

Figura 5. Estadística de tiempo de resolución

En otro de los prototipos, en el mismo rango de las actividades del reconocimiento espacial (figura 6), el niño deberá realizar acciones referentes a su ubicación en el espacio y detectar como cambia la misma cuando él se mueve. La actividad, a la cual denominamos “Aventura con movimiento”, le plantea al jugador la posibilidad de mover hacia adelante o atrás, y girar a la izquierda o a la derecha un personaje virtual, en vista de que pueda replicar esos movimientos con su cuerpo.

Figura 6. Aventura con movimiento

Para esta actividad se trabajó con una niña que presenta el siguiente diagnóstico: Trastorno  Generalizado del desarrollo, Dislexias y otras disfunciones simbólicas no clasificadas en otra parte y Trastornos hipercinéticos, donde su profesional nos detalla, “La niña Mónica, de 9 años de edad, con diagnóstico de TGD, presenta dificultades en la compresión oral y escrita, a causa de su dislexia. Presenta también dificultades en la atención y concentración.”

Por lo tanto se propuso esta actividad. Para que la  niña pueda tener un desarrollo sano deben estar equilibrados varios aspectos, entre ellos los afectivos, cognitivos y comportamentales. Por esa razón se busca generar un espacio donde la niña aprenda a desplegar y desarrollar sus potencialidades teniendo como meta mejorar su calidad de vida, favoreciendo tanto su autonomía como también la socialización.

 En oportunidades será necesario modificar conductas disruptivas para mejorar la relación con pares y adultos y en otras, el niño deberá adquirir nuevas habilidades. A su vez, se realiza un trabajo paralelo con los padres para que ellos puedan recrear lo trabajado en cada sesión en la vida cotidiana.

4.2. Entorno de programación amigable

Otros prototipos desarrollados para la investigación se basaron en la herramienta Scratch [18]. Dicha herramienta propone una metodología para el desarrollo de software basada en simplificar la codificación y potenciar la creatividad sin necesidad de tener conocimientos sobre lenguajes de programación. Utiliza bloques que permiten conformar el flujo del programa de una manera muy sencilla.

Aprovechando dicho entorno se logró realizar, de manera bastante sencilla, varios prototipos de juegos que siguen los objetivos del proyecto y, además, permitieron que los desarrollos sean llevados a cabo directamente por los profesionales en Autismo, maestro de colegios especiales y demás personas interesadas con una mínima capacitación. Esto abre una perspectiva totalmente nueva ya que, al trasladar el desarrollo directamente a los profesionales, se simplifica la tarea de confeccionar el software, implementarlo y probarlo; además de permitir una libertad y adaptabilidad para la persona interesada. Scratch es utilizado alrededor del mundo como un lenguaje de programación para que niños, de muy poca edad, puedan comenzar a pensar y crear sus propias aplicaciones y facilitar el aprendizaje autónomo.

 El entorno de desarrollo está diseñado para promover lo que se llama “espiral del pensamiento creativo” (figura 7). En este proceso, la gente imagina lo que quiere hacer; crea un proyecto basado en sus ideas; juega con sus ideas y creaciones; comparte sus ideas y creaciones con otros y reflexiona sobre sus experiencias; todo lo cual le lleva a imaginar nuevas ideas y nuevos proyecto [19].

Figura 7. Espiral del pensamiento creativo

Scratch es una herramienta indispensable en la clase de computación de nivel básico ya que los niños deben desarrollar un pensamiento algorítmico, creatividad y destreza para resolver problemas que vayan surgiendo durante el ciclo escolar, no solo en computación sino que en cualquier materia e incluso problemas de la vida cotidiana [20].

Por otro lado, se hizo uso de otra herramienta que permite manipular el sensor Kinect desde Scratch. La herramienta es llamada Kinect2Scratch [21] y fue desarrollada por Stephen Howell.

Para mencionar algunos de los prototipos realizados con esta tecnología, el primero fue el “Invasores del espacio” (figura 8), el cual permite al jugador mover una nave espacial de izquierda a derecha copiando el movimiento de su cuerpo y, al levantar ambos brazos, la nave dispara. El juego tiene como objetivo que el niño interprete cognitivamente la directiva (reconocer que la nave copia sus movimientos) y coordine los movimientos de su cuerpo para llevarla a cabo. Este prototipo fue realizado en base al proyecto que se descargó del mismo sitio web del creador de kinect2scratch.

Figura 8. Invasores del espacio

Otro prototipo desarrollado fue el llamado “Mis manos” (figura 9). El objetivo del juego es recolectar pelotas de color verde y esquivar las pelotas de color azul mediante el movimiento de dos manos virtuales que copian el movimiento de las propias manos del jugador con el mismo objetivo del juego anterior.

Figura 9. Mis manos

Conclusiones

Se logró avanzar en el relevamiento y clasificación de la información de nuestro entorno, con respecto a las implementaciones con interfaces naturales para personas que padecen TEA, su impacto en la educación y actividades sociales, como también su utilidad complementaria al tratamiento.

Todas las actividades se desarrollaron de manera tripartita por medio de las interfaces naturales. Siendo el tutor (Psiquiatra, Psicólogo, Padre, Maestro), quien elige la actividad a realizar; la persona que posee la disfunción quien sigue las indicaciones del tutor; y el dispositivo Kinect como complemento a ambos.

En cada aplicación se pone énfasis en generar un ambiente que contenga un equilibrio seguro y flexible, logrando actividades tanto estructuradas como libres. Se garantizó mantener siempre la motivación, se avance o no en las actividades, dado que distintos especialistas hacen énfasis en que la frustración es muy contraproducente para el tratamiento.

Se garantizan ambientes de trabajo bien estructurados para crear un clima agradable y confiable, que ofrezca seguridad al niño, pero, a su vez, los juegos deben ser dinámicos y variados para no generar una automatización por parte del paciente.

Cada aplicación brinda información que tiene la meta de evaluar los resultados obtenidos, basándonos en las experiencias realizadas por los tutores, con el fin de especializar el desarrollo de actividades.

En la próxima iteración del proyecto, se llevarán a cabo todas las pruebas mencionadas para poder obtener información sistemática sobre el cumplimiento o no de los objetivos propuestos en la presente investigación y poder validar y realizar las modificaciones necesarias a los prototipos de manera que se adecuen cada vez más a las necesidades reales.

Agradecimientos

A Victor Jr. que es nuestra inspiración para llevar adelante este proyecto, sin él nada de esto existiría. Cada día nos demuestra la importancia de continuar aprendiendo y comprendiendo las inteligencias diferentes.

Referencias

[1] Jornadas Universitarias de Tecnología Educativa (JUTE 2011), Universidad de Sevilla, España. Las Tecnologías de la Información y Comunicación (TIC) en el Proceso de Enseñanza y Aprendizaje del Alumnado con Trastorno del Espectro Autista (TEA). 2011. http://congreso.us.es/jute2011/es/comunicaciones.php        [ Links ]

[2] Usuario de Wikipedia (2015, Julio 10). Natural User Interface. [Online]. Disponible: https://en.wikipedia.org/wiki/Natural_user_interface Fecha última consulta: 03.10.2015.         [ Links ]

[3] MSDN. SDK and Developer Toolkit https://msdn.microsoft.com/en-us/library/dn435682.aspx Fecha última consulta: 12.04.2015.         [ Links ]

[4] Stephen Cawood, Mark Fiala. (2008) Augmented Reality, a practical guide. The Pragmatic Bookshelf. ISBN 978-1-93435-603-6.         [ Links ]

 [5] Rapin I, Katzman R. Neurogiology of autism. Ann Neurol 1998; 43:7-14.         [ Links ]

[6] Ruggieri VL. Procesos atencionales y trastornos por déficit de atención en el autismo. Rev Neurol 2006; 42 (Supl 3): S51-6.         [ Links ]

[7] Taylor MJ, Baldeweg T. Application of EEG and intracraneal recordings to the investigation of cognitive functions in children. Dev Sci 2002; 5: 318-34.         [ Links ]

[8] Dawson G, Meltzoff A, Osterling J, Rinaldi J, Brown E. Children with autism fail to orient to naturally occurring social stimuli. J Autism Dev Disord 1998; 6: 479-85.         [ Links ]

[9] Fundación Orange. Pictogram Room; 2011. URL: http://www.pictogramas.org/proom/init.do?method=testimoniesTab. Fecha última consulta: 02.08.2014.         [ Links ]

[10] Kinect for Windows. Developing with Kinect for Windows; 2015. URL: http://www.microsoft.com/en-us/kinectforwindows. Fecha última consulta: 09.03.2015.         [ Links ]

[11] Savia. Plataforma educativa para personas con autismo; 2012. URL: http://www.tecnologiasaccesibles.com/savia/ Fecha última consulta: 02.02.2015.         [ Links ]

[12] Grupo de Estudio de los Trastornos del Espectro Autista del Instituto de Salud Carlos III. Ministerio de Sanidad y Consumo, España. Guía de buena práctica para el tratamiento de los trastornos del espectro autista. Rev Neurol 2006; 43 (7): 425-438.         [ Links ]

[13] Cochrane AL. Effectiveness and efficiency. Random reflections on health services. London: London Royal Society of Medicine Press; 1999.         [ Links ]

[14] Zambrano E, Pachón Meneses C. Creación, diseño e implantación de plataforma e-learning utilizando mundos 3d para los niños con trastorno del espectro autista. Revista Educación y Desarrollo Social 1:70-80, 2011.         [ Links ]

[15] David C. (2012) Programming with the Kinect™ for Windows® Software Development Kit. Microsoft Press.

[16] Microsoft Developer España. 2011. URL: http://blogs.msdn.com/b/esmsdn/archive/2011/08/22/reto-sdk-kinect-reconocer-gestos-con-skeletal-tracking.aspx Fecha última consulta: 03.10.2015        [ Links ]

[17] http://blogs.msdn.com/b/kinectforwindows/archive/2015/04/01/gesturepak-v2-simplifies-creation-of-gesture-controlled-apps.aspx Fecha última consulta: 02.01.2015.         [ Links ]

[18] https://scratch.mit.edu/ Fecha última consulta: 26.07.2015. Descarga directa: https://scratch.mit.edu/scratch_1.4/        [ Links ]

[19] Sembrando las semillas para una sociedad más creativa. Mitchel Resnick 2012.         [ Links ]

[20] Pensamiento lógico matemático con Scratch en nivel básico. José Efrén Marmolejo Valle, Víctor Campos Salgado 2011.         [ Links ]

[21] Howell, S. (2012). Kinect2Scratch (Version 2.5) [Computer Software]. http://scratch.saorog.com Fecha última consulta: 26.07.2015. Descarga directa: http://scratch.saorog.com/blog.php/index.php/download-kinect2scratch/        [ Links ]

 

Dirección de Contacto del Autor/es:

Victor Hugo Contreras
Gral. Lavalle 3283
CP 1665
José C. Paz, Prov. de Buenos Aires
Argentina
e-mail: victor.contreras@uai.edu.ar
sitio web: http://www.teatangible.org

Daniel Alejandro Fernandez
Chacabuco 2274
CP 1611
Don Torcuato, Prov. de Buenos Aires
Argentina
e-mail: danielalejandro.fernandez@alumnos.uai.edu.ar
sitio web: http://www.teatangible.org

Victor Hugo Contreras (José C. Paz, 1973) es profesor adjunto (concursado) en el área de linguajes de programación em la Universidad Abierta Interamericana (UAI).
Licenciado en sistemas (Universidad de Morón) e investigrador en el Centro de Altos Estudios de UAI.

Daniel Alejandro Fernandez (San Isidro, 1981) es analista de sistemas egresado de la Universidad Abierta Interamericana (UAI).
Actualmente es investigador en el Centro de Altos Estudios de UAI y desarrolla su actividad profesional como consultor de varias organizaciones privadas y públicas.