Samsung presenta Tallk, una 'app' per ajudar els malalts d'ELA

La companyia Samsung ha presentat l’aplicació Tallk, una eina de software que facilita la comunicació de les persones amb mobilitat reduïda i absència del llenguatge oral, com els pacients d’ELA.

Ha sigut desenvolupada per l’empresa emergentespanyola Irisbond, especialitzada en solucions d’eye tracking. L’‘app’, que utilitza la càmera d’una tauleta per a la comunicació interpersonal, està disponible en castellà per a determinats models de Galaxy Tab de Samsung. L’objectiu és facilitar la comunicació verbal a persones que pateixen aquest tipus de patologies i altres de similars, així com de dotar-los de més independència. Està en estudi afavorir mitjançant algun tipus d’acord i promoció l’accés del sistema a les persones malaltes.

ÚS DE LA INTEL·LIGÈNCIA ARTIFICIAL

El projecte ha tingut un fort component de R+D i amb una combinació d’intel·ligència artificial, mecanismes de seguiment facial i metodologies de deep learning basat en xarxes neuronals, s’ha aconseguit desenvolupar un seguiment ocular sense necessitat de dispositius addicionals i simplement utilitzant la càmera integrada de la tauleta.

El projecte ha passat per diferents fases, una de desenvolupament d’algoritmes per fer l’eye tracking utilitzant les càmeres de les Samsung Galaxy i, d’altra banda, s’ha desenvolupat l’aplicació Tallk, dissenyada per ser controlada amb la mirada. Finalment, s’ha fet la integració del resultat de les dues fases aplicant diferents eines d’usabilitat, per fer possible el control de l’aplicació amb la mirada.

POSSIBILITATS 

Amb una mida de pantalla mínima de 8” per motius d’usabilitat i accessibilitat, la tecnologia de seguiment ocular de Tallk utilitza la càmera de la tablet per localitzar l’iris utilitzant patrons facials de l’usuari. El seguiment de l’iris a través de la càmera estàndard d’una tablet ha suposat un repte durant el seu desenvolupament, ja que, fins al moment, només es podia fer a través de càmeres addicionals basades en infrarojos.

Gràcies a diferents algoritmes i intel·ligència artificial, el software tradueix el moviment dels ulls en traçats aproximats dins de la pantalla per accedir a un teclat virtual predictiu i verbalitzar el text introduït per l’usuari, mitjançant la veu configurada al menú d’accessibilitat de la tauleta. Els algoritmes d’Irisbond, units al modelatge i reconeixement de patrons facials juntament amb la intel·ligència artificial aplicada, capten el moviment dels ulls i el tradueixen en moviments dins d’una pantalla. Qualsevol persona pot utilitzar el teclat virtual de forma natural, intuïtiva i sense utilitzar les mans; creant així una nova manera de relacionar-se amb l’entorn a través de tecnologies de seguiment ocular. Irisbond porta a terme un projecte de col·laboració amb l’Institut de Tecnologia de Massachusetts (MIT) per investigar tècniques que perfeccionin els seus algoritmes.

L’ús de xarxes neuronals per crear mapes de reconeixement facial que siguin capaços d’identificar punts característics de la cara i ‘landmarks’; combinat amb vectors oculars, generen uns models que, entrenats convenientment amb milers de dades, permeten fer un seguiment eficaç de la mirada.

Notícies relacionades

ISE 2026 torna a Barcelona amb l’edició més gran i ambiciosa de la seva història

Revisió a gencat.cat: pros i contres de la nova web de la Generalitat de Catalunya

L’aplicació també permet gestionar una col·lecció amb les frases favorites, així com un històric de les utilitzades recentment, per la qual cosa s’hi pot accedir i activar-les en qualsevol moment. El teclat permet a l’usuari comunicar-se amb Bixby, assistent d’intel·ligència artificial, a fi d’utilitzar les ordres per resoldre diferents peticions.

 L’aplicació Tallk està disponible en castellà i es pot descarregar de forma totalment gratuïta a les botigues Galaxy Store i Play Store a Espanya. Una vegada descarregada, només cal configurar l’aplicació i calibrar el cursor a través de la càmera de la tauleta compatible, una llista que s’anirà ampliant gradualment.