GUIA ENTRENAMENT SCRATCH JR TACTILE

AUTOR: Jordi Gavaldà Bernal. La Salle Tarragona.

MATERIALS

• Ordinador (preferiblement de sobretaula)
• Webcam
• Kit del joc Scratch Jr Tactile
• Cartolines de diferents colors
• Estisores
• Cinta adhesiva transparent (cel·lo)
• Un foli o cartolina blanca
• Opcional: etiquetes adhesives de colors (gomets)

PREPARACIÓ DEL MATERIAL

Abans de començar a treballar en el model d’intel·ligència artificial, cal tenir presents algunes consideracions. Aquesta tecnologia digital pot distingir formes i colors. No obstant això, algunes de les peces del joc Scratch Jr Tactile són molt semblants entre elles. A més, un infant o adolescent amb necessitats especials pot deixar la peça sobre la superfície de reconeixement en posicions diferents. És a dir, la fletxa dreta, la pot deixar girada com si apuntés cap a l’esquerra o a qualsevol altra direcció. Per tant, després d’algunes proves s’ha trobat una solució simple però eficient: afegir color a les peces de fusta més conflictives.

PREPARACIÓ DEL MATERIAL

PREPARACIÓ, ENTRENAMENT I EXPORTACIÓ DEL MODEL D’IA

En funció del projecte i dels objectes que es vulguin identificar, seran necessàries una quantitat diferent d’imatges de referència. Pel cas de les peces de fusta del Scratch Jr Tactile, es recomana un mínim de 200 captures per cada peça. A més, tal com s’ha dit anteriorment, és important que cada captura sigui diferent de l’anterior i s’agafin variacions de la posició (centrada, a un costat, rotada…). En el model que es presenta en aquesta guia, s’han obtingut 250 imatges per cada mostra.
Un segon aspecte a destacar fa referència a la webcam i l’efecte mirall. En situar aquest dispositiu sobre el monitor de l’ordinador i enfocar la taula, qualsevol objecte que capturi es veurà del revés. Per alumnat amb ceguesa, aquest efecte invertit no és un problema. En canvi, amb altres perfils d’alumnat, seria bo modificar l’enfocament de la webcam amb una petita estructura i les opcions Flip Camera de l’aplicació del Teachable Machine. D’aquesta manera, en mirar la pantalla es veurà el mateix que veu la persona (sense estar invertida ni amb efecte mirall).

Pas 1. Connectar la webcam a l’ordinador.

Pas 2. Obrir el navegador d’Internet i anar a l’aplicació Teachable Machine: https://teachablemachine.withgoogle.com/

Pas 3. Clicar sobre l’opció Get Started.

Pas 4. A la pàgina New Project triar l’opció Image Project.

Opció per treballar amb el reconeixement d’imatges

Pas 5. A continuació s’obrirà una nova finestra amb dues opcions. Cal seleccionar Standard imatge model.

Format que s’utilitza en aquesta guia.

Pas 6. A continuació, la pantalla mostrarà el següent aspecte:

Aparença de l’entorn de treball del Teachable Machine

A la zona de l’esquerra [1] és on s’afegeixen les imatges de referència dels objectes que es volen identificar amb la intel·ligència artificial. En aquest cas, les diferents peces de fusta del joc. Per defecte hi ha dues classes, però s’hi poden afegir més. La zona central [2] servirà per entrenar (Training) el model d’intel·ligència artificial a partir de les imatges de referència. Si les imatges són prou clares i amb prou trets distintius entre elles, no serà necessari utilitzar els paràmetres avançats.

En últim lloc, a la zona de la dreta [3] està l’opció de provar el model entrenat (Preview). Servirà per verificar que no hi ha problemes d’identificació. Per tant, la primera acció a fer és capturar les imatges de les diferents peces del joc.

Pas 7. Deixar un full blanc (o cartolina) a la taula. Col·locar la webcam enfocant aquest full blanc.

Pas 8. Clicar al llapis que hi ha al costat del nom “Class 1” per canviar-lo a “Res”. Les classes són els noms dels objectes que s’identificaran. És important que també s’identifiqui la zona de reconeixement sense cap peça de fusta. Per aquest motiu, se li ha dit “Res”.

Modificació del nom de la classe 1

Pas 9. Prémer sobre la icona de la webcam per activar-la. Si és necessari, es pot ajustar, amb l’opció Crop, l’enquadrament per agafar només la superfície blanca del foli o cartolina.

Selecció de l’opció per capturar imatges a través de la webcam

Opció d’ajustar l’espai de treball per captar millor les imatges

Pas 10. Un cop enfocada correctament la superfície blanca, mantenir premut el botó Hold to record fins a obtenir totes les imatges desitjades. En aquest exemple, s’han fet 250 captures. Evidentment, a la primera mostra no cal rotar res, ja que es tracta de la superfície blanca de
treball.

Exemple de captura de les imatges de referència del full en blanc

Pas 11. Repetir els passos 8, 9 i 10 però aquest cop amb la peça de la bandera verda (inici). En aquesta ocasió, sí que serà necessari canviar la posició i la rotació de la peça. Com més variació de posicions i rotacions, millor.

Exemple de captura de les imatges de referència de la bandera d’inici

Pas 12. Per poder incloure una nova peça de referència, s’ha d’afegir una nova classe al model. Això s’aconsegueix amb l’opció Add a class.

A continuació repetir els passos 8, 9 i 10 per aquesta nova peça.

Pas 13. En aquest exemple de guia, s’han creat un total de 9 classes (objectes diferents) amb 250 imatges per cadascuna d’elles:

• Res
• Inici
• Atura
• Dreta
• Esquerra
• Amunt
• Avall
• Gir dreta
• Gir esquerra

Pas14. Un cop s’han obtingut les captures de totes les peces que es vulguin incloure en el model d’IA, ja es pot passar a la part de l’entrenament (Training). Atès que ja s’han modificat les peces de fusta amb les cartolines de colors, els paràmetres avançats de l’entrenament ja no cal utilitzar-los.

Pas 15. Prémer l’opció Train Model

Opció per iniciar l’entrenament del model d’IA

Pas 16. L’aplicació trigarà uns quatre o cinc minuts en analitzar totes les imatges i entrenar el model
d’IA

Temps d’entrenament de la IA

És important que durant aquest procés no es tanqui l’aplicació.

Pas 17. En acabar l’entrenament, es poden consultar els resultats de l’entrenament desplegant la pestanya Advanced i clicant sobre l’opció Under the hood

Exemple dels resultats de l’entrenament (I)

Exemple dels resultats de l’entrenament (II)

Pas 18. Finalment, a la part esquerra de la pantalla es podrà verificar si fa correctament el reconeixement d’imatges.

Prova d’encert del model d’IA

Pas 19. Ara que ja funciona el model, s’ha d’exportar per poder ser utilitzat des de l’entorn de l’Scratch. Per importar, només cal clicar l’opció Export Model

Botó per exportar el model entrenat

Pas 20. S’obrirà una nova finestra.

Finestra emergent per seleccionar l’opció d’exportació

Pas 21. El model ha de pujar al servidor de Google fent clic a Upload my model

Pujar el model al núvol

Pas 22. Un cop carregat el model, s’ha de copiar l’enllaç

Copiar l’enllaç del model

SCRATCH AMB IA PEL RECONEIXEMENT D’IMATGES

Pas 1. Obrir el navegador d’Internet per accedir a la pàgina: https://machinelearningforkids.co.uk/?lang=es

Pas 2. Al menú superior triar l’opció Pretrained

Pas 3. Navegar per la pàgina fins a trobar l’espai destinat a la importació de models de Tensorflow

Opció per importar un model de TensorFlow

Pas 4. Clicar sobre el botó Open a TensorFlow model

Botó per indicar la ubicació del model

Pas 5. S’obrirà una finestra emergent

Finestra d’importació del model

Pas 6. Enganxar l’enllaç del model d’IA que s’ha obtingut a l’últim pas de la secció C (pas 22) per després prémer el botó OPEN SCRATCH

Espai on s’inclou l’enllaç al model

Pas 7. En obrir-se el nou projecte Scratch, apareix una família de blocs que permet utilitzar les classes definides en la preparació del model d’IA (pas 13 de la secció B).

Família i conjunt de blocs per treballar amb el model d’IA

Pas 8. En aquest projecte nou, apareix per defecte el personatge del gat de Scratch. Si es vol es pot canviar per qualsevol altre (inclús pujar una imatge personalitzada). Per simplificar la feina, es mantindrà aquest personatge. Per canviar l’entorn al català (si no ho està), cal buscar l’idioma fent clic Settings > Language.

Opció per canviar l’idioma de treball amb l’aplicació Scratch

Pas 9. La primera acció serà arrossegar el gat fins a la cantonada inferior esquerra per deixar espai per veure les peces que detecta la webcam.

Ubicació recomanada del personatge

Pas 10. De les famílies de blocs “Esdeveniments” i “Moviment” incloure els següents blocs per tal de garantir que en iniciar l’aplicació, el personatge del gat estarà en aquesta cantonada inferior esquerra.

Programació inicial per portar el personatge a la cantonada

Pas 11. En començar l’aplicació també s’ha d’activar la webcam. Per fer-ho, primer s’ha d’incloure una extensió anomenada “Detecció de vídeo”. Cal prémer la cantonada inferior esquerra de l’entorn de programació per obrir les extensions i seleccionar aquesta:

Extensió per treballar amb la webcam

Pas 12. Afegir el bloc que permet activar la webcam a la part final de la programació que s’ha fet al pas 10 d’aquesta secció. A més, es fixarà la transparència del vídeo a 0. Això farà que la imatge sigui nítida.

Blocs de la webcam afegits a la programació

Pas 13. Per comprovar que la webcam s’activa i tot funciona correctament cal prémer la icona de la bandera verda.

Webcam activada

Pas 14. La detecció de la peça s’activarà amb la tecla espai. Per començar, es farà l’exemple de quan no hi ha res sobre el full blanc. És a dir, quan no s’ha deixat cap peça de fusta a la superfície de reconeixement.

Programació que detecta que no hi ha cap peça de fusta sobre el full en blanc

Pas 15. Per verificar que aquesta programació funciona, cal tenir la webcam enfocant el full en blanc i prémer la tecla d’espai.

Exemple de frase per indicar que no hi ha res

Pas 16. Per facilitar la comprensió, es pot enregistrar de veu aquest mateix missatge. Anar a la pestanya “sons” per obrir l’editor.

Zona de treball dels sons

Pas 17. Eliminar el so que apareix per defecte.

Eliminació del so que hi ha per defecte

Pas 18. A la cantonada inferior esquerra de l’entorn de treball hi ha el botó que permet obrir la finestra d’enregistrament de sons.

Finestra per enregistrar un nou so

Pas 19. Enregistrar el so i ajustar el començament i el final desplaçant els punts que el delimiten. A continuació desar el so.

Finestra on es poden ajustar l’inici i final del so enregistrat

Pas 20. Donar un nom a aquest so. Es recomana que sigui el mateix nom que la classe.

Canvi del nom del so

Pas 21. Tornar a la pestanya “Codi” i afegir el bloc del so a la programació que ja existeix.

Incloure el so enregistrat

Pas 22. Per a cada classe (excepte la de “Gir esquerra”), caldrà repetir els passos anteriors formats pel bloc condicional “Si… Si no…”. Cadascun d’aquests condicionals estarà imbricat o encadenat amb l’anterior.

Exemple de dos condicionals imbricats

Pas 23. Un cop s’han fet els condicionals de les classes “Res”, “Inici”, “Atura”, “Dreta”, “Esquerra”, “Amunt”, “Avall” i “Gir dreta”, quedarà un espai a la secció “Si no…” de l’últim bloc condicional. En aquest espai s’hi afegiran les accions per identificar l’última classe que queda (“Gir esquerra”). Ara bé, al ser l’última, s’utilitzarà un condicional simple.

Últim condicional simple per detectar el gir a l’esquerra

Pas 24. Amb la programació feta, cal desar el programa a l’ordinador.

Desar el programa per poder utilitzar-lo en el futur

Pas 25. Sempre que es vulgui utilitzar aquesta programació caldrà obrir-la des de: https://machinelearningforkids.co.uk/scratch/