AI: Opțiuni Software

  • Aflați cum să vă integrați modelul de învățare automată (machine learning model) într-o aplicație
  • Începeți să codați integrarea aplicației voastre

Acestea sunt activitățile pentru această lecție:

INTEGRAREA MODELULUI VOSTRU

Până acum, sperăm că echipa voastră a: 

  • antrenat modelul său AI folosind un set de date de calitate
  • testat modelul cu date noi și diverse

Dar nu puteți doar să-l lăsați acolo! 

Doriți ca modelul vostru să acționeze pe baza predicției pe care o face.

Va trebui să vă implementați modelul într-o aplicație pentru a-l face util.

brain hovering over a computer chip

ALEGEREA UNEI PLATFORME

Platforma pe care o utilizați pentru a vă coda aplicația va depinde de:

  1. care este preferința voastră pentru platforma de codare a aplicației mobile
  2. platforma pe care ați folosit-o pentru a vă antrena modelul

Mai jos sunt prezentate platformele de învățare automată (machine learning) discutate în Unitatea 5. Faceți clic pe fiecare dintre ele pentru a vedea câteva opțiuni de integrare a modelului într-o aplicație. 

Teachable Machine este o platformă foarte versatilă. Vă puteți salva modelul în cloud sau ca fișier, astfel încât aveți multe opțiuni de integrare cu platformele de programare/codare.

Acest videoclip descrie cum să vă exportați modelul.

  • App Inventor are o extensie numită Teachable Machine Image Classification, dezvoltată de Fabiano Oliveira, care poate fi descărcată și importată în secțiunea ”Extensie”.
  • Teachable Machine oferă fragmente de cod pentru integrarea cu Tensorflow, o bibliotecă de învățare automată. Aceasta oferă 3 opțiuni de fragmente de cod:
    • Tensorflow.js - Limbajul Javascript vă va permite să creați o pagină web sau o aplicație web.
    • Tensorflow - Limbaj Python pentru crearea de aplicații web.
    • Tensorflow Lite - Limbaj Java pentru crearea de aplicații mobile. 

Toate cele 3 fragmente de cod vă oferă un fișier al modelului și cod de copiat. În funcție de limbaj, este posibil să trebuiască să instalați biblioteci și editoare de cod. Linkurile către instrucțiuni vin împreună cu fragmentul de cod. 

Aceștia sunt pașii pentru utilizarea opțiunii Tensorflow.js:

    1. Copiați codul și lipiți-l într-un nou fișier text gol din computer.
      teachable machine code snippet
    2. Salvați-l ca index.html (sau orice altceva cu extensia .html). 
    3. Deschideți fișierul într-un browser web. Acesta va oferi o interfață de bază în care puteți clasifica o imagine capturată cu camera web pe baza modelului vostru.
    4. Dacă doriți să puteți încărca o imagine pentru clasificare, în loc de camera web, acest cod funcționează. (Sursă: Chris Hoyean Song) Asigurați-vă doar că copiați URL-ul modelului din fragmentul de cod original în acest fișier. 

Opțiunile Tensorflow și Tensorflow Lite vor necesita o instalare diferită a software-ului și a bibliotecilor de codare. Consultați site-ul github pentru instrucțiuni suplimentare.

Integrări Technovation: Python, App Inventor

În prezent, singura integrare pentru Machine Learning for Kids care funcționează complet pentru Diviziile Juniori și Seniori este Python. 

Pentru a afla mai multe despre integrarea modelului Machine Learning for Kids în Python, încercați una dintre fișele de lucru de pe această pagină. Selectați Python din meniul derulant ,,Toate tipurile de limbaje de programare”. 

MIT App Inventor este o opțiune pentru integrare, dar nu toate tipurile de seturi de date sunt complet funcționale. Consultați site-ul web Machine Learning for Kids pentru a vă asigura că setul vostru de date este compatibil cu App Inventor. 

Extensiile în App Inventor sunt componente externe care adaugă funcționalitate unei aplicații, dar nu fac parte din componentele de bază ale App Inventor.

După ce v-ați antrenat modelul de imagine sau de sunet utilizând site-urile de clasificatori ale App Inventor(imagine, sunet), veți folosi o extensie în App Inventor pentru a da viață modelului în aplicația voastră mobilă. 

Puteți urma pașii de mai jos pentru a vedea cum să utilizați extensiile AI pentru App Inventor.

Toate extensiile App Inventor sunt disponibile aici și pot fi descărcate și importate în App Inventor pentru utilizare. Alegeți extensia potrivită pentru modelul vostru.

  1. Faceți clic pe Extension în Designer Palette.
  2. Faceți clic pe Import extension.
  3. Faceți clic pe Choose File și alegeți fișierul de extensie pe care l-ați descărcat din pagina de extensii de mai sus.
  4. Faceți clic pe butonul Import pentru a importa extensia și blocurile sale.
import window

De asemenea, trebuie să adăugați o componentă WebViewer la proiect. Aceasta poate fi găsită în secțiunea User Interface.

În exemplul de mai jos, prezentăm modul de configurare a Clasificatorului de Imagini (Image Classifier), dar funcționează cam la fel și cu Clasificatorul Audio (Audio Classifier), dacă modelul vostru implică sunete.

Pentru a vă conecta modelul de la clasificator, mai întâi descărcați modelul de pe site-ul web al clasificatorului și apoi, 

  1. Selectați componenta PersonalImageClassifer .
  2. În panoul Properties (Proprietăți), faceți clic pe "None" (Niciunul) sub Model și încărcați fișierul model.mdl descărcat. (Fișierul poate fi redenumit oricum, dar trebuie să aibă extensia .mdl în numele său).
  3. Faceți clic pe "None" (Niciunul) sub WebViewer și selectați componenta WebViewer care tocmai a fost adăugată la proiect.
screenshot of webviewer in app inventor

Observați proprietatea "InputMode", care poate fi video sau imagine. Dacă alegeți video, acesta va încerca în permanență să clasifice fluxul video care apare în WebViewer. Dacă alegeți imagine, va trebui să adăugați o componentă Camera sau ImagePicker pentru a obține o imagine pentru clasificare. Veți avea nevoie în continuare de componenta WebViewer pentru ca clasificarea imaginilor să funcționeze.

inputmode for webviewer

În următoarele videoclipuri, urmăriți cum să adăugați modelul de fructe sănătoase și bolnave din Unitatea 5 în App Inventor pentru a crea o aplicație mobilă care poate identifica fructele sănătoase de cele bolnave utilizând camera telefonului.

În partea a II-a veți coda blocurile pentru clasificator.

Toate extensiile App Inventor sunt disponibile aici și pot fi descărcate și importate în App Inventor pentru a fi utilizate. Alegeți extensia potrivită pentru modelul vostru.

  1. Faceți clic pe Extension în Designer Palette.
  2. Faceți clic pe Import extension.
  3. Faceți clic pe Choose File și alegeți fișierul de extensie pe care l-ați descărcat din pagina de extensii de mai sus.
  4. Faceți clic pe butonul Import pentru a importa extensia și blocurile sale.

De asemenea, trebuie să adăugați o componentă WebViewer la proiect. Aceasta poate fi găsită în secțiunea User Interface.

În exemplul de mai jos, prezentăm modul de configurare a Clasificatorului de Imagini (Image Classifier), dar funcționează cam la fel și cu Clasificatorul Audio (Audio Classifier), dacă modelul vostru implică sunete.

Pentru a vă conecta modelul de la clasificator, mai întâi descărcați modelul de pe site-ul web al clasificatorului și apoi, 

  1. Selectați componenta PersonalImageClassifer.
  2. În panoul Properties (Proprietăți), faceți clic pe "None" (Niciunul) sub Model și încărcați fișierul model.mdl descărcat. (Fișierul poate fi redenumit oricum, dar trebuie să aibă extensia .mdl în numele său).
  3. Faceți clic pe "None" (Niciunul) sub WebViewer și selectați componenta WebViewer care tocmai a fost adăugată la proiect.

screenshot of webviewer in app inventor

Observați proprietatea ”InputMode”, care poate fi video sau imagine. Dacă alegeți video, acesta va încerca în permanență să clasifice fluxul video care apare în WebViewer. Dacă alegeți imagine, va trebui să adăugați o componentă Camera sau ImagePicker pentru a obține o imagine pentru clasificare. Veți avea nevoie în continuare de componenta WebViewer pentru ca clasificarea imaginilor să funcționeze.

inputmode for webviewer

În următoarele videoclipuri, urmăriți cum să adăugați modelul de fructe sănătoase și bolnave din Săptămâna 5 în App Inventor pentru a crea o aplicație mobilă care poate identifica fructele sănătoase de cele bolnave folosind camera telefonului.

În partea a II-a veți coda blocurile pentru clasificator.

Modelele realizate cu Ximilar pot fi utilizate cu un API pentru a le integra într-o aplicație. Puteți utiliza componenta Web API din Thunkable pentru a integra un model extern de la o platformă precum Ximilar într-o aplicație. Observație: Vom acoperi API-urile în Thunkable în următoarea unitate. Urmăriți a doua parte a videoclipului lui Pratham pentru a încorpora modelul său coral AI din Unitatea 5 într-o aplicație mobilă Thunkable.

ACTIVITATE: INTEGRAREA MODELULUI AI

Durată estimată: 60+ minute

Integrare pe baza platformei alese

  1. Verificați ce este necesar pentru platforma voastră specifică pentru a adăuga modelul AI antrenat de voi la un proiect.
  2. Creați un proiect nou în platforma selectată și adăugați modelul. Modul în care faceți acest lucru va depinde de procesul pentru platforma voastră specifică.
  3. Acționați! Adăugați componente și cod în platformă, astfel încât proiectul vostru să efectueze o acțiune pe baza predicției făcute de modelul vostru.

REFLECȚIE

Ați început să codați partea practică a aplicației voastre AI! Aici puteți vedea rezultatele modelului vostru și ce poate face cu adevărat!

Acum este un moment bun să vă verificați Planul de Proiect/Canvas pentru a vedea cum progresează proiectul vostru. Este posibil să doriți să ajustați calendarul proiectului și sarcinile în funcție de platforma pe care o utilizați și de pașii de care veți avea nevoie pentru a vă atinge obiectivele proiectului.

Odată ce codul funcționează, este timpul să vă verificați cu utilizatorii. Găsiți câteva persoane care să vă testeze aplicația și să ofere feedback.

checklist

REVIZUIREA TERMENILOR CHEIE

  • Software - termen pentru programe sau aplicații care rulează pe un computer sau dispozitiv
  • Extensii - pachete de software care adaugă funcționalitate programelor existente

RESURSE SUPLIMENTARE

Clasificator de bezele folosind Teachable Machine și Coral.

Consultați aceste videoclipuri despre instrumente AI mai avansate!

Lecția anterioară
Înapoi la curs
Lecția următoare