Isiklik inglise keele treener - AI hääleassistent: 15 sammu

2024 Autor: John Day | [email protected]. Viimati modifitseeritud: 2024-01-30 08:48

See projekt aitab õpilasi, kes valmistuvad keeleeksamiks, kus neid saab koolitada, suheldes Snips AI -ga.

1. samm: lugu

Miks me selle ehitasime?

Oma isikliku kogemuse põhjal olen näinud paljusid inimesi valmistumas erinevateks keelelisteks testideks nagu GRE, TOEFL, IELTS. Neil on vaja inimest, kes aitaks neil sõnu meelde jätta ja neist aru saada. Üldjuhul, kui inimene valmistub sellisteks eksamiteks, vajavad nad isikut, kes vea korral kontrollib ja parandab. Selle lahenduse abil saame vähendada tööjõudu, kasutades hääleassistenti.

Samm: riistvara ehitamine

Kõigepealt tahaksin tänada SNIPS -i ja SEEED -i selle projekti toetamise eest hämmastava Snips Voice Interaction Development Kit (Base Kit) komplektiga, tundsin end selle plaadi kasutamisel tõesti informatiivsena ja suutsin saavutada mõne PCB -sse integreeritud keeruka projekti.

Snips Voice Interaction Base Kit saate osta 115 dollari eest ja Snips Voice Interaction Satellite Kit 85 dollari eest

3. samm: SNIPS -iga alustamine

Enne alustamist vaatame üle, mida vajate.

• Raspberry Pi 3B/B+ (soovitatav) või Pi 2 mudel B (toetatud).
• Mikro-USB-kaabel ja mikro-USB-toiteadapter Raspberry Pi jaoks.
• Micro SD -kaart (vähemalt 8 GB) - alustamiseks on vaja operatsioonisüsteemi. Saate Raspbian Stretchi alla laadida ja kasutada Mac OS, Linuxi ja Windowsi juhendeid Raspberry Pi veebisaidil.
• USB -klaviatuur ja -hiir ning väline HDMI -monitor - soovitame käepärast võtta ka USB -klaviatuur ja -hiir ning HDMI -monitor.
• Interneti -ühendus (Ethernet või WiFi)

Snips Voice Interaction Base Kit

Snips Voice Interaction Development Kits annab kasutajatele võimaluse alustada häälliideste arendamist ja hõlpsasti integreerida Snips AI Voice Platform riistvaraga. Seadmel töötavad katkendid, mis tähendab, et kõiki teie häälkäsklusi ja andmeid töödeldakse kohapeal, mitte ei saadeta pilve. Selle seadmes töötlemise tulemuseks on täiesti turvaline võrguühenduseta hääleassistent, mis hoiab teie isikuandmed privaatsena, nagu see peaks olema.

Voice Interaction Base Kit võimaldab teil käitada kogu Snips AI Voice Platformi. Toiteallikaks on Raspberry Pi 3 mudel B+ ja ReSpeaker 2-Mics Pi HAT, mis on võimeline toimima teie kodu nutikõlarina. Koos komplektiga on kõlar, Grove - temperatuuri ja niiskuse andur (SHT31), Grove - relee ja tahvl, mille abil see seinale riputada või vahva aluse luua.

Kuid see pole veel kõik! Voice Interaction Satellite Kit laiendab teie tugijaama, et jõuda teie maja igasse ruumi, ja võimaldab teil riistvaraga suhelda vastavalt sellele, kus te oma käske väljastate!

See komplekt sisaldab Raspberry Pi3 B+ plaati, ReSpeaker 2 -Mics Pi HAT, Grove - relee, Grove - temperatuuri ja niiskuse andur (SHT31), kõlar 6 oomi 2W, MicroSD -kaart, toiteadapter koos Micro USB -pistikuga, Grove kaabel x 2, akrüülalus paneel.

Kokkupaneku etapid: (SNIPS -i sisu) Järgmisel pildil on ülevaade kokkupaneku osadest.

Siin on montaažiosad paigaldatud aluspaneelile.

Seejärel paigaldatakse kõik elektroonilised osad plaadile.

Pärast seda paigaldage akrüülist kaitsekate Grove -relee peale.

Neid kahte osa kasutatakse komplekti valmistamiseks lauale.

Lõpuks olete valmis Snipsiga mängima.

Komplekt pakub kahte paigutusviisi. Seda saab paigutada horisontaalsele pinnale nagu alus või riputada seinale juhtmete või niidi abil. Palun olge releega ettevaatlik, kui komplekt on sisse lülitatud, kuna tööpinge on kõrge.

MÄRKUS. Meil on ka Snips Voice Interaction Satellite Kit, mille Raspberry Pi 3B+ asemel on Raspberry Pi null.

4. samm: liidestamine Snips AI -ga (põhiprojekt)

• Toitke komplekti toiteplokis oleva vaike-toiteadapteriga või kasutage 5V-2A alalisvooluadapterit koos Micro USB-pistikuga.
• Järgmine samm on Snipsi assistendi installimine Raspberry Pi -sse. Seadistamisaja säästmiseks on komplekti kuuluv MicroSD -kaart täisfunktsionaalse süsteemipildiga vilgutatud, mis tähendab, et Snipsi assistent on teie käivitussõnade jaoks valmis.
• Soovitame tungivalt uurida samm-sammult installijuhendit, külastades aadressi https://docs.snips.ai/getting-started/quick-start… ja õppida käsurealt sama tööriista.
• Käivitage assistent, öeldes "Hei-snips", ja järgige käsku:

Siit leiate näite video, mis on eelinstallitud Snips Voice Interaction baaskomplekti.

Samm: liidesed Snips AI -ga (projekt AI)

Nii see toimib. Esiteks kasutame Snipsi äratundmise algatamiseks märksõna. See mõistab lauset Snips NLU abil ja määrab kavatsuse. Järgmisena eraldage kavatsused, kasutades vastavalt pilusid. Tegevuskoodiga programmeerime AI vastuse vastavalt pesadele.

6. samm: rakenduse ja kavatsuste loomine

• Looge assistent. Minu puhul olin loonud assistendi nimega JARVIS ja märksõnaga JARVIS.
• Kohandatud rakenduse loomine või algajatele kasutage rakendust raamatukogust.
• Olin loonud rakenduse nimega Sõnad
• Looge kavatsus ja alustage AI koolitamist. See mängib olulist rolli teie tehisintellekti tugevamaks muutmisel. Treenige seda kõigi võimalike sisenditega.
• Looge sõnade tuvastamiseks pesa. Asetage pilu lause oodatud fraasi juurde. Minu näites on antud sõna pesa nimi ja see on sinisega esile tõstetud.
• Kui see on tehtud, on teie kohandatud ASR valmis. Proovige sisenditega. Vastuse leiame paremalt, assistendi alt. See annab teile toorväärtuse, kavatsuse nime ja pesa.
• Määratlege teenindusaegu rohkemate näidetega, nagu allpool toodud
• Lõpuks juurutage oma assistent, et kogeda isikupärastatud tehisintellekti.

Samm: põletage Raspbian SD -kaardile

Raspbian on Linuxi valikuvõimalus, mis töötab Raspberry Pi -l. Selles juhendis kasutame lihtsat versiooni, kuid saab kasutada ka töölaua versiooni (mis on varustatud graafilise keskkonnaga).

• Laadige alla Etcher ja installige see.
• Ühendage SD -kaardi lugeja nii, et SD -kaart oleks sees.
• Avage Etcher ja valige kõvakettalt Raspberry Pi.img või.zip fail, mille soovite SD -kaardile kirjutada
• Valige SD -kaart, kuhu soovite oma pildi kirjutada.
• Vaadake oma valikud üle ja klõpsake "Flash!" alustada andmete kirjutamist SD -kaardile

Ühendage seade võrguga

• Luba SSH -juurdepääs, lisades tühja faili ssh, mis asetatakse uuesti teie SD -kaardi alglaadimismahu juure.
• Sisestage SD -kaart Raspberry Pi -sse. See käivitub umbes 20 sekundiga. Nüüd peaks teil olema Raspberry Pi -le SSH -juurdepääs. Vaikimisi on selle hostinimi raspberrypi.local. Avage arvutis terminaliaken ja tippige järgmine tekst:

ssh [email protected]

Vaikimisi parool on vaarikas

Samm: installige Snipsi platvorm

Kui te pole seda juba teinud, installige oma arvutisse Sam käsurealiides. Avage terminaliaken ja sisestage:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Leidke oma Raspberry Pi võrgust, käivitades:

samad seadmed

Seejärel looge seadmega ühendus. Teilt küsitakse seadme kasutajanime ja parooli (vaikimisi on vastavalt pi ja vaarikas):

sam ühendada

Nüüd oleme valmis Snipsi platvormi Raspberry Pi -le installima. Sisestage käsk:

sama algatus

Samm: seadistage riistvara

Sam annab mõned käsud riistvarakomponentide hõlpsaks seadistamiseks ja konfigureerimiseks. Selles jaotises seadistame kõlari ja mikrofoni. Sõltuvalt teie seadistustest tuleb teha mõningaid kohandatud konfiguratsioone.

sam seadistusheli

Testige kõlarit

Kõlari töö kontrollimiseks käivitage

sam testkõlar

Kui kõik töötab hästi, peaksite kõlarist kuulma mõne sõna lausuvat häält. Mikrofoni seadistamine Saate kontrollida, kas teie mikrofon töötab:

sama testi mikrofon

Eeldades, et teil on kõlar, kui saate äsja öeldut selgelt kuulda, saate edasi liikuda ilma täiendava mikrofoni seadistamiseta.

Kui olete veendunud, et teie riistvara häälestus töötab, olete valmis liikuma järgmise sammu juurde, kus saate oma esimese assistendi juurutada.

Samm: tehisintellekti mudeli importimine konsoolist

Kui olete oma assistendi eelmistest sammudest loonud, logige terminaliaknast konsooli sisse, käivitades:

sam login

Teil palutakse sisestada Snips Console'i mandaat.

Seejärel installige assistent:

sam installimise assistent

Kui olete konsooli loonud mitu abilist, palutakse teil loendist valida, milline neist installida.

11. samm: käitleja ja tegevusjuhend

Vaarika Pi reageerimiseks peame kirjutama mõne käitleja koodi. See on kood, mis käivitatakse, kui Snipsi platvormil juhtub teatud sündmus, näiteks kui kavatsus on tuvastatud.

Käitleja loomiseks on teil sõltuvalt toimimisest erinevaid meetodeid.

Looge oma arvutisse kaust, kuhu soovite oma käitlejakoodi salvestada. Minge terminaliaknas sellesse kataloogi ja sisestage:

npm init

See loob faili nimega package.json, mis sisaldab teie projekti kirjeldust, sõltuvusi ja muud. Seejärel lisage mqtt paketi sõltuvus:

npm install mqtt --save

Nüüd looge fail nimega index.js ja kleepige järgmine kood, asendades hostinime muutuja oma Raspberry Pi hostinimega (kui see erineb vaike -raspberrypi -st):

var mqtt = nõuda ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var klient = mqtt.connect (hosti nimi); client.on ('connect', function () {console.log ("[Snips Log] Ühendatud MQTT maakleriga" + hostinimi); client.subscribe ('hermes/#');}); client.on ('sõnum', funktsioon (teema, sõnum) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/tuvastatud/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (sõnum));}}); function onIntentDetected (kavatsus) {console.log ("[Snips Log] Tuvastatud kavatsus:" + JSON.stringify (kavatsus)); } funktsioon onHotwordDetected () {console.log ("[Snipsi logi] Otsisõna tuvastatud"); } funktsioon onListeningStateChanged (kuulamine) {console.log ("[Snips Log]" + (kuulamine? "Start": "Stopp") + "kuulamine"); }

Käivitage see kood sõlme abil:

sõlm index.js

Te peaksite nägema sõnumit eduka ühenduse loomisest Snips MQTT maakleriga. Nagu varemgi, tehke oma Raspberry Pi -ga häältoimingut:

Hei Snips, milline on Chennai ilm

Peaksite nägema logide värskendamist:

[Snipsi logi] Ühendatud MQTT maakleriga mqtt: //raspberrypi.local

[Snipsi logi] Otsesõna tuvastatud [Snipsi logi] Alusta kuulamist [Snipsi logi] Lõpeta kuulamine [Snipsi logi] Kavatsus tuvastati: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" milline on Chennai ilm "," kavatsus ": {" kavatsuseNimi ":" searchWeatherForecast "," tõenäosus ": 0,73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "prognoz_locality"}]}

12. samm: tõrkeotsing

Kustutage eelmine assistent, kui see on olemas

$ sudo rm -rf/usr/share/snips/assistent/

Kataloogi muutmine assistendiks

cd/var/lib/snips/skills/

Repo sisu kloonimiseks kohalikuks

git kloon

Skripti setup.sh käivitamiseks

./setup.sh

Aktiveerige virtuaalne keskkond

allikas venv/bin/aktiveeri

Käivitage tegevuskood

./action-.py

Pythoni skriptile loa andmine

chmod +x action-.py

13. samm: ümbris

• Ma kasutasin selle projekti jaoks IP -vastavat korpust
• Esiteks tegin vajalikud augud toitejuhtme ja HDMI -kaabli vooluringide ja pesade paigaldamiseks.
• Seejärel panin kogu Raspberry Pi korpuse sisse ja keerasin selle kindlalt kinni.
• Tegin kõlarile ja mikrofonile väikese ava ning katsin selle väikese akrüüllehega.
• Ühendage kõlar kindlalt ReSpeaker mütsiga.
• Lõpuks on kõik kruvid kindlalt kinnitatud ja toitekaabel sisestatakse pesa kaudu.
• Nii näeb AI lõpuks välja: D

14. samm: tehisintellekti töö

Leiate andmed, mida jälgitakse Snips-watch abil

Nüüd on showtime. Hakkasin tegema lihtsate tervituste AI -ga. Heitke pilk selle toimimisele.

Koolitaja AI on programmeeritud piiratud sõnade jaoks. Seda saab väikeste muudatustega laiendada. See aitab õpilastel tähendust kiiremini meelde jätta kui traditsiooniline meetod.

Tähelepanu: see projekt on koolitatud umbes 25 sõna jaoks. Seda saab veelgi laiendada, tehes tegevuskoodis väikeseid muudatusi.

Tegevusskriptid leiate minu Githubi hoidlast.

Projekti Repo tervituste AI jaoks-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Projekti repo koolitaja AI jaoks-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Link minu rakendusele:

Kogu seadistamine maksab umbes 115 dollarit, mida saab osta SNIPS -ist ning see lahendus on traditsiooniliste meetoditega võrreldes väga odav ja tõhus. Indias tehti ligikaudu üle 100 000 testi ja see toode on parim täiendus GRE võtjatele.

Tõstke pöialt, kui see teid tõesti aitas, ja jälgige minu kanalit huvitavate projektide jaoks.:) Jagage seda videot, kui soovite. Hea meel, et tellisite: https://console.snips.ai/store/et/skill_xBKlxnE5K… Täname lugemise eest!