Žest kõneks/teksti teisendamise kinnas: 5 sammu

2024 Autor: John Day | [email protected]. Viimati modifitseeritud: 2024-01-30 08:46

Selle projekti elluviimise idee/tõukejõud oli aidata inimesi, kellel on raskusi kõne abil suhtlemisega ja käeliigutustega või rahvapärasemalt tuntud Ameerika viipekeelega (ASL). See projekt võib olla samm selle poole, et anda neile inimestele koostöökeskkonnas võimalus töötada koos teiste inimestega, kes ei saa viipekeelest aru. Samuti võimaldab see projekt neil avalikke kõnesid ilma tegeliku tõlkijata. Alustuseks proovisin tuvastada vaid mõningaid lihtsamaid liigutusi, nagu tähestikud A, B, I jne, ning määrasin teatud žeste ka tavalistele sõnadele/tervitustele, nagu „Tere“, „Tere hommikust“jne.

Samm: vooluahela kokkupanek

2. samm: projekti üksikasjad

See projekt sisaldab kantavat kinnast, mille külge on kinnitatud/kinnitatud 4 paindeandurit - üks väike, keskmine, nimetissõrm ja pöial. Paindlikku andurit ei kasutatud sõrme sõrmuse jaoks, kuna Arduino Uno R3 -l on piirangud analoogsisenditüüpide kättesaadavusele ja üldiselt sõrme viipekeeltes kuvatava sõltumatu liikumise puudumise tõttu. Kasutatakse ka kiirendusmõõturit MMA8452Q, mis on peopesa tagaküljele kinnitatud, et mõõta käe suunda. Nende andurite sisendit analüüsitakse ja kasutatakse žesti tajumiseks. Kui žest on tajutud, salvestatakse vastav märk/sõnum muutujale. Need märgid ja sõnumid ühendavad end seni, kuni tehakse teatud etteantud žest, mis näitab lause lõpetamist. Kui see eriline žest on tuvastatud, saadab Arduino salvestatud lause string USB -kaabli kaudu Raspberry Pi -le. Seejärel saadab Raspberry Pi vastuvõetud stringi Amazoni pilveteenusele nimega Polly, et teisendada tekstivormingus saadud lause kõnevorminguks ja voogesitab seejärel vastuvõetud kõne Raspberry Pi -ga ühendatud kõlaris AUX -kaabli kaudu.

See projekt oli lihtsalt kontseptsiooni tõestuseks ning parema varustuse ja planeerimisega ning paremini kalibreeritud paljude muude žestide ja käeliigutuste tuvastamiseks. Praegu on sellesse projekti programmeeritud vaid piiratud funktsionaalsus, näiteks žestide põhituvastus ja tekst kõneks väljastamiseks.

3. samm: kood

4. samm: sammud

1. Ühendage paindeandurid ja kiirendusmõõtur MMA8452Q Arduinoga vastavalt lisatud skeemile.

2. Visake programm Final_Project.ino (leitud failist Arduino_code.zip) Arduinole.

3. Ühendage Arduino USB -kaabli abil Raspberry Pi -ga. (Kaabli tüüp A/B).

4. Lülitage Raspberry Pi sisse, kopeerige fail Raspberry_pi_code.zip Raspberry Pi -sse ja ekstraheerige see. Ühendage kõlar Raspberry Pi -ga.

5. Kopeerige AWS -i konto mandaadid, st aws_access_key_id, aws_secret_access_key ja aws_session_token faili ~/.aws/mandaat. See samm on vajalik AWS -i pilvega suhtlemiseks ja AWS -teenuste kasutamiseks.

6. Käivitage 4. etapis ekstraheeritud kaustast leitud programm seria_test.py.

7. Nüüd tehke žestid lause moodustamiseks ja tehke seejärel spetsiaalne žest (Hoidke sõrmed ja peopesa sirged ja ühel joonel peopesaga endast eemale ning seejärel pöörake randmet, pöörates seda allapoole nii, et nüüd peopesa on teie poole ja sõrmede ots on suunatud allapoole teie jalgade poole.), et märku anda lause lõpetamisest.

8. Jätkake terminali kasuliku teabe kontrollimist.

9. Ja kuulake, kuidas konverteeritud kõne voogesitatakse kõlaris.

5. samm: viited

1.

2.

3.

4.