Autonoomne droon koos infrapunakaameraga, mis abistab esmareageerijaid: 7 sammu

2024 Autor: John Day | [email protected]. Viimati modifitseeritud: 2024-01-30 08:47

Maailma Terviseorganisatsiooni aruande kohaselt tapab loodusõnnetus igal aastal umbes 90 000 inimest ja mõjutab peaaegu 160 miljonit inimest kogu maailmas. Loodusõnnetuste hulka kuuluvad maavärinad, tsunamid, vulkaanipursked, maalihked, orkaanid, üleujutused, metsatulekahjud, kuumalained ja põud. Aeg on ülioluline, sest ellujäämisvõimalus hakkab iga minutiga vähenema. Esmareageerijatel võib olla probleeme ellujäänute leidmisega majades, mis on kahjustatud ja seavad nende otsimise ajal ohtu nende elu. Süsteemi olemasolu, mis tuvastab inimesi eemalt, suurendaks oluliselt kiirust, millega esmaabi andjad saavad nad hoonetest evakueerida. Pärast teiste süsteemide uurimist leidsin, et mõned ettevõtted on loonud robotid, mis põhinevad maismaal või on loonud droonid, mis suudavad inimesi jälgida, kuid toimivad ainult väljaspool hooneid. Sügavuskaamerate kombinatsioon koos spetsiaalsete infrapunakaameratega võimaldab siseruumi täpselt jälgida ja tuvastada tulekahju, inimesi ja loomi tähistavaid temperatuurimuutusi. Rakendades mehitamata õhusõidukile (UAV) kohandatud algoritmiga andureid, on võimalik maju iseseisvalt kontrollida ning inimeste ja loomade asukoht võimalikult kiiresti päästa.

Palun hääleta minu poolt optikakonkursil!

Samm: disaininõuded

Pärast olemasolevate tehnoloogiate uurimist arutasin masina nägemise ekspertide ja esmareageerijaga võimalikke lahendusi, et leida parim meetod ellujäänute tuvastamiseks ohtlikes piirkondades. Allpool olevas teabes on loetletud süsteemi kõige olulisemad funktsioonid ja disainielemendid.

• Visioonitöötlus - süsteem peab tagama andurite ja tehisintellekti (AI) vastuse vahetatud teabe kiire töötlemiskiiruse. Näiteks peab süsteem suutma tuvastada seinu ja takistusi, et neid vältida, leides samas ka ohus olevad inimesed.
• Autonoomne - süsteem peab suutma toimida ilma kasutaja või operaatori sisendita. UAV -tehnoloogiaga minimaalse kogemusega töötajad peaksid suutma vajutada ühte või mõnda nuppu, et süsteem hakkaks skannimist ise alustama.
• Vahemik - vahemik on kaugus süsteemi ja kõigi teiste läheduses asuvate objektide vahel. Süsteem peaks olema võimeline tuvastama koridore ja sissepääsu vähemalt 5 meetri kauguselt. Ideaalne minimaalne kaugus on 0,25 m, et oleks võimalik tuvastada lähedasi objekte. Mida suurem on avastamisulatus, seda lühem on ellujäänute tuvastamisaeg.
• Navigeerimise ja tuvastamise täpsus - süsteem peaks suutma täpselt leida kõik sissepääsud ja mitte tabada objekte, tuvastades samas ka objektide ootamatu välimuse. Süsteem peab suutma erinevate andurite kaudu leida erinevuse inimeste ja elutute objektide vahel.
• Töö kestus - Süsteem peaks suutma kesta 10 minutit või kauem, sõltuvalt sellest, kui palju ruume ta vajab skannimiseks.
• Kiirus - see peaks olema võimeline skaneerima kogu hoone vähem kui 10 minutiga.

2. etapp: seadmete valik: liikumisviis

Nelikopter valiti kaugjuhtimispuldi auto asemel, sest kuigi nelikopter on habras, on takistuste vältimiseks seda lihtsam juhtida ja kõrgust muuta. Nelikopter mahutab kõik andurid ja stabiliseerib need, et need oleksid erinevates ruumides liikudes täpsemad. Propellerid on valmistatud kuumakindlast süsinikkiust. Andurid juhivad seintest eemale, et vältida õnnetusi.

• Kaugjuhtimisega maismaasõiduk

  • Plussid - saab kiiresti liikuda ilma kukkumiseta ja seda temperatuur ei mõjuta
  • Miinused - sõiduk paneks andurid maapinnale madalale, kattes korraga vähem ala ja takistused võivad selle blokeerida

• Quadcopter

  • Plussid - tõstab andurid õhku, et saada ümbrusest 360 -kraadine vaade
  • Miinused - kui see jookseb seina, võib see kukkuda ja mitte taastuda

3. samm: seadmete valik: mikrokontrollerid

Mikrokontrollerite kaks peamist nõuet on väikesed, et vähendada nelikopteri kasulikku koormust ja kiirust sisestatud teabe kiireks töötlemiseks. Rock64 ja DJI Naza kombinatsioon on täiuslik kombinatsioon mikrokontrolleritest, kuna Rock64 -l on piisav töötlemisvõimsus, et kiiresti inimesi tuvastada ja hoida nelikopter seintesse ja takistustesse sattumast. DJI Naza kiidab seda hästi, tehes kogu stabiliseerimise ja mootorijuhtimise, mida Rock64 ei suuda. Mikrokontrollerid suhtlevad jadapordi kaudu ja võimaldavad vajadusel kasutajat juhtida. Raspberry Pi oleks olnud hea alternatiiv, kuid kuna Rock64 -l oli parem protsessor ja parem ühendus järgmises tabelis loetletud anduritega, siis Pi ei valitud. Intel Edisonit ja Pixhawki ei valitud toe ja ühenduvuse puudumise tõttu.

• Vaarika Pi

  • Plussid - suudab tuvastada seinu ja fikseeritud objekte
  • Miinused - püüab kõigi andurite andmetega kursis olla, nii et ei näe sissepääsu piisavalt kiiresti. Ei saa mootorisignaale väljastada ja tal ei ole kvadrokopteri jaoks stabiliseerivaid andureid

• Rock64

  • Plussid - suudab tuvastada seinu ja sissepääsusid väikese latentsusega.
  • Miinused - suudab ka süsteemi kogu majas juhtida, ilma et kõikide andurite abil midagi kokku puutuks. Ei saa piisavalt kiiresti signaale saata, et juhtida mootori pöörlemiskiirust ja tal pole kvadrokopteri jaoks stabiliseerivaid andureid

• Intel Edison

  • Plussid - suudab tuvastada seinad ja sissepääsud mõne viivitusega
  • Miinused - vanem tehnoloogia, paljud andurid vajaksid uusi teeke, mille loomine võtab väga palju aega
• DJI Naza
  • Plussid - on integreeritud güroskoop, kiirendusmõõtur ja magnetomeeter, mis võimaldab nelikopteril olla õhus stabiilne, reguleerides mootori kiirust
  • Miinused - nägemistöötlust ei saa teha

• Pixhawk

  • Plussid - kompaktne ja ühilduv projektis kasutatavate anduritega, kasutades üldotstarbelist sisendväljundit (GPIO)
  • Miinused - nägemistöötlust ei saa teha

4. samm: seadmete valik: andurid

Ohtlikest piirkondadest inimeste leidmiseks vajaliku teabe saamiseks kasutatakse mitme anduri kombinatsiooni. Valitud kahe peamise anduri hulka kuulub stereo -infrapunakaamera koos SOUN Navigation And Ranging (SONAR). Pärast mõningast katsetamist olen otsustanud kasutada Realsense D435 kaamerat, kuna see on väike ja suudab täpselt jälgida kuni 20 meetri kaugust. See töötab kiirusega 90 kaadrit sekundis, mis võimaldab teha palju mõõtmisi, enne kui otsustate, kus objektid asuvad ja millisesse suunda nelikopterit suunata. SONAR andurid on paigutatud süsteemi üla- ja alaossa, et kvadopter saaks enne pinnaga kokkupuudet teada, kui kõrgele või madalale on lubatud minna. Samuti on üks ettepoole suunatud, et süsteem saaks tuvastada selliseid objekte nagu klaas, mida stereo -infrapunakaamera andur ei suuda tuvastada. Inimesi ja loomi tuvastatakse liikumise ja objektide tuvastamise algoritmide abil. FLIR -kaamerat rakendatakse, et aidata stereo -infrapunakaameral jälgida, mis elab ja mis mitte, et suurendada skannimise efektiivsust ebasoodsates tingimustes.

• Kinect V1

  • Plussid - saab hõlpsalt jälgida 3D -objekte kuni 6 meetri kaugusel
  • Miinused -sellel on ainult 1 infrapunaandur ja see on nelikopteri jaoks liiga raske

• Realsense D435

  • Plussid - Sellel on 2 infrapunakaamerat ja punane, roheline, sinine, sügavus (RGB -D) kaamera ülitäpse 3D -objekti tuvastamiseks kuni 25 meetri kaugusel. Selle laius on 6 cm, mis võimaldab seda hõlpsasti nelikopterisse paigutada
  • Miinused - võib kuumeneda ja võib vajada jahutusventilaatorit

• LIDAR

  • Plussid - tala, mis suudab oma vaateväljas jälgida asukohti kuni 40 meetri kaugusel
  • Miinused - kuumus keskkonnas võib mõjutada mõõtmise täpsust

• SONAR

  • Plussid - tala, mis suudab jälgida 15 m kaugust, kuid suudab tuvastada läbipaistvaid esemeid, nagu klaas ja akrüül
  • Miinused - ainult punktid ühes vaateväljas, kuid nelikopter saab neid skannitavale alale teisaldada

• Ultraheli

  • Plussid - vahemik on kuni 3 m ja see on väga odav
  • Miinused - ainult punktid ühes vaateväljas ja võivad väga hõlpsalt kauguse tuvastamise ulatusest välja jääda
• FLIR kaamera
  • Plussid - suudab teha sekkumiseta suitsu kaudu sügavaid pilte ja suudab tuvastada elavaid inimesi kuumuse allkirjade kaudu
  • Miinused - kui miski segab andureid, võib vahemaa arvutused valesti arvutada

• PIR andur

  • Plussid - suudab tuvastada temperatuuri muutusi
  • Miinused - ei saa täpselt kindlaks teha, kus temperatuuride erinevus on

5. samm: seadmete valik: tarkvara

Kasutasin koos robot -operatsioonisüsteemiga (ROS) Realsense SDK -d, et luua mikrokontrolleriga sujuv integratsioon kõigi andurite vahel. SDK pakkus pidevat punktpilveandmete voogu, mis oli ideaalne kõigi objektide ja nelikopteri piiride jälgimiseks. ROS aitas mul saata kõik andurite andmed minu loodud programmi, mis rakendab tehisintellekti. Tehisintellekt koosneb objektide tuvastamise algoritmidest ja liikumistuvastuse algoritmidest, mis võimaldavad nelikopteril oma keskkonnas liikumist leida. Kontroller kasutab nelikopteri positsiooni juhtimiseks impulsi laiuse modulatsiooni (PWM).

• Freenect

  • Plussid - sellel on madalam juurdepääs kõigi asjade juhtimiseks
  • Miinused - toetab ainult Kinect V1

• Realsense SDK

  • Plussid - saab hõlpsasti luua punktpilveandmeid Realsense kaamera infovoost
  • Miinused - toetab ainult Realsense D435 kaamerat

• FLIR Linuxi draiver

  • Plussid - saab andmevoogu FLIR -kaamerast alla laadida
  • Miinused - dokumentatsioon on väga piiratud

• Roboti operatsioonisüsteem (ROS)

  • Plussid - Operatsioonisüsteem sobib ideaalselt kaamera funktsioonide programmeerimiseks
  • Miinused - tõhusaks andmete kogumiseks tuleb installida kiirele SD -kaardile

6. samm: süsteemi arendamine

Seadme "silmad" on Realsense D435 stereo-infrapuna-andur, mis on riiulilt väljas olev andur, mida kasutatakse peamiselt robotrakendustes, näiteks 3D-kaardistamisel (joonis 1). Kui see andur on nelikopterile paigaldatud, saab infrapunakaamera juhtida ja lubada nelikopteril iseseisvalt liikuda. Kaamera genereeritud andmeid nimetatakse punktpilvedeks, mis koosnevad ruumis olevatest punktidest, millel on teave teatud objekti asukoha kohta kaamera nägemises. Selle punktpilve saab teisendada sügavuskaardiks, mis näitab värve erineva sügavusega (joonis 2). Punane on kaugemal, sinine aga lähemal meetrit.

Selle süsteemi tõrgeteta tagamiseks kasutati avatud lähtekoodiga operatsioonisüsteemi nimega ROS, mida tavaliselt kasutatakse robotitel. See võimaldab juhtida seadet madalal tasemel ning pääseda juurde kõikidele anduritele ja koguda andmeid, mida saavad kasutada teised programmid. ROS suhtleb Realsense SDK -ga, mis võimaldab erinevaid kaameraid sisse ja välja lülitada, et jälgida objektide kaugust süsteemist. Mõlema vaheline seos võimaldab mul pääseda kaamera andmevoole, mis loob punktpilve. Punktipilve teave võimaldab kindlaks teha, kus piirid ja objektid asuvad 30 meetri raadiuses ja 2 cm täpsusega. Teised andurid, nagu SONAR andurid ja DJI Naza kontrolleri sisseehitatud andurid, võimaldavad nelikopteri täpsemat positsioneerimist. Minu tarkvara kasutab tehisintellekti algoritme, et pääseda punktipilvele ja luua lokaliseerimise kaudu kogu seadet ümbritseva ruumi kaart. Kui süsteem käivitatakse ja skannimist alustab, liigub see läbi koridoride ja leiab sissepääsu teistesse ruumidesse, kus saab seejärel ruumi pühkida spetsiaalselt inimesi otsides. Süsteem kordab seda protsessi seni, kuni kõik ruumid on skannitud. Praegu saab nelikopter lennata umbes 10 minutit, mis on piisav täielikuks pühkimiseks, kuid seda saab täiustada erinevate akude paigutusega. Esimesed reageerijad saavad märguandeid, kui inimesi märgatakse, et nad saaksid keskenduda valitud hoonetele.

7. samm: arutelu ja järeldus

Pärast paljusid katseid olin loonud töötava prototüübi, mis vastas tabelis 1 toodud nõuetele. Kasutades Realsense D435 stereo -infrapunakaamerat koos Realsense SDK -ga, loodi nelikopteri esiosa kõrge eraldusvõimega sügavuskaart. Alguses oli mul probleeme sellega, et infrapunakaamera ei suutnud tuvastada teatud objekte, näiteks klaasi. SONAR -anduri lisamisega suutsin sellest probleemist üle saada. Rock64 ja DJI Naza kombinatsioon oli edukas, kuna süsteem suutis kvadkopteri stabiliseerida, suutes samal ajal objekte ja seinu tuvastada kohandatud loodud arvuti nägemisalgoritmide abil, kasutades OpenCV -d. Kuigi praegune süsteem on funktsionaalne ja vastab nõuetele, võiks sellest kasu saada mõnest tulevasest prototüübist.

Seda süsteemi saaks täiustada kõrgema kvaliteediga kaamerate abil, et inimesi paremini tuvastada. Mõnel kallimal FLIR -kaameral on võimalus tuvastada soojusallikaid, mis võimaldab täpsemat tuvastamist. Süsteem võib toimida ka erinevates keskkondades, näiteks tolmustes ja suitsuga täidetud ruumides. Tänu uuele tehnoloogiale ja tulekindlusele saab selle süsteemi saata põlevatesse majadesse, mis tuvastavad kiiresti inimeste asukoha, et esmaabi andjad saaksid ellujäänud ohust kätte.

Täname lugemise eest! Ärge unustage optikakonkursil minu poolt hääletada!