Plani mësimor — javët 1–8

• Java Seanca A — 2,5 orë Seanca B — 2,5 orë Rezultati praktik
• 1 Autonomia me GPS dhe pa GPS. Arkitektura: PX4, ROS 2, GNSS, kamera, IMU dhe kompjuteri shoqërues. Laboratori e bateritë; Linux, Python e Git. Nisja e PX4 SITL/Gazebo dhe fluturim demonstrues me GPS. Skemë sistemi dhe simulator funksional.
• 2 Komponentët, masa, shtytja dhe konsumi; përputhja e motorëve, ESC-ve, baterisë dhe kamerave. Montimi nga kompleti, përfshirë GNSS/kompasin; lidhjet elektrike dhe kontrolli i polaritetit pa helika. Dron i montuar dhe lidhje të dokumentuara.
• 3 PX4 dhe QGroundControl; kalibrimi i sensorëve, kompasit dhe radios; cilësia e pozicionimit GNSS. Prova motorësh pa helika; mënyrat e fluturimit, pika e nisjes dhe reagimet ndaj humbjes së lidhjes/GPS. Platformë e konfiguruar për fluturim me GPS.
• 4 Mision me GPS në simulator: ngritje, pika kalimi, kthim dhe ulje. Planifikimi në QGroundControl. Fluturim real i mbikëqyrur jashtë: mbajtje pozicioni me GPS, mision i shkurtër pas verifikimit dhe analizë e regjistrimeve. Misioni i parë autonom me GPS.
• 5 ROS 2: nyjet, temat, mesazhet dhe publisher/subscriber në Python. Paketa ROS 2, parametrat dhe skedarët launch; regjistrimi/riluajtja me rosbag. Paketë që lexon e regjistron të dhëna.
• 6 Lidhja ROS 2–PX4 me uXRCEDDS dhe px4_msgs; telemetria, QoS dhe diagnostikimi. Kornizat lokale/globale, tf2, ENU/NED dhe kohët e matjeve; lidhja me pozicionimin GPS. Telemetri dhe korniza të verifikuara.
• 7 Offboard nga ROS 2 me pozicionim të mbështetur në GPS; trajektore lokale dhe prova në simulator. Provë e mbikëqyrur e misionit ROS 2 me GPS; krahasimi me misionin QGroundControl dhe analiza e gabimit. Autonomi me GPS e programuar nga ekipi.
• 8 Kamera reale në ROS 2; ekspozimi, frekuenca, vonesa dhe cilësia e pamjeve. Kalibrimi i kamerës/stereos; shtrembërimi i lentes dhe orientimi ndaj trupit të dronit. Pamje funksionale dhe skedarë kalibrimi.
• Pikë kontrolli në fund të javës 8: ekipi ka realizuar misionin me GPS, ka verifikuar kontrollin ROS 2–PX4 dhe merr pamje nga kamera.
• Provat fizike kryhen pas verifikimit teknik dhe në kushte të përshtatshme; dokumentohen veçmas nga simulimi.
• Dy mënyra programimi: në QGroundControl planifikohen misione me pika kalimi; në Offboard, ROS 2 dërgon lëvizjen e dëshiruar dhe PX4 kryen stabilizimin. Koordinatat lokale të komandave Offboard mund të mbështeten në pozicionim GPS në këtë fazë. [2][7]
• PLAN KURSI · PX4 / ROS 2 / VISION |25. Plani mësimor — javët 9–16
• Pas misioneve me GPS, kjo fazë bashkon OpenCV me lokalizimin vizual për kërkim autonom pa GPS. Konfigurimi i secilës fazë verifikohet përpara fluturimit.
• 9 OpenCV: filtrimi, segmentimi sipas ngjyrës, konturet dhe njohja e formave. Zbulimi i objekteve të zgjedhura; ArUco si ushtrim kalibrimi dhe vlerësimi të pozës. Detektor për objekte me pamje të përcaktuar.
• 10 Zbulimi me një model të trajnuar paraprakisht përmes OpenCV DNN, për shembull YOLO i përputhshëm. Ndjekja në video, konfirmimi në disa kuadro dhe filtrimi i zbulimeve të rreme. Detektor për 2–3 kategori objektesh dhe matje performance.
• 11 VIO: veçoritë vizuale, lëvizja e kamerës, IMU dhe grumbullimi i gabimit të pozicionit. Hyrje në SLAM. Ekzekutimi i zgjidhjes VIO me regjistrime dhe kamerën reale; kalibrimi kamera–IMU dhe sinkronizimi. Trajektore lokale e vlerësuar pa GPS.
• 12 Dërgimi i odometrisë vizuale në PX4 dhe integrimi me EKF2; njësitë, kornizat dhe pasiguria e matjeve. Përgatitja e konfigurimit pa GPS; prova në simulim e në dorë pa helika dhe kontrolli i humbjes së lokalizimit. PX4 merr e përdor pozicionimin vizual të verifikuar.
• 13 Planifikimi i kërkimit: mbulimi i zonës me kalime paralele dhe pika në koordinata lokale. Logjika e misionit: kërkim, zbulim, konfirmim, regjistrim dhe vazhdim; kriteret e përfundimit. Mision kërkimi i lidhur me OpenCV.
• 14 Mision i integruar në simulim pa GPS: kamera, VIO, zbulimi dhe trajektorja e kërkimit. Prova me ndriçim të ndryshëm, objekt të humbur, ndërprerje VIO ose komunikimi; analizë e rezultateve. Kërkim autonom i përsëritshëm në simulator.
• 15 Integrimi në dronin real; prova pa helika dhe qëndrim i mbikëqyrur në ajër me lokalizim vizual. Fluturime autonome pa GPS në zonë të kufizuar; kërkimi i objekteve dhe regjistrimi i gjetjeve. Demonstrim fizik dhe të dhëna të misionit.
• 16 Përmirësimi i zbulimit e trajektores; prova të përsëritura dhe dokumentimi. Demonstrimi final i kërkimit autonom pa GPS, prezantimi dhe vlerësimi individual. Kod, konfigurime, video dhe raport përfundimtar.
• Pikë kontrolli në fund të javës 12: lokalizimi vizual jep pozicion të qëndrueshëm në provat e përcaktuara dhe PX4 e merr me korniza e kohë të sakta. Kjo verifikohet përpara fluturimeve autonome fizike pa GPS. [4]
• Dy funksione plotësuese: OpenCV identifikon objektet; VIO vlerëson lëvizjen e dronit me kamera dhe IMU. SLAM shton lokalizimin së bashku me ndërtimin e hartës.
• Projekti bazë përdor një zonë të njohur, me ndriçim e teksturë të përshtatshme dhe rrugë të lirë; shmangia e përgjithshme e pengesave është zgjerim i mëtejshëm.

Pajisjet dhe përgatitja teknike

•  
• Platforma: komplet kuadrokopteri me PX4, modul GPS/GNSS me kompas, motorë, ESC, helika rezervë, furnizim, bateri e karikues; radiokomandë për ndërhyrjen e instruktorit dhe lidhje telemetrie.

• Perceptimi dhe lokalizimi: sistem stereo me IMU të sinkronizuar, i përputhshëm me zgjidhjen VIO; pamje RGB për OpenCV, nga i njëjti sistem ose kamerë shtesë. Montimi dhe kalibrimi duhet të mbulojnë fushën e kërkimit dhe vlerësimin e lëvizjes.
• Përpunimi: kompjuter shoqërues me Linux, furnizim e ftohje, i testuar për VIO dhe zbulim objektesh njëkohësisht; laptopë për zhvillim dhe simulim.
• Laboratori: vegla, multimetër, modele kalibrimi e objekte prove; zonë e hapur me pritje të mirë GNSS për fazën e parë dhe ambient i kontrolluar për provat pa GPS, me instruktor/pilot përgjegjës.
• Mjedisi: PX4, QGroundControl, ROS 2, Gazebo, OpenCV, Python, Git dhe paketa VIO e përzgjedhur.

• Etapa me GPS: mision me ngritje, pika kalimi, kthim dhe ulje; dorëzohen plani, konfigurimi dhe regjistrimet. Vlerësohen përfundimi i misionit dhe devijimi nga trajektorja.
• Projekti final pa GPS: në një zonë të kufizuar vendosen objekte nga 2–3 kategori, për shembull shishe, kuti me ngjyrë dhe topa, sipas detektorit të zgjedhur.
• Droni ngrihet, përshkon zonën, konfirmon gjetjet, vazhdon kërkimin dhe ulet automatikisht. Misioni kryhet pa përdorur GPS.
• Regjistrimi: kategoria, koha, pamja dhe pozicioni lokal i dronit në çastin e zbulimit.
• Pozicioni i vetë objektit vlerësohet kur ka matje thellësie dhe transformime të kalibruara; pozicioni i dronit ruhet veçmas.
• Kriteret për kërkimin pa GPS: përfundim i misionit në të paktën 3 nga 5 prova; zbulim i të paktën 80% të objekteve të vendosura dhe jo më shumë se një raportim i rremë për provë.
• Maten gabimi/grumbullimi i gabimit të lokalizimit kundrejt një reference, mbulimi i zonës, vonesa dhe frekuenca e përpunimit.
• Zona, ndriçimi, shpejtësia dhe toleranca e pozicionimit përcaktohen përpara provave.
• Verifikimi pa GPS: konfigurimi dhe regjistrimet tregojnë se GPS nuk furnizon vlerësimin e pozicionit.
• Në simulim kontrollohet edhe që odometria e përdorur nga autopiloti të vijë nga VIO, ndërsa pozicioni ideal i simulatorit përdoret për matjen e gabimit.
• Rezultatet e simulimit dhe fluturimit real raportohen veçmas; provat fizike kryhen pas kalimit të verifikimeve teknike.
• Dorëzimet dhe pesha: 10% montimi/konfigurimi; 15% misioni me GPS; 25% ROS 2–PX4 dhe lokalizimi vizual; 25% OpenCV dhe kërkimi; 25% projekti final pa GPS, matjet, kodi, videoja dhe dokumentimi.
• Dorëzohen edhe kalibrimet, parametrat dhe udhëzuesi i nisjes.

Referenca teknike

PX4 — ROS 2: https://docs.px4.io/main/en/ros2/user_guide

PX4 — Offboard: https://docs.px4.io/main/en/ros2/offboard_control

OpenCV — ArUco: https://docs.opencv.org/4.x/d5/dae/tutorial_aruco_detection.html

PX4 — Pozicionimi vizual: https://docs.px4.io/main/en/ros/external_position_estimation

PX4 — VIO: https://docs.px4.io/main/en/computer_vision/visual_inertial_odometry

OpenCV — Zbulimi me DNN/YOLO: https://docs.opencv.org/4.x/da/d9d/tutorial_dnn_yolo.html

PX4 — Planifikimi dhe kryerja e misioneve: https://docs.px4.io/main/en/flying/missions