Deteksi Objek Interior Bangunan Menggunakan Large Language Model (Vision Capability) dengan Verifikasi Ground Truth Arsitektural
Web UI responsif, kamera WebRTC live, selector kualitas citra, and toast feedback.
Checklist input objek aktual oleh arsitek sebelum model dieksekusi untuk objektivitas.
Prompt Builder multi-preset & OpenAI-compatible endpoint ke Gemini Vision API.
Fuzzy text matching + kluster sinonim arsitektur untuk klasifikasi 4 metrik.
Objek benar-benar ada di dalam ruangan (Ground Truth) dan berhasil dikenali dengan tepat oleh AI.
Objek nyata ada di ruangan tetapi terlewat / gagal dideteksi oleh LLM.
AI mendeteksi objek yang sebenarnya tidak ada di ruangan.
Objek ada tetapi AI memberikan nama kelas atau material yang salah.
Menggantikan browser alerts yang memblokir workflow. Feedback instan dengan auto-dismiss 3.5 detik.
Memenuhi standar Apple Human Interface Guidelines: target sentuh nyaman di layar HP dan tablet arsitek saat di lapangan.
Setiap pengguna memasukkan Base URL dan key sendiri secara aman di localStorage browser, bebas kebocoran credential.
Buka web ➔ Pilih atau ambil foto ruangan kelas UNKLAB ➔ Tentukan tag kualitas (Normal).
Arsitek mengisi daftar objek aktual: Meja Dosen (Kayu), Kursi Kuliah (Plastik/Besi), Papan Tulis, Stopkontak.
Pilih preset "Structured JSON" ➔ Klik "Analisis Gambar dengan Gemini Vision".
Periksa tabel verifikasi otomatis ➔ Tinjau penaksiran pencahayaan dan material ➔ Ekspor Markdown.
AI mendeteksi objek mayoritas, tetapi tidak 100% objek ruangan terdeteksi.
Objek kecil sering Missed; objek reflektif rentan Misclassified / False Detection.
Meja, kursi, pintu (kontur tegas, skala besar, frekuensi kemunculan tinggi).
Stopkontak, saklar, grille ventilasi plafon (skala kecil, terpasang rata bidang).
Low-light dan blur menaikkan Missed Detection drastis dan menurunkan kepastian material.
Structured JSON menghasilkan detail konsisten; VLM tidak memiliki kepastian bounding box piksel.
Contextual reasoning, penaksiran material bangunan, inferensi kondisi fisik, zero-shot flexibility.
Ketiadaan bounding box koordinat pasti, halusinasi pada citra gelap, dan sering melewatkan detail kecil.
Class Practical #1 telah berhasil diselesaikan dengan metodologi ilmiah, arsitektur serverless, dan integrasi domain arsitektur.