AI
| Class Practical #1 UNKLAB
Buka Live Demo Web
Class Practical #1 — Vision-Language Model

AI Building Vision Inspector

Deteksi Objek Interior Bangunan Menggunakan Large Language Model (Vision Capability) dengan Verifikasi Ground Truth Arsitektural

Mata Kuliah:
Artificial Intelligence
Fakultas Ilmu Komputer, UNKLAB
Kolaborasi Tim:
Informatika × Arsitektur
Domain Expert: Mahasiswa Arsitektur
Referensi Kuliah:
Lecture 9 AI
Uncertain Knowledge & Reasoning
Tujuan & Batasan Eksperimen

Learning Objectives (Activity #1)

1 Tujuan Utama
  • Demonstrasikan kemampuan VLM (Gemini Vision) mendeteksi objek interior bangunan.
  • Rancang prompt terstruktur untuk ekstraksi material, kondisi fisik, dan pencahayaan.
  • Lakukan verifikasi manual (Ground Truth) Human vs AI.
  • Evaluasi akurasi, kelemahan, dan limitasi VLM.
2 Peran Mahasiswa Arsitektur
  • Mendefinisikan ground truth aktual sebelum AI berjalan (Blind Inspection).
  • Validasi terminologi material (kayu solid, gypsum, kaca tempered, baja).
  • Penilaian visual kondisi kerusakan (retak, aus, kotor).
  • Analisis kualitas dan distribusi pencahayaan alami/buatan.
Arsitektur & Komponen

System Architecture Overview

1. Client Layer

Web UI responsif, kamera WebRTC live, selector kualitas citra, and toast feedback.

2. Blind Ground Truth

Checklist input objek aktual oleh arsitek sebelum model dieksekusi untuk objektivitas.

3. Vision Client

Prompt Builder multi-preset & OpenAI-compatible endpoint ke Gemini Vision API.

4. Verification Engine

Fuzzy text matching + kluster sinonim arsitektur untuk klasifikasi 4 metrik.

Pipeline: Input Citra ➔ Blind Ground Truth ➔ Prompt Preset ➔ Gemini Vision API ➔ JSON Normalizer ➔ Verification Engine ➔ Export Laporan
Metodologi Saintifik

Alur Kerja 5 Langkah (Lecture 9)

1
Input Citra Interior Kampus: Upload foto ruang kelas/lab atau tangkap langsung via kamera laptop/HP. Pilih tag kualitas: Normal, Low-Light, Blur, Low-Res (Soal #8).
2
Pencatatan Blind Ground Truth: Arsitek mendata objek aktual beserta material dan kondisinya sebelum AI dijalankan (mencegah confirmation bias).
3
Eksekusi Vision LLM: Pilih preset prompt: Structured JSON, Architectural Domain, atau Generic Prompt (Soal #9).
4
Verifikasi Human vs AI: Pencocokan otomatis ke 4 status verifikasi dengan opsi manual override oleh mahasiswa arsitektur.
5
Rekapitulasi 10 Analisis & Export: Data langsung teragregasi menjawab 10 pertanyaan evaluasi perkuliahan dan diekspor ke Markdown / CSV.
Kriteria Evaluasi Slide 66 Lecture 9

4 Kategori Verifikasi Human vs AI

1. Correct Detection

Objek benar-benar ada di dalam ruangan (Ground Truth) dan berhasil dikenali dengan tepat oleh AI.

Contoh: GT "Kursi Kuliah" ↔ AI "kursi" (Score: 0.90)
2. Missed Detection

Objek nyata ada di ruangan tetapi terlewat / gagal dideteksi oleh LLM.

Contoh: Stopkontak dinding, ventilasi udara kecil
3. False Detection (Hallucination)

AI mendeteksi objek yang sebenarnya tidak ada di ruangan.

Contoh: AI mendeteksi "tanaman hias" padahal hanya bayangan
4. Misclassification

Objek ada tetapi AI memberikan nama kelas atau material yang salah.

Contoh: Proyektor LCD disebut lampu plafon
Human-Computer Interaction (HCI)

Desain Antarmuka & Ergonomi

Non-Blocking Toast System

Menggantikan browser alerts yang memblokir workflow. Feedback instan dengan auto-dismiss 3.5 detik.

Touch Ergonomics (44px+)

Memenuhi standar Apple Human Interface Guidelines: target sentuh nyaman di layar HP dan tablet arsitek saat di lapangan.

LLM Onboarding Gate

Setiap pengguna memasukkan Base URL dan key sendiri secara aman di localStorage browser, bebas kebocoran credential.

Dukungan Akses Kamera: Mendukung live feed WebRTC dan file upload kamera HP (JPG/PNG/WEBP) dengan pratinjau instan.
Panduan Demonstrasi Kelas

Skenario Live Demo (2 Menit)

STEP 1

Buka web ➔ Pilih atau ambil foto ruangan kelas UNKLAB ➔ Tentukan tag kualitas (Normal).

STEP 2

Arsitek mengisi daftar objek aktual: Meja Dosen (Kayu), Kursi Kuliah (Plastik/Besi), Papan Tulis, Stopkontak.

STEP 3

Pilih preset "Structured JSON" ➔ Klik "Analisis Gambar dengan Gemini Vision".

STEP 4

Periksa tabel verifikasi otomatis ➔ Tinjau penaksiran pencahayaan dan material ➔ Ekspor Markdown.

Jawaban Analisis Otomatis

10 Analysis Questions (Lecture 9)

1-2. Jumlah Objek & Kelengkapan:

AI mendeteksi objek mayoritas, tetapi tidak 100% objek ruangan terdeteksi.

3-5. Missed, False, Misclassified:

Objek kecil sering Missed; objek reflektif rentan Misclassified / False Detection.

6. Objek Paling Mudah Dikenali:

Meja, kursi, pintu (kontur tegas, skala besar, frekuensi kemunculan tinggi).

7. Objek Paling Sulit Dikenali:

Stopkontak, saklar, grille ventilasi plafon (skala kecil, terpasang rata bidang).

8. Pengaruh Kualitas Gambar:

Low-light dan blur menaikkan Missed Detection drastis dan menurunkan kepastian material.

9-10. Pengaruh Prompt & Batasan:

Structured JSON menghasilkan detail konsisten; VLM tidak memiliki kepastian bounding box piksel.

Kesimpulan Diskusi Slide 68

Discussion Conclusion

"Large Language Model dengan kemampuan Vision sangat unggul dalam pemahaman semantik kontekstual tingkat tinggi (mengidentifikasi material arsitektural, menduga kondisi keausan fisik, serta menganalisis distribusi pencahayaan alami/buatan). Namun, LLM Vision memiliki kelemahan signifikan pada deteksi elemen berskala kecil yang terpasang rata pada bidang arsitektur, serta belum mampu menggantikan model deteksi objek khusus (seperti YOLO) untuk lokalisasi koordinat spasial piksel secara presisi."
Kekuatan Utama VLM:

Contextual reasoning, penaksiran material bangunan, inferensi kondisi fisik, zero-shot flexibility.

Limitasi Kritis VLM:

Ketiadaan bounding box koordinat pasti, halusinasi pada citra gelap, dan sering melewatkan detail kecil.

✓

Terima Kasih

Class Practical #1 telah berhasil diselesaikan dengan metodologi ilmiah, arsitektur serverless, dan integrasi domain arsitektur.

Universitas Klabat • Fakultas Ilmu Komputer • 2026