Manusia yang terlahir di dunia tidak semuanya hidup dalam keadaan, contohnya penyandang tunarungu. Penyandang tunarungu juga ada yang beragama Islam atau Muslim, mereka tetap melakukan kewajibannya dalam beribadah salah satunya membaca Al-Qur’an dan perlu menggunakan isyarat hijaiah. Isyarat hijaiah sudah disepakati oleh Kemenag, namun masih terbatasnya alat bantu untuk penyandang tunarungu berupa perkembangan teknologi. Machine learning dapat dimanfaatkan sebagai solusi yang inovatif dalam mengatasi masalah ini. Penelitian ini bertujuan untuk membangun sebuah model deteksi objek yang dapat menjadi alat bantu dalam mempelajari bahasa isyarat huruf hijaiah. Model yang dibangun menggunakan metode Single Shot Multibox Detector (SSD) dengan backbone MobileNetV2 dan pendekatan transfer learning model pra latih, yang mana metode ini sudah sering dipakai untuk Machine learning khususnya bagian citra. Arsitektur SSD yang memiliki beberapa tahap, antara lain input gambar, feature extraction, detection head, Non-Maximum Suppression, dan output deteksi. Data yang digunakan merupakan data yang diambil menggunakan webcam dengan total 3.360 data. Augmentasi juga digunakan pada penelitian untuk memperbanyak data, antara lain putar horizontal, potong gambar, penyesuaian kecerahan, kontras, rona warna, dan saturasi. Hasil dari penelitian menunjukkan model telah berhasil dilatih dan telah berhasil dalam mendeteksi objek isyarat hijaiah. Nilai metrik evaluasi pada pengujian model menghasilkan accuracy 72,8%; precision 90%; recall 79,2%; dan f1-score 84%.