Latar belakang penelitian ini didasarkan pada kebutuhan peningkatan kualitas asesmen pendidikan melalui integrasi teknologi informasi, khususnya dalam konteks pembelajaran PAI yang menuntut evaluasi menyeluruh aspek kognitif, afektif, dan psikomotorik. Extraordinary CBT, sebagai inovasi dalam sistem penilaian berbasis komputer, menawarkan berbagai fitur unggulan seperti multimedia integration, interactive assessment, artificial intelligence integration, dan real-time analytics yang diharapkan dapat meningkatkan validitas, reliabilitas, daya pembeda, tingkat kesukaran, dan efektivitas pengecoh dalam soal asesmen. Penelitian ini bertujuan untuk menganalisis pengaruh penggunaan Extraordinary Computer Based Test (CBT) terhadap kualitas pengembangan soal asesmen Pendidikan Agama Islam (PAI) di SMP Islam Al Azhar 15 Cilacap. Penelitian ini menggunakan pendekatan kuantitatif dengan metode eksplanatori dan desain pretest-posttest control group. Sampel penelitian terdiri dari guru dan siswa PAI di SMP Islam Al Azhar 15 Cilacap. Instrumen penelitian meliputi dokumentasi, kuesioner, dan analisis butir soal berbasis teori respon butir (Item Response Theory/IRT) dan Classical Test Theory (CTT). Hasil penelitian menunjukkan bahwa penggunaan Extraordinary CBT berpengaruh signifikan terhadap peningkatan kualitas pengembangan soal asesmen PAI, ditunjukkan oleh peningkatan skor validitas soal, reliabilitas, tingkat kesukaran yang proporsional, serta daya pembeda yang lebih tajam. Selain itu, faktor kompetensi digital guru dan infrastruktur teknologi turut menjadi moderator dalam efektivitas implementasi CBT ini. Implikasi dari penelitian ini memberikan kontribusi bagi pengembangan asesmen PAI yang lebih modern, objektif, dan responsif terhadap tuntutan era digital. Penelitian ini juga menjadi dasar rekomendasi bagi lembaga pendidikan untuk mengadopsi Extraordinary CBT sebagai solusi peningkatan kualitas asesmen berbasis teknologi.