ScribeMe, Aplikasi AI Buatan Pemuda Mesir yang Membantu Tunanetra “Melihat” Dunia

Jakarta - Di tangan seorang pemuda asal Mesir, kecerdasan buatan (AI) dimanfaatkan untuk membantu penyandang tunanetra memahami dunia visual di sekitarnya. Pemuda tersebut adalah Mark Morad, mahasiswa sekaligus wirausahawan berusia 20 tahun asal Kairo yang mengembangkan aplikasi bernama ScribeMe.

ScribeMe memanfaatkan kamera smartphone dan teknologi AI untuk mengenali berbagai objek maupun situasi yang berada di hadapan pengguna. Informasi visual tersebut kemudian diterjemahkan menjadi penjelasan dalam bentuk suara.

Secara sederhana, kamera smartphone berfungsi sebagai “mata”, sementara AI berperan memahami apa yang tertangkap kamera dan menceritakannya kepada pengguna.

Berawal dari kehilangan penglihatan

Ide pengembangan ScribeMe tidak terlepas dari pengalaman pribadi Mark. Ia mulai mengalami gangguan penglihatan pada 2018. Berbagai pemeriksaan yang dilakukan di Mesir maupun luar negeri tidak menemukan diagnosis definitif.

Namun, dokter memperingatkan bahwa Mark pada akhirnya akan kehilangan penglihatannya akibat kondisi langka pada saraf optik yang tidak dapat disembuhkan.

Adik Mark, Karen Morad, juga mengalami kondisi serupa. Pada akhir 2021, keduanya telah kehilangan penglihatan sepenuhnya. Karen kehilangan penglihatannya dalam waktu sekitar enam bulan, sementara proses yang dialami Mark berlangsung secara bertahap selama hampir tiga tahun.

Setelah menjadi tunanetra, salah satu tantangan terbesar yang dihadapi Mark adalah belajar. Ketika itu, teknologi pembaca layar sebenarnya sudah membantunya membaca teks. Namun, teknologi tersebut memiliki keterbatasan ketika digunakan untuk memahami materi pelajaran seperti fisika dan kimia.

Buku pelajaran tidak hanya terdiri dari teks, tetapi juga memuat grafik, diagram, persamaan, dan berbagai informasi visual yang sulit dijelaskan secara optimal oleh pembaca layar.

Mark kemudian mencoba menghubungi sejumlah pengembang aplikasi di luar negeri yang mengembangkan teknologi serupa. Namun, ia tidak mendapatkan respons yang diharapkan.

Alih-alih berhenti, Mark memilih mencari solusi sendiri. Ia belajar pemrograman secara otodidak melalui berbagai tutorial di YouTube.

Pada 2023, Mark berhasil membuat versi awal ScribeMe yang membantunya mengakses materi sekolah. Dari aplikasi yang awalnya dibuat untuk kebutuhan pribadi tersebut, ScribeMe kemudian berkembang menjadi alat bantu visual berbasis AI.

AI membantu pengguna memahami lingkungan

Kemampuan ScribeMe kini tidak lagi sebatas membaca dokumen. Aplikasi tersebut dapat menggunakan kamera smartphone untuk memahami lingkungan pengguna secara real-time.

AI dapat mendeskripsikan objek maupun situasi yang tertangkap kamera. Pengguna juga dapat mengajukan pertanyaan mengenai apa yang berada di hadapannya.

Teknologi tersebut memungkinkan pengguna melakukan berbagai aktivitas, seperti mengenali benda, mencari toko, memahami kondisi di sekitarnya, hingga mengakses informasi visual yang sulit diperoleh melalui aplikasi pembaca layar konvensional.

Kemampuan ScribeMe semakin luas setelah aplikasi tersebut diintegrasikan dengan kacamata pintar Ray-Ban Meta.

Melalui integrasi ini, pengguna tidak perlu terus-menerus memegang smartphone dan mengarahkan kamera ke objek yang ingin diketahui. Kamera pada kacamata dapat menangkap lingkungan dari sudut pandang pengguna, kemudian ScribeMe memproses informasi tersebut dan menyampaikannya melalui suara.

Bagi penyandang tunanetra, kemampuan tersebut memberikan keuntungan praktis karena kedua tangan tetap bebas digunakan. Salah satunya dapat digunakan untuk memegang tongkat ketika berjalan.

Dipakai saat safari di Kenya

Salah satu pengalaman penggunaan ScribeMe dialami langsung oleh Karen ketika berlibur ke Kenya pada Juni 2026.

Saat mengikuti kegiatan safari, Karen menggunakan ScribeMe melalui kacamata pintar Meta. Teknologi AI tersebut memberikan informasi mengenai apa yang terjadi di sekitarnya, termasuk aktivitas hewan dan perkiraan jaraknya.

Dalam kehidupan sehari-hari, Karen juga menggunakan aplikasi yang dikembangkan kakaknya untuk berbagai kebutuhan. Mulai dari menemukan ruang kelas, mengenali toko, memilih pakaian, hingga membantu proses belajar.

Pengalaman tersebut menunjukkan bagaimana teknologi AI tidak hanya digunakan untuk meningkatkan produktivitas, tetapi juga dapat menjadi teknologi asistif yang membantu penyandang disabilitas mengakses informasi visual secara lebih mandiri.

Mendukung sekitar 20 bahasa

ScribeMe saat ini mendukung sekitar 20 bahasa, termasuk bahasa Arab. Dukungan terhadap bahasa Arab menjadi salah satu aspek penting bagi Mark karena ia mengaku kesulitan menemukan kemampuan serupa pada layanan pesaing yang pernah digunakannya.

Perjalanan pengembangan ScribeMe juga mendapat pengakuan melalui sejumlah kompetisi teknologi. Salah satunya adalah Vodafone AI Assistive Tools Hackathon 2024 yang diselenggarakan Vodafone Egypt untuk mendorong pengembangan teknologi bagi penyandang disabilitas.

Dalam kompetisi tersebut, Mark bertemu dengan seorang co-founder yang kemudian membantunya mengembangkan ScribeMe menjadi produk dengan cakupan lebih luas.

Kini, ScribeMe disebut telah digunakan oleh ribuan pengguna di sekitar 140 negara, sebagaimana dihimpun KompasTekno dari Reuters.

Aplikasi tersebut tersedia untuk perangkat iPhone dan smartphone Android serta dapat diunduh secara gratis. Namun, sejumlah fitur tambahan tersedia melalui skema berlangganan.

Biaya langganan ScribeMe disebut mencapai 20 dollar AS atau sekitar Rp356.000 per bulan. Sementara itu, paket tahunan ditawarkan dengan harga 200 dollar AS atau sekitar Rp3,5 juta.