Pengenalan alfabet BISINDO berbasis peramban di SignifyAI.

Alat belajar BISINDO membutuhkan lebih dari sekadar skor model. Pengguna membutuhkan umpan balik cepat, status yang jelas, dan batas yang jujur agar antarmuka dapat mendukung latihan tanpa berpura-pura menggantikan juru bahasa terlatih.

Aksesibilitas Transparan

Skor confidence, status kamera, dan penyusun kalimat yang terlihat membantu pengguna memahami apa yang terdeteksi sistem dan bagian mana yang masih membutuhkan penilaian manusia.

Deployment Lebih Ringan

Menjalankan inferensi di peramban menghilangkan dependency produksi pada backend model-serving. Demo kelas, pilot berbiaya rendah, dan akses mobile menjadi lebih mudah direncanakan.

Umpan Balik untuk Belajar

Halaman translate dan practice berbagi batas pengenalan yang sama. Translate mengunci huruf menjadi teks, sementara practice meminta pengguna menahan huruf target sampai pengenalan cukup stabil.

Klaim yang Bertanggung Jawab

Pengenal alfabet yang terarah tetap bernilai ketika produk menyatakan secara tepat apa yang bisa dan belum bisa dilakukan. Klaim berlebihan akan membuat alat ini kurang aman, bukan lebih hebat.

Pekerjaan ini teknis, tetapi standar produknya berpusat pada manusia: alurnya harus dapat dipahami, dapat dipulihkan, dan menghormati komunitas yang ingin didukung.

Loop produksi adalah pipeline inferensi peramban yang ringkas. Alurnya dimulai dari kamera dan berakhir pada huruf yang terkunci, bukan layanan terjemahan server-side yang tersembunyi.

1. Pengambilan Kamera

Peramban memperoleh stream video langsung setelah pengguna memberi izin. Saat deteksi berjalan, bingkai diambil dengan interval yang disesuaikan antara perangkat mobile dan desktop.

2. Prapemrosesan Bingkai

Setiap bingkai digambar ke canvas 640 x 640. Buffer piksel RGBA diubah menjadi tensor RGB ternormalisasi yang sesuai dengan input model ONNX.

3. Inferensi YOLO11n ONNX

ONNX Runtime Web memuat artifact BISINDO YOLO11n dari path model publik. Runtime mencoba jalur worker lebih dulu, memakai byte model dari cache bila tersedia, dan fallback ke main thread jika inferensi worker gagal.

4. Decode Deteksi

Tensor keluaran didekode menjadi deteksi A-Z dengan bounding box dan nilai confidence. Kandidat ber-confidence rendah disaring, lalu non-maximum suppression per kelas mempertahankan kotak terkuat.

5. Penguncian Huruf

UI memilih deteksi dengan confidence tertinggi dan mengirimnya ke accumulator huruf. Confidence sangat tinggi dapat dikunci cepat; confidence lebih rendah harus menang dalam weighted vote singkat sebelum huruf masuk ke kalimat.

Pendekatan ini menjaga pengalaman tetap responsif sekaligus mengurangi commit berulang dari gestur yang ditahan. Riwayat yang tersimpan berisi entri teks dan metadata, bukan video kamera mentah.

SignifyAI menggabungkan workspace Next.js, ONNX Runtime Web, artifact model YOLO11n, dan data pengguna berbasis Supabase. Pilihan arsitektur terpenting adalah lokasi inferensi: di peramban.

Manifest Model

Frontend mendeklarasikan manifest model BISINDO dengan arsitektur yolo11n, file model best.onnx, ukuran input 640, confidence threshold 0.5, IoU threshold 0.45, dan label A sampai Z.

Eksekusi Runtime

ONNX Runtime Web dikonfigurasi dengan asset WASM lokal. Jika WebGPU tersedia, runtime mencoba WebGPU dengan fallback WASM; jika tidak, runtime berjalan dengan WASM.

Jalur Worker dan Main Thread

Predictor berbasis worker menjaga eksekusi model agar tidak membebani UI thread bila memungkinkan. Jika pembuatan worker atau inferensi worker gagal, aplikasi fallback ke predictor main thread alih-alih memutus sesi.

Caching

Model diminta dari peramban dengan force-cache dan Cache API bila tersedia. Ini mengurangi biaya unduh model berulang pada peramban yang mendukungnya.

Batas Data

Supabase mendukung autentikasi, riwayat, profil, progres, dan preferensi. Supabase bukan jalur model-serving produksi untuk inferensi translate dan practice.

Arsitektur ini menjaga eksekusi model dekat dengan sesi kamera, tetapi tetap memungkinkan data pengguna disinkronkan melalui layanan backend aplikasi yang memang diperlukan.

Lapisan AI pada aplikasi produksi saat ini adalah model object detection, bukan model bahasa umum. Model memprediksi kelas alfabet BISINDO dari bingkai gambar dan mengembalikan bounding box dengan skor confidence.

Deteksi bergaya YOLO berguna karena UI membutuhkan label kelas sekaligus bukti spasial bahwa bentuk tangan hadir. Postprocessor mendecode keluaran ONNX menjadi kandidat deteksi.

Keluaran model tidak langsung diterima begitu saja. Deteksi di bawah ambang confidence dibuang, bounding box dikunci ke ukuran gambar input, dan kotak yang tumpang tindih pada kelas yang sama dikurangi melalui non-maximum suppression.

Stabilitas temporal ditangani di lapisan produk. Accumulator huruf mencegah isyarat yang ditahan terkunci berulang kali dan memakai weighted voting ketika prediksi cukup masuk akal tetapi belum cukup tinggi untuk fast commit.

Desain ini memisahkan confidence model dari komitmen yang terlihat pengguna. Sebuah deteksi dapat muncul di UI sebelum menjadi bagian dari kalimat, sehingga sistem lebih mudah diperiksa saat pengujian.

Riset model berikutnya tetap dapat mengeksplorasi arsitektur yang lebih kuat atau pemilihan banyak model, tetapi perilaku yang dikirim saat ini harus dievaluasi terhadap kontrak ONNX A-Z yang benar-benar ada di codebase.

Kontrak itulah yang menjaga produk tetap jujur: model mengenali kelas alfabet; antarmuka membantu pengguna mengubah deteksi stabil menjadi teks.

Pelatihan berlangsung di luar sesi peramban live, tetapi aplikasi yang dideploy membuat asumsi pelatihannya terlihat. Artifact model adalah export ONNX bernama best.onnx dan label aktifnya adalah alfabet BISINDO A-Z.

Cakupan Dataset

Pengenal alfabet yang andal membutuhkan contoh dari berbagai pengguna, ukuran tangan, warna kulit, pencahayaan, posisi kamera, dan latar. Tanpa keragaman itu, confidence di peramban dapat terlihat presisi tetapi tetap gagal pada pengguna nyata.

Kontrak Anotasi

Runtime mengharapkan keluaran bergaya object detection: skor kelas dan bounding box. Artinya data pelatihan perlu dilabeli konsisten dengan daftar kelas A-Z dan kotak area tangan.

Batas Export

Artifact yang dideploy dimuat sebagai ONNX di frontend. Setiap perubahan pelatihan berikutnya harus menjaga kompatibilitas nama input, bentuk output, ukuran gambar, label, dan ekspektasi postprocessing.

Repository juga memisahkan test backend legacy dan parity dari inferensi produksi. Pemeriksaan itu berguna untuk membandingkan artifact model, tetapi tidak menjadikan FastAPI dependency produksi.

Validasi

Validasi perlu mencakup pengguna yang tidak ada di data latih, kamera mobile, lingkungan minim cahaya, dan pemeriksaan runtime peramban. Unit test dapat membuktikan decode tensor dan transisi state; hanya pengujian perangkat yang membuktikan perilaku kamera nyata.

Peningkatan Berkelanjutan

Ketika data bertambah, retraining perlu dipasangkan dengan regression check untuk kalibrasi confidence, false positive, latensi, dan threshold weighted-vote yang dipakai antarmuka.

Tujuannya bukan hanya skor yang lebih tinggi; tujuannya adalah model yang tetap dapat dipahami dan digunakan saat tertanam dalam workflow peramban nyata.

Akurasi di SignifyAI adalah gabungan masalah model dan interaksi. Model dapat mengembalikan kelas dan confidence, tetapi produk yang menentukan kapan prediksi itu menjadi huruf terkonfirmasi.

Jalur peningkatan pertama adalah kualitas dataset. Contoh yang lebih beragam untuk tiap huruf BISINDO mengurangi risiko model hanya bekerja untuk kelompok pengguna atau setup kamera yang sempit.

Jalur kedua adalah kalibrasi. Threshold confidence, IoU, fast commit, dan weighted vote harus diukur terhadap false positive, commit berulang, dan isyarat yang terlewat, bukan ditentukan berdasarkan perasaan.

Jalur ketiga adalah pengukuran runtime. WebGPU, WASM, eksekusi worker, dan peramban mobile dapat menghasilkan profil latensi yang berbeda, sehingga performa perlu diamati pada perangkat nyata.

Jalur keempat adalah umpan balik UX. Jika antarmuka menampilkan status ready, detecting, confidence, dan error dengan jelas, pengguna dapat memperbaiki posisi tangan atau pencahayaan sebelum menyimpulkan model salah.

Model masa depan yang lebih kuat perlu dikirim bersama bukti evaluasi yang lebih kuat: keragaman pengguna, keragaman perangkat, angka latensi, dan mode gagal yang terdokumentasi.

Cakupan SignifyAI saat ini cocok untuk kasus ketika pengenalan alfabet, umpan balik, dan latihan memang berguna. Aplikasi ini tidak seharusnya diposisikan sebagai pengganti juru bahasa tersertifikasi.

Demo Kelas

Pengajar dapat memakai workspace peramban untuk menunjukkan bagaimana framing kamera, confidence, dan batas model memengaruhi pengenalan huruf BISINDO.

Latihan Mandiri

Pembelajar dapat melatih huruf target, menahan isyarat sampai dikenali, dan meninjau progres tanpa memasang aplikasi native.

Prototipe Aksesibilitas

Tim dapat mengevaluasi apakah eksekusi model berbasis peramban cocok untuk prototipe aksesibilitas yang ringan sebelum berinvestasi pada infrastruktur yang lebih berat.

Evaluasi Riset

Peneliti dapat memeriksa bagaimana thresholding, postprocessing, dan aturan commit UI membentuk pengalaman akhir pengguna di luar keluaran mentah model.

Development dan Parity Testing

Developer dapat menjaga parity test backend legacy tetap terpisah sambil memakai jalur ONNX peramban sebagai perilaku produksi yang harus divalidasi.

Contoh penggunaan ini sengaja berbatas. Nilainya berasal dari membuat workflow yang spesifik menjadi andal, dapat dipahami, dan dapat diuji.

Riset dan pengembangan perlu memperluas SignifyAI tanpa melemahkan batas saat ini. Jalur produksi adalah inferensi ONNX peramban untuk pengenalan alfabet BISINDO; pekerjaan masa depan harus menjaga kejelasan itu atau mendokumentasikan scope baru secara eksplisit.

Varian Model

Varian YOLO tambahan atau arsitektur masa depan dapat dievaluasi lewat registry model yang eksplisit dan kontrol admin atau developer. Pergantian backend diam-diam akan membuat hasil sulit diaudit.

Perluasan Dataset

Data alfabet BISINDO yang lebih beragam adalah jalur paling langsung menuju pengenalan yang lebih adil. Perluasan perlu melacak demografi pengguna, tipe perangkat, pencahayaan, dan kualitas anotasi.

Performa Peramban

Runtime perlu diukur pada jalur WebGPU dan WASM, peramban desktop dan mobile, serta perangkat dengan kemampuan CPU dan GPU yang berbeda.

Metrik Interaksi

Akurasi model perlu dipasangkan dengan metrik produk seperti waktu sampai deteksi pertama, tingkat commit berulang, pemulihan dari frame kosong, dan keberhasilan hold pada practice.

Batas Etis

Produk harus terus menyatakan bahwa ia adalah alat bantu belajar dan komunikasi, bukan juru bahasa tersertifikasi. Tinjauan komunitas penting sebelum klaim diperluas.

Roadmap yang hati-hati dapat meningkatkan kualitas model sambil menjaga janji pengguna tetap presisi dan dapat diuji.

SignifyAI menunjukkan pendekatan browser-first yang praktis untuk pengenalan alfabet BISINDO. Sistem menangkap bingkai kamera, menjalankan YOLO11n ONNX secara lokal, mendecode deteksi, dan mengunci huruf stabil menjadi teks.

Kekuatannya bukan karena aplikasi ini menyelesaikan seluruh penerjemahan bahasa isyarat. Kekuatannya adalah batas implementasinya terlihat: kelas alfabet A-Z, deteksi dengan confidence, inferensi peramban, dan keluaran yang dapat disunting.

Batas itu membuat produk lebih mudah diuji, lebih mudah dijelaskan, dan lebih aman untuk ditingkatkan. Pengguna dapat melihat kapan model yakin, kapan model ragu, dan kapan penilaian manusia tetap diperlukan.

Pekerjaan berikutnya boleh memperluas kemampuan hanya jika disertai bukti evaluasi yang sepadan, terutama pada perangkat nyata, pengguna yang beragam, dan kebutuhan aksesibilitas yang diinformasikan komunitas.