Jembatan Inferensi: Jembatan browser untuk akses LLM lokal dan cloud
Inference Bridge, dibangun oleh samsamskies (SamSamskies), adalah ekstensi Chrome yang menerapkan API Penyedia Inferensi eksperimental untuk menghubungkan aplikasi web dan LLM. Ini menyuntikkan objek window.inference yang distandarisasi sehingga halaman dapat meminta respons AI langsung melalui browser, mendukung teks streaming melalui window.inference.request() dan merutekan ke OpenAI dengan kunci yang disimpan atau ke instance Ollama lokal. Ditujukan untuk pengembang web, peneliti AI, dan pengguna yang peduli privasi, ini menyimpan kunci API di dalam ekstensi dan menawarkan kontrol izin per-asal untuk akses model yang lebih aman.
Bagaimana ia mengekspos antarmuka AI standar ke halaman web
Menyuntikkan API sisi browser dengan menyediakan objek window.inference yang dapat dipanggil langsung oleh halaman. Ekstensi ini mendukung obrolan teks yang dialirkan melalui window.inference.request(), sehingga aplikasi web dapat mengonsumsi token saat mereka tiba. Permintaan divalidasi di dalam ekstensi sebelum aktivitas jaringan apa pun, yang mencegah halaman meneruskan muatan sembarangan. Pendekatan ini memungkinkan antarmuka web bertindak sebagai klien LLM tanpa menyematkan kredensial penyedia dalam skrip halaman.
Bagaimana ia memisahkan kredensial dan mengontrol akses
Permintaan izin per asal meminta pengguna untuk Mengizinkan, Menolak, atau Mengingat akses untuk setiap penyedia dan model, memberikan kontrol yang lebih rinci per situs. Kunci API disimpan dalam pekerja layanan ekstensi sehingga skrip halaman tidak pernah melihat kredensial. Ekstensi ini juga menghapus header Origin dan Referer untuk mempermudah koneksi lokal, dan membatasi penyuntikan ke konteks tingkat atas yang aman untuk mengurangi paparan terhadap halaman yang tidak aman.
Di mana model lokal dan kunci cloud bertemu
Permukaan API terpadu mendukung baik server Ollama lokal maupun opsi OpenAI bawa-kunci-sendiri, sehingga pengembang dapat membuat prototipe dengan salah satu penyedia. Ekstensi ini menangani penghapusan header dan pengalihan lokal untuk melewati hambatan CORS umum untuk inferensi lokal, menghilangkan kebutuhan akan proxy tambahan selama pengujian. Dukungan streaming dan satu antarmuka membuat integrasi prototipe berperilaku konsisten di seluruh jenis penyedia.
Batasan praktis yang harus direncanakan pengembang
Dibangun sebagai referensi eksperimental, ekstensi ini membatasi penyuntikan ke bingkai tingkat atas dan tidak beroperasi pada halaman file: atau di sub-bingkai, sehingga integrasi yang bergantung pada bingkai yang disematkan memerlukan desain alternatif. Ini hanya menargetkan browser berbasis Chromium, dan pengembang memposisikannya sebagai implementasi referensi resmi untuk proposal API Penyedia Inferensi, sehingga tim harus memperlakukan alat ini sebagai titik awal daripada komponen produksi yang selesai.
Jembatan pragmatis yang berfokus pada pengembang dengan kompromi eksperimental
Ekstensi ini adalah opsi pragmatis bagi pengembang dan peneliti yang membuat prototipe alur kerja browser-ke-LLM yang menerima alat dan pekerjaan integrasi eksperimental. Harapkan untuk menyesuaikan kode aplikasi dan menjalankan tes di lingkungan yang terkontrol. Sebagai tip praktis, batasi izin yang diingat hanya untuk host pengembangan dan jaga agar titik akhir model tetap di jaringan terisolasi selama pengujian. Alat ini berfungsi sebagai referensi kerja untuk menerapkan API browser yang diusulkan.
