Microsoft telah menambahkan alat baru ke Copilot Studio minggu ini yang memungkinkan agen AI menggunakan situs web dan aplikasi desktop seperti halnya orang. Dengan pembaruan ini, AI dapat mengklik tombol, memilih item menu, dan mengetikkan ke bidang di layar.
Alat Penggunaan Komputer dijelaskan oleh Charles Lamanna, wakil presiden perusahaan Microsoft's Business & Industry Copilot, sebagai cara bagi agen untuk menangani tugas bahkan ketika tidak ada API yang tersedia untuk terhubung ke sistem secara langsung. Lamanna berkata, “Jika seseorang dapat menggunakan aplikasi, agen juga bisa,” seperti yang dilaporkan oleh The Verge.
Alat penggunaan komputer Copilot Studio dibuat untuk membiarkan bisnis membangun agen AI yang mengotomatiskan berbagai tugas, termasuk entri data, riset pasar, dan pemrosesan faktur. Microsoft mengatakan alat ini dapat mendeteksi ketika tombol dan layar berubah dalam aplikasi atau situs web dan terus bekerja tanpa gagal. Pengguna dapat menggambarkan tugas otomatisasi dalam bahasa alami dan memperbaiki alur kerja secara visual.
Microsoft baru -baru ini juga memperkenalkan alat yang disebut Tindakan dalam kopilot konsumennya, yang memungkinkannya melakukan tugas -tugas seperti memesan reservasi restoran, membeli tiket acara, dan membeli barang secara online di latar belakang. Tetapi satu perbedaan besar adalah bahwa tindakan terbatas pada beberapa mitra, sedangkan alat baru Copilot Studio diatur untuk bekerja dengan lebih banyak situs web dan aplikasi.
Pendekatan ini berarti bisnis dapat mengotomatisasi tugas berulang di kedua aplikasi modern dan warisan, bahkan jika aplikasi tersebut tidak mendukung integrasi langsung.
Perusahaan juga mengatakan semua operasi yang dijalankan pada infrastruktur Microsoft-Hosted, dengan data perusahaan disimpan dalam batas cloud Microsoft dan tidak digunakan untuk melatih model eksternal. Penggunaan komputer saat ini tersedia sebagai pratinjau penelitian akses awal untuk pengguna tertentu dari Copilot Studio.