Memanfaatkan Agen AI untuk Otomasi QA

Workflow QA Berbasis Agen untuk Otomasi End-to-End

Workflow QA berbasis agen semakin relevan ketika organisasi bergantung pada fitur-fitur kritis yang tidak boleh gagal. Di sebuah siklus rilis, tim kami pernah mengirimkan bug pada komponen UI inti: dropdown pengganti akun yang memungkinkan pengguna berpindah antar akun dalam aplikasi produksi. Fitur ini belum memiliki pengujian otomatis, sehingga verifikasi sepenuhnya mengandalkan regresi manual yang rentan terhadap kelalaian. Masalah tersebut lolos dari peninjau manual dan menjadi sinyal keras bahwa pendekatan kualitas kami perlu ditata ulang. Sebagai insinyur perangkat lunak yang berfokus pada kualitas, saya memutuskan membangun jaring pengaman baru dengan memanfaatkan workflow QA berbasis agen menggunakan mode Agent di Cursor.

Dalam praktik tradisional, pekerjaan seperti ini mudah menghabiskan satu hari penuh: menelusuri kode backend untuk memahami mekanisme seeding data uji, bergulat dengan selector Playwright yang rapuh, lalu memperbarui sistem manajemen pengujian dan dokumentasi secara manual. Alih-alih mengulang pola lama, saya bereksperimen dengan pendekatan delegatif: agen bertindak sebagai asisten teknis yang mengelola hampir seluruh siklus hidup QA, mulai dari perubahan backend hingga pembuatan tiket dan dokumentasi. Pengalaman ini terasa lebih seperti mengorkestrasi pekerjaan daripada menulis setiap baris kode. Artikel ini mengulas bagaimana alur tersebut disusun, apa saja prasyaratnya, dan bagaimana workflow QA berbasis agen dapat direplikasi secara sistematis di organisasi lain.

Membangun Konteks Teknis Lintas Full Stack

Salah satu penyebab utama kegagalan AI dalam workflow QA berbasis agen adalah kurangnya konteks teknis menyeluruh. Agen mungkin mampu menulis skrip pengujian yang sintaksisnya benar, tetapi sering tidak memahami cara menyiapkan data uji yang realistis, konsisten, dan dapat direproduksi. Agen juga tidak otomatis mengetahui struktur backend, dependensi antar layanan, atau di mana hasil pengujian dicatat dalam ekosistem QA. Tanpa koneksi eksplisit ke repositori kode, pipeline CI, dan sistem manajemen pengujian, agen mudah buntu dan menghasilkan skrip yang sulit dijalankan maupun dipelihara.

Untuk mengatasi hal ini, saya tidak sekadar membuka satu repositori pengujian. Saya membangun sebuah Workspace terpadu di Cursor yang memuat tiga komponen utama dalam satu konteks: kode backend (model, serializer, API, dan pola arsitektur), kode frontend (logika UI, struktur komponen, pola rendering), serta pengujian end-to-end dengan Playwright sebagai referensi pola otomasi yang telah disepakati tim. Dengan pandangan lintas full stack ini, agen memiliki konteks yang konsisten dan terintegrasi, menjadi fondasi workflow QA berbasis agen yang stabil dan dapat diandalkan dalam jangka panjang.

Memperlengkapi Agen dengan Tool dan Aturan Terstruktur

Prompt teks biasa sering terasa lambat dan membatasi ketika digunakan untuk mengorkestrasi workflow QA berbasis agen yang kompleks. Karena itu, saya membekali agen dengan berbagai tool terintegrasi yang memungkinkan interaksi langsung dengan sistem eksternal. Tool tersebut mencakup MCP, skrip khusus, skill terstruktur, dan seperangkat aturan yang terdokumentasi dengan jelas. Tujuannya sederhana: agen tidak hanya menghasilkan kode statis, tetapi juga mampu melakukan aksi nyata di ekosistem rekayasa kami.

Setidaknya, agen membutuhkan akses ke manajemen tugas seperti Asana untuk mengelola backlog dan sprint, integrasi kontrol versi melalui GitHub untuk membuat branch, commit, dan pull request, serta integrasi manajemen pengujian dengan TestRail untuk sinkronisasi test case. Saya juga menyediakan tool browser agar agen dapat menginspeksi dan berinteraksi dengan aplikasi lokal secara langsung. Di luar itu, kami menggunakan beberapa tool internal spesifik organisasi, tetapi komponen utama tersebut sudah cukup untuk memulai workflow QA berbasis agen yang fungsional.

Untuk menjaga konsistensi, saya mengarahkan Cursor ke dokumen AGENTS.md yang berisi konvensi Playwright, standar penulisan tes, dan pedoman cleanup. Dokumen ini diperlakukan sebagai aturan wajib yang harus dipatuhi agen dalam setiap perubahan. Agen boleh bergerak cepat dan melakukan eksplorasi, tetapi kode yang dihasilkan tetap harus mengikuti standar tim.

Merancang Prompt dan Pola Kerja Dua Tahap

Prompt awal saya susun pada level tinggi dan berfokus pada perspektif pengguna akhir. Saya membingkainya sebagai kontrak eksplisit dengan agen, sehingga ekspektasi dan batasan menjadi jelas. Contohnya: “Saya perlu menulis pengujian otomatis untuk seorang pengguna yang memiliki akses ke dua akun berbeda, sehingga saya dapat menguji fitur UI bernama account switching secara konsisten.” Saya juga merujuk secara eksplisit ke AGENTS.md agar agen mengikuti pedoman yang ada tanpa menyimpang. Pendekatan ini menjaga keselarasan antara workflow QA berbasis agen dan praktik QA manual yang sudah mapan.

Satu praktik yang terbukti efektif adalah memulai di Plan mode sebelum mengeksekusi perubahan apa pun. Di mode ini, agen diminta menguraikan pendekatan, mengidentifikasi dependensi, dan menyusun rencana terstruktur. Setelah rencana disepakati, barulah saya beralih ke Agent mode, di mana agen mengeksekusi rencana langkah demi langkah dengan memanfaatkan tool yang tersedia. Pola dua tahap ini membantu menjaga struktur, mengurangi kebingungan, dan memudahkan review manusia terhadap keputusan agen.

Empat Fase: Dari Backend hingga Integrasi CI

Dengan lingkungan dan tool yang siap, pekerjaan saya jalankan dalam empat fase yang terdefinisi jelas. Polanya konsisten: manusia mendefinisikan intent, agen menangani eksekusi teknis dan administratif. Fase pertama berfokus pada backend dan penyiapan data uji untuk skenario multi-akun. Fase kedua berfokus pada otomasi pengujian end-to-end dengan Playwright dan penguatan assertion. Fase ketiga menyasar pekerjaan administratif QA, termasuk dokumentasi dan manajemen tugas. Fase keempat menutup siklus dengan pull request, review kode, dan integrasi ke pipeline CI.

Tantangan besar pertama adalah penyiapan data uji yang sesuai dengan skenario bisnis. Ketika saya meminta agen membuat pengujian untuk pengguna dengan beberapa akun, agen menemukan keterbatasan struktural pada backend: API otomasi kami tidak dapat membuat pengguna dengan lebih dari satu akun. Artinya, skenario multi-akun belum didukung secara eksplisit. Temuan ini menunjukkan bahwa workflow QA berbasis agen tidak hanya mengungkap bug fungsional, tetapi juga mengangkat keterbatasan arsitektur yang menghambat testability.

Alih-alih berhenti, saya meminta agen mengidentifikasi perubahan backend paling kecil yang diperlukan untuk mendukung pengguna multi-akun dan meningkatkan testability. Agen menelusuri serializer, model, dan endpoint yang relevan, lalu mengusulkan modifikasi minimal yang tidak mengganggu perilaku produksi. Perubahan tersebut mencakup penyesuaian field API, penambahan validasi, dan pembaruan factory data uji agar skenario multi-akun dapat dibuat secara deterministik.

Meningkatkan Testability sebagai Tujuan Desain

Pelajaran penting dari fase ini adalah bahwa kita sebaiknya tidak hanya meminta agen menulis pengujian, tetapi juga mendorongnya membuat aplikasi lebih mudah diuji. Dengan workflow QA berbasis agen, perbaikan struktural yang meningkatkan kualitas jangka panjang dapat dilakukan secara sistematis. Pendekatan ini sejalan dengan praktik engineering modern yang menempatkan testability sebagai bagian integral dari desain sistem, bukan lapisan tambahan di akhir siklus pengembangan.

Setelah backend mendukung pengguna multi-akun dan kode React frontend berada dalam konteks Workspace, agen berpindah ke repositori otomasi. Di sana, agen menulis sebuah spesifikasi Playwright yang mengikuti konvensi dalam AGENTS.md. Spesifikasi ini menyiapkan data melalui API atau factory, melakukan login sebagai pengguna multi-akun, lalu memverifikasi perilaku account switching di UI, termasuk perubahan elemen yang bergantung pada konteks akun aktif.

Seperti lazimnya rekayasa di dunia nyata, iterasi pertama jarang mulus. Eksekusi pengujian awal gagal, dan server lokal saya sempat crash dengan error “socket hang up” yang mengindikasikan masalah koneksi atau konfigurasi lingkungan. Pada titik ini, loop umpan balik antara manusia dan agen menjadi krusial. Alih-alih membiarkan agen menebak perbaikan berdasarkan log terbatas, saya menginstruksikannya menggunakan tool browser untuk observasi langsung.

Observasi Langsung dan Penguatan Assertion

Dengan kemampuan observasi langsung melalui browser, agen dapat membuka aplikasi di lingkungan lokal dan menavigasi alur account switching seperti tester manusia. Agen membandingkan UI aktual dengan ekspektasi yang tertulis dalam spesifikasi pengujian dan dokumentasi produk. Berdasarkan pengamatan tersebut, agen menyesuaikan selector, mengatur ulang timing, dan memperbaiki logika pengujian agar selaras dengan DOM aktual. Pendekatan ini menghasilkan pengujian yang lebih kokoh, realistis, dan tahan terhadap perubahan minor pada UI.

Setelah pengujian lulus, saya meminta agen memperkuatnya dengan menambahkan assertion yang lebih kaya. Saya menyuntikkan insight manusia yang tidak tertulis di kode, misalnya bahwa ketika beralih ke “Account B”, elemen yang unik untuk “Account A” harus menghilang sepenuhnya dari tampilan, dan sebaliknya. Agen memasukkan assertion negatif ini ke dalam spesifikasi Playwright, sehingga pengujian tidak hanya memvalidasi apa yang muncul, tetapi juga memastikan elemen yang seharusnya hilang benar-benar tidak terlihat.

Terakhir, saya mengingatkan agen untuk mengikuti pedoman cleanup dalam AGENTS.md secara ketat. Data dan state pengujian harus dibersihkan dengan benar setelah setiap skenario, untuk mencegah kebocoran state yang dapat merusak pengujian lain atau menyebabkan flakiness. Di sini, workflow QA berbasis agen membantu menjaga disiplin teknis tanpa menambah beban manual pada insinyur QA.

Mengotomasi Pekerjaan Administratif QA

Bagian QA yang paling sering memicu burnout bukanlah pekerjaan teknis, melainkan tugas administratif yang berulang: mendokumentasikan pengujian di TestRail, memperbarui tugas di Asana, dan merespons komentar code review secara manual. Aktivitas ini menghabiskan waktu dan energi kognitif yang seharusnya dapat dialokasikan untuk analisis risiko dan perbaikan strategi pengujian. Di area ini, saya sangat mengandalkan workflow QA berbasis agen untuk menangani pekerjaan administratif secara otonom.

Saya memberi agen instruksi yang jelas dan terstruktur. Pertama, agen diminta mencari sprint saat ini di Asana berdasarkan konfigurasi proyek dan tanggal, lalu membuat dua tiket terpisah: satu untuk perubahan backend dan satu lagi untuk suite pengujian baru. Kedua, agen menghasilkan sebuah file JSON yang merepresentasikan test case manual, dengan langkah-langkah yang diturunkan langsung dari logika pengujian otomatis yang baru saja ditulis. Pendekatan ini memastikan konsistensi antara otomasi dan dokumentasi manual.

Ketiga, agen menyajikan test case tersebut kepada saya dalam format tabel yang mudah ditinjau. Setelah saya melakukan koreksi dan menyetujuinya, agen menggunakan skrip Python kustom di repositori kami. Skrip tersebut dipanggil dengan perintah make upload-test-case file=…, yang kemudian memanggil API TestRail dan mengunggah test case secara otomatis. Pelajaran kunci: dengan akses ke tool yang tepat, workflow QA berbasis agen dapat memangkas beban administratif secara signifikan.

Pull Request, Review Kode, dan Integrasi CI

Setelah kode dan pengujian siap, agen membuka pull request dengan deskripsi yang jelas dan terstruktur. PR tersebut merangkum perubahan backend, perubahan frontend, dan penambahan pengujian, serta menautkan tiket Asana dan ID case TestRail yang relevan. Setelah PR dibuat, saya meminta agen melakukan beberapa langkah tambahan untuk mendukung proses review: agen mengambil komentar code review dari GitHub, mengelompokkan masukan berdasarkan file dan topik, lalu menerapkan perubahan yang diminta secara sistematis.

Agen menjalankan ulang pengujian setelah setiap perubahan signifikan untuk memastikan tidak ada regresi yang diperkenalkan selama proses review. Agen kemudian mendorong pembaruan ke branch yang sama dan membalas reviewer dengan ringkasan hal-hal yang telah ditangani, termasuk referensi ke commit tertentu. Beberapa iterasi diperlukan ketika masalah baru muncul atau ketika reviewer meminta klarifikasi tambahan, tetapi pola kerjanya konsisten: setiap kali sesuatu rusak atau muncul kebutuhan baru, saya cukup mengarahkan agen ke tool atau konteks yang tepat, dan agen menyelesaikan sisanya.

Intent Manusia, Eksekusi Agen

Di fase backend, saya menyatakan intent secara eksplisit, misalnya: “Saya butuh pengguna multi-akun untuk skenario pengujian ini.” Agen menganalisis serializer dan model yang relevan, menambahkan field API baru bila diperlukan, mengimplementasikan logika validasi, dan memperbarui kode factory untuk generasi data uji. Di fase otomasi, ketika pengujian gagal, saya mengarahkan agen ke tool browser dan memintanya mengikuti loop umpan balik berbasis observasi: menulis spesifikasi Playwright, membuka aplikasi di Chrome, menavigasi alur account switching, menyesuaikan selector, dan menambahkan assertion negatif untuk memastikan elemen dari akun sebelumnya menghilang.

Dalam pekerjaan administratif, saya menyatakan intent seperti: “Buat tiket Asana dan sebuah TestRail test case untuk perubahan ini.” Agen menemukan proyek dan sprint Asana yang benar, membuat dua tiket dengan deskripsi terperinci, menghasilkan test case manual dari langkah-langkah otomasi, dan mengunggah case ke TestRail melalui skrip kami. Pada fase PR dan review, saya menyatakan intent seperti: “Periksa komentar review dan tangani secara menyeluruh.” Agen mengambil komentar dari GitHub, menerapkan perubahan yang diminta, menjalankan ulang test suite, mendorong pembaruan, dan merespons reviewer dengan ringkasan modifikasi.

Setiap kali muncul isu baru, saya memberikan intent yang jelas dan mengarahkan agen ke tool yang tepat, sementara agen menangani sisanya secara otonom. Workflow QA berbasis agen ini tidak hanya mengurangi waktu yang dihabiskan untuk tugas berulang, tetapi juga mengubah cara saya menggunakan perhatian dan energi kognitif. Alih-alih menulis kode boilerplate dan terus-menerus berpindah konteks, saya dapat fokus pada klarifikasi intent, analisis risiko, dan identifikasi edge case. Saya memikirkan mode kegagalan, meninjau diff, dan memvalidasi perilaku akhir dengan perspektif sistemik.

Peran Baru QA di Era Agen AI

Pada akhirnya, saya berhasil menghadirkan cakupan otomatis untuk fitur yang kritis di produksi, meningkatkan testability backend, dan memindahkan sebagian besar beban administratif ke agen. Semua itu dilakukan tanpa menulis setiap baris kode secara manual, namun tetap dengan review manusia yang ketat terhadap perubahan yang diusulkan. Pendekatan ini bukan kecurangan, melainkan pendelegasian yang efektif dan terukur dalam konteks workflow QA berbasis agen.

Sebagai QA Automation Engineer, kita sering terjebak dalam pemeliharaan selector, pembaruan tiket, dan tugas-tugas berulang yang menguras waktu. Rutinitas tersebut dapat menutupi gambaran besar, sehingga kita jarang memikirkan strategi pengujian yang tangguh dan berkelanjutan. Kita kekurangan waktu untuk membentuk arsitektur pengujian yang modular dan mudah diperluas, serta kehilangan ruang untuk menguji sistem secara kreatif demi menemukan kelemahan yang tidak tertangkap oleh skrip standar.

Workflow QA berbasis agen menunjukkan bahwa sebagian besar pekerjaan repetitif dapat diotomasi tanpa mengorbankan kualitas. Dengan demikian, kita merebut kembali waktu untuk berpikir di level yang lebih tinggi, merancang strategi, dan berkolaborasi dengan tim produk. Agen menangani aspek mekanis dan administratif, sementara kita fokus pada arah, risiko, dan kualitas keseluruhan. Bagi praktisi QA, ini adalah kesempatan untuk keluar dari “pekerjaan kertas” dan berperan lebih strategis dalam organisasi.

Mengorkestrasi Agen: Dari Tooling hingga Strategi

Jangan batasi AI hanya untuk menghasilkan potongan kode kecil atau loop sederhana yang terisolasi. Berikan agen Anda akses ke tool seperti manajemen tugas, kontrol versi, manajemen pengujian, dan browser, serta pastikan integrasi tersebut terdokumentasi dengan baik. Sediakan konteks lintas full stack yang mencakup backend, frontend, dan otomasi, sehingga agen dapat memahami hubungan antar komponen. Lalu berikan tujuan yang jelas dan tingkat tinggi, dan bertindaklah sebagai orkestra yang mengarahkan alur kerja.

Teknologinya sudah siap, pendekatannya lurus ke depan, dan manfaatnya dapat diukur. Bangun jaring pengaman Anda dengan workflow QA berbasis agen, lalu amati apa yang rusak, apa yang membaik, dan bagaimana peran Anda berevolusi dalam ekosistem rekayasa perangkat lunak modern.