peretas Saya menguji lima bot AI pada masalah pengkodean dari Leetcode.com – GPT-4, Co-Pilot GitHub, Bard, Bing, dan Claude+.

Ada beberapa komentar menarik tentang kekuatan dan kelemahan masing-masing – dan tentu saja kode yang akhirnya mereka hasilkan. Hasil akhirnya?

[GPT-4’s submission] Lulus semua tes. Ini mengungguli 47% transmisi dalam waktu proses dan 8% dalam memori. GPT-4 sangat serbaguna dalam menghasilkan kode untuk berbagai bahasa pemrograman dan aplikasi. Beberapa peringatan adalah perlu waktu lebih lama untuk mendapatkan tanggapan. Menggunakan API juga lebih mahal dan biaya dapat bertambah dengan cepat. Secara umum, Anda mendapatkan jawaban yang benar dan lulus ujian.

[Bing’s submission] Lulus semua tes. Ini mengungguli 47% transmisi dalam waktu proses dan 37% dalam memori. Kode ini terlihat jauh lebih sederhana daripada yang dihasilkan GPT-4. Ini mengungguli GPT-4 dalam memori dan menggunakan lebih sedikit kode! Bing tampaknya memiliki kode yang paling efisien sejauh ini, namun mereka memberikan penjelasan yang sangat singkat tentang cara mengatasinya. Tetap saja, yang terbaik.
Tapi Bard dan Claude+ sama-sama gagal dalam tes komit (dengan buruk), sementara GitHub Copilot “lulus semua tes. Skornya lebih baik dari 30% komit saat runtime dan 37% dalam memori”.