Puanı düşürmek hedefe dönüşünce metin bozulur
AI olasılık puanını düşürmek için cümleleri bozarsanız asıl önemli değerlendirmede kaybedersiniz. Puanla metin kalitesinin ayrıştığı noktayı ve puana bakarken kullanılacak makul ölçüyü derledik.
Kontrol sonucunu aldıktan sonra sık yaşanan bir şey var: puanı düşürmek için cümleleri değiştirmeye başlamak. Cümle sonlarını bilerek karıştırmak, yazım hatası bırakmak, cümleyi tuhaf biçimde dolandırmak.
Puan gerçekten düşer. Ve metin kötüleşir. Sorun ikisinin aynı anda olması.
Puanla metin kalitesinin ayrıştığı bölge
Dedektörün baktığı şey üslubun istatistiksel özellikleridir. Tahmin edilebilirlik düştükçe ve değişkenlik arttıkça metin insan yazısı tarafına kayar.
Ama "tahmin edilebilirliği düşük metin" ile "iyi metin" aynı şey değildir. Sadece geniş bir kesişim alanları vardır.
| Müdahale | Puan | Metin kalitesi |
|---|---|---|
| Kendi deneyimimi ve somut olguları eklemek | Düşer | Yükselir |
| Cümle uzunluklarını çeşitlendirmek | Düşer | Yükselir |
| Bilindik dolgu açıklamaları silmek | Düşer | Yükselir |
| Bilerek yazım hatası bırakmak | Düşer | Düşer |
| Cümle sonlarını rastgele değiştirmek | Düşer | Düşer |
| Cümleyi zorlama biçimde dolandırmak | Düşer | Çok düşer |
| Alakasız kelimeler sıkıştırmak | Düşer | Çok düşer |
Üstteki üç satırla alttaki dört satır ayrışıyor. Aynı hedefe gidiliyor ama sonuç tam tersi.
Zararın gerçekten çıktığı yerler
Puanı düşürmeye yönelik müdahalelerin tehlikeli olmasının nedeni şu: puana bakan insandan çok, metni okuyan insan var.
- Niyet mektubu ve ön yazı: tuhaf cümle doğrudan puan kaybıdır. Dedektör puanına bakan değerlendiriciden çok, metni okuyan değerlendirici vardır
- Tez: akademik üslubu bozarsanız jüri bunu not eder
- Rapor: okunması zor rapor, basitçe kötü rapordur
- Staj defteri ve dönem ödevi: cümleler tuhafsa düzeltme istenir
Birkaç puanlık kazanç için asıl değerlendirmeyi kaybetmek gibi bir takas.
Puana nasıl bakmalı
AI olasılığı bir hüküm değil, bir sinyaldir. Sinyal de yalnızca yönü gösterir; büyüklüğü o kadar anlamlı değildir.
Pratik bir ölçü önerecek olursak:
Genel puana bir kez bakın ve geçin. %80 de olsa %40 da olsa tek başına ne yapacağınızı belirlemez.
Yalnızca işaretlenmiş bölümleri açın. Gerçekten işe yarayan bilgi, cümle bazlı işaretlemedir.
İşaretlenen cümleye tek bir soru sorun. Burada benim yorumum ya da somut bir olgu var mı?
- Yoksa → doldurun. Hem puan düşer hem metin iyileşir
- Varken de işaretlenmişse → öylece bırakın. Ya biçimi belirlenmiş bir metindir ya da üslubunuz zaten derli topludur
Bu ölçüyü kullanınca puanı hedef almadığınız hâlde puan sonuç olarak düşer. Sıra önemli.
"Yine de takılırsam ne olacak"
Gerçekçi bir endişe. İki şey söyleyeyim.
Birincisi, hiçbir puan tek başına delil olamaz. Kontrol sonucu referans amaçlı bir olasılık göstergesidir ve yazarı tespit edemez. Bu gerçek, kontrol eden taraf nezdinde de giderek daha iyi anlaşılıyor.
İkincisi, gerçek doğrulama çoğunlukla içerik sorularıyla yapılır. "Bu bölümü neden böyle yazdınız?" sorusuna cevap verebiliyorsanız mesele genelde kapanır. Ve bu soruya cevap verme becerisi, puan düşürme uğraşıyla hiç gelişmez.
Bu yüzden hazırlığın yönü farklı olmalı. Puanı yönetmek değil, süreci saklamak ve içeriği açıklayabilir hâle gelmek. Ayrıntılı yöntemi Yapay zeka kullanmakla suçlandığınızda nasıl savunma yapılır yazısında derledik.
Aracın doğru yeri
Yapay zeka dedektörü teslim öncesi bir gözden geçirme aracıdır. Herhangi bir denetimden geçip geçmeyeceğinizi öngören bir araç değildir; öyle kullanılırsa yanlış yere oturur.
Cümle değiştirici için de aynısı geçerli. Puan indiren bir makine gibi kullanılırsa tuhaf cümleler çıkar; cümle ritmini düzeltmeye yardımcı olarak kullanılırsa işe yarar. Çıkan sonucu olduğu gibi teslim etmeyin, mutlaka bir kez okuyun.
Kendi yazdığınız metnin neden yüksek çıktığını Kendi yazdığım metin neden AI çıkıyor yazısında ele aldık. Çoğu durumda yüksek puan, müdahale edilecek değil anlaşılacak bir meseledir.