Bir Konuşmadan Sonra Sistemde Bir Şey Değişmeli

Son zamanlarda kendimi aynı işi ikinci kez yaparken fazla sık yakalıyorum. Yeni bir konuşma açılıyor; daha önce neden bir yolu elediğimizi, hangi versiyonun güncel olduğunu, hangi kurala karar verdiğimizi ya da bir problemi nasıl çözdüğümüzü sistem bilmiyor. Ben de yeniden anlatıyorum. Bazen bir dakika sürüyor, bazen fark etmeden projenin yarısını baştan kuruyorum. Buradaki asıl problem yapay zekanın önceki konuşmayı unutması değil. Asıl can sıkıcı olan, o işi zaten yapmış olmamız.

Yapay zekayla konuşmak da işin kendisi. Araştırmak, seçenekleri karşılaştırmak, fikir değiştirmek, bir problemi debug etmek, ne yapılacağına karar vermek, çıkan işi gözden geçirmek ya da kafamdaki belirsiz bir şeyi uygulanabilir hale getirmek zaman ve dikkat istiyor. Bunları bir chat penceresinde yapıyor olmamız o emeği ortadan kaldırmıyor. Ben artık biraz daha konuşmanın sonrasına bakıyorum: Bu kadar çalıştıktan sonra sistemde gerçekten ne değişti?

Daha önce bir noktada middleware'e dönüştüğümü ve niyetin arayüzün yerini almaya başlamasının bende ne değiştirdiğini yazmıştım. Bu da o hattın devamı gibi geliyor. Niyet artık açık, düşünme işi yapılmış, karar verilmiş olabilir. Peki sonuç nereye gidiyor?

Transcript çoğu zaman çıktı değil

Benim yaptığım hatalardan biri, konuşmanın kendisini korunması gereken şey gibi görmekti. Bazen gerçekten öyle. Ama çoğu zaman değil. Bir karar verdiysek asıl çıktı kararın kendisi. Bir şeyi düzelttiysek çıktı o düzeltme. Bir yazı, configuration, plan ya da kural oluşturduysak işin sonucu bunlar. Konuşma işin yapıldığı yer olabilir; işin bitmesi ise çıkan sonucun bundan sonra onu taşıyacak yere ulaşmasıyla oluyor.

Mesela belirli bir işlemin her zaman benim onayımı gerektirdiğine karar verdiğimizi düşünelim. İstisnaları konuşabilir, sınırı birkaç kez değiştirebilir ve sonunda içime sinen bir kurala varabiliriz. Ama bu kural yalnızca konuşmada kalıyorsa ertesi gün başka bir worker gelip aynı sınırı aşabilir. O zaman iyi bir konuşma yapmış oluruz ama işi bitirmiş olmayız. İş, o sınır gerçekten uygulanabilir hale geldiğinde bitiyor.

Daha sıradan örneklerde de aynı şey var. Bir ürünle ilgili doğru bilgi product record'a gitmeli. Yazdığımız makale publication sistemine girmeli. Hangi kaynağın doğru kaynak olduğuna karar verdiysek proje bunu bilmeye başlamalı. Yarın devam edecek bir iş varsa, sohbetin ortasında kalmış bir niyet olarak değil, devam edilebilir bir iş olarak var olmalı.

Bu yüzden memory meselesine de biraz farklı bakıyorum. Önceki konuşmaların hatırlanmasını elbette istiyorum; devamlılık sağlıyor. Ama yeni gelen her worker'ın eski konuşmaları okuyup güncel durumu yeniden çıkarmasını istemiyorum. Çünkü bu da aynı işin başka bir biçimde tekrar yapılması demek.

Çözdüğümüz problem geride bir şey bırakmalı

Benim için işin en önemli taraflarından biri, bir şey bozulduktan sonra ne olduğumuz. Aynı tür problemi birkaç kez çözüyoruz ama sistem hiçbir şey öğrenmemiş gibi bir sonraki sefer yine en baştan başlıyorsak orada bir eksik var. Anladığımız bir hata bir sonraki sefer daha kolay fark edilmeli. Koyduğumuz bir sınır yanlışlıkla aşılması daha zor bir hale gelmeli. Tekrar eden bir workflow her seferinde aynı açıklamayı istememeli.

Bunun için modelin her konuşmadan sonra kendi kendini eğitmesinden bahsetmiyorum. Çok daha basit bir şey söylüyorum. Configuration'ı düzelttiysek gerçekten düzelmiş olmalı. Hangi kaynağın authoritative olduğunu öğrendiysek bu bilgi gerektiği yerde bulunmalı. Bir hata bize yeni bir kural öğrettiyse sonraki run o kuraldan faydalanmalı. Yarın devam edecek bir iş varsa yarınki worker benim o işi hatırlamama ihtiyaç duymamalı.

Bence birçok “memory” yaklaşımı burada erken duruyor. Transcript'i saklamak faydalı; geçmişi koruyor. Ama geçmişle mevcut durum aynı şey değil. Hangi versiyonun güncel olduğuna zaten karar verdiysek başka bir modelin üç eski konuşmayı okuyup aynı cevabı yeniden çıkarması bana pek akıllıca gelmiyor. Güncel versiyon doğrudan belli olmalı. Bir şeyin neden bozulduğunu biliyorsak, durum gerçekten değişmedikçe sonraki worker'ın aynı sebebi tekrar keşfetmesine gerek yok.

Sistemin söylediğimiz her şeyi hatırlamasına ihtiyacım yok. Yaptığımız işten bugün hâlâ önemli olan kısmı taşımasına ihtiyacım var.

Konuşmadan sonra sistem aynı kalmamalı

Konuşma kısmını ortadan kaldırmak istemiyorum. Benim için değerli düşünmenin büyük bölümü orada oluyor. Varsayımları test ediyorum, alternatiflere bakıyorum, bir şeyin aslında yanlış tarafından tuttuğumu fark ediyorum, bazen fikrimi tamamen değiştiriyorum. Bunu bir form doldurmaya ya da katı bir workflow'a çevirmek istemem. Aynı şekilde ağzımdan çıkan her yarım düşüncenin otomatik olarak kalıcı state'e dönüşmesi de korkunç olurdu.

Ama exploration ile karar arasında bir eşik var. O eşiği geçtiğimizde sistemin de bunu bilmesini istiyorum. Bir karar artık güncel karar olmalı. Bir kural gerçekten uygulanabilir hale gelmeli. Bir artifact oluştuysa var olduğu yer belli olmalı. Devam eden bir iş varsa bir sonraki kişi ya da worker onu devralabilmeli. Çözdüğümüz bir problem, bir sonraki run'ın davranışını az da olsa değiştirmeli.

Benim geliştirmeye çalıştığım taraf burası. Execution'ın büyük bölümünü otomatikleştirip yine de bütün anlamı kafasında tutmak zorunda kalan kişi olabilirim. Çok yetenekli agent'lar kurup dün verdiğim kararları her seferinde yeniden anlatmaya devam edebilirim. Çok iyi konuşmalar yapıp onların dışındaki sistemde neredeyse hiç birikimli ilerleme yaratmayabilirim.

O yüzden artık basit bir test kullanmaya çalışıyorum: önemli bir konuşma bittikten sonra, sistemde neyin değiştiğini gösterebiliyor muyum?

Bir problemi bir kez çözdüysek, o çözüm geride bir şey bırakmalı.