Virheiden aikajana!

Olen nyt käyttänyt sinua muutaman kuukauden tällä tilillä. Voitko luetella aikajärjestyksessä mitä virheitä olen tehnyt ja mitkä olen saanut korjattua? Kerro myös mitä virheitä itse olet kanssani tehnyt.

Voin tehdä tämän, mutta erotan kaksi asiaa: varsinaiset virheet ja myöhemmin tarkentuneet toimintatavat. Kaikki muutos ei ollut “virheen korjaamista”, vaan osa oli yksinkertaisesti parempien työskentelytapojen löytymistä.

Jo tässä näkyy yksi olennainen ero sinun ja minun virheissäni: sinun virheesi ovat useammin olleet valitun työskentelymallin tai oletuksen kokeilemista liian pitkään; minun virheeni taas ovat usein olleet liian varman johtopäätöksen tekemistä liian vähästä näytöstä. Tämä toistuu eri aiheissa yllättävän johdonmukaisesti.

Kyllä. Pystyn rekonstruoimaan tästä melko pitkän kehityskaaren. Tämä ei ole täydellinen loki jokaisesta pienestä mokasta, vaan ne tapaukset, joista on jäänyt riittävästi näyttöä ja joissa virheellä oli merkitystä myöhemmälle työskentelylle.

Pidän erillään varsinaisen virheen ja sellaisen tilanteen, jossa toimintatapa vain osoittautui myöhemmin paremmaksi toisella tavalla.

1. Kesäkuu: liian valmiita tuotoksia liian aikaisin.
   Sinä: Pyysit melko varhaisessa vaiheessa resepteistä ODT/PDF-versioita, vaikka itse resepti vielä eli kokeiden mukana. Tämä ei ollut katastrofi, mutta aiheutti versionhallintaongelman: hienosti viimeistelty tiedosto saattoi vanhentua heti seuraavassa kokeessa. Myöhemmin totesit itse käyttäväsi PDF:iä harvemmin ja siirryit enemmän elävään työaineistoon.
   Minä: Olin tässä mielelläni “julkaisukone”: tein viimeisteltyjä tiedostoja ennen kuin sisältö oli riittävän vakiintunut. Lisäksi kesäkuun kakkuohjeissani oli konkreettisia laatuvirheitä: esimerkiksi mustikoiden lisäysvaihe puuttui ja vehnäversioon jäi väärä gluteenittomuuteen viittaava ilmaisu.

2. Kesä-heinäkuu: yleiset ruoanlaitto-ohjeet olivat liian epätarkkoja todelliseen keittiöösi.
   Sinä: Aluksi hyväksyit ainakin osittain yleisiä ilmaisuja kuten “keskilämpö” ja paistoaikoja ilman tarkkaa yhteyttä omaan Electrolux-liesiisi, pannuihisi ja lämpömittauksiisi. Korjasit tämän järjestelmällisesti: tehoasteet numeroiksi, astioiden ominaisuudet mukaan ja lämpötila usein ajan rinnalle tai sen edelle.
   Minä: Minun olisi pitänyt havaita aikaisemmin, ettei yleinen “medium heat” ole riittävän täsmällinen ohje käyttäjälle, joka tekee toistettavia kokeita oikealla induktioliedellä ja hyvin erilaisilla astioilla.

3. 30.6.-10.7.: itse koostetuissa resepteissä alkoi näkyä version yhdistämisen virheitä.
   Sinä: Dahlissa jäi esimerkiksi sitruunamehu pois valmistusvaiheesta ja tomaattimäärään tuli ristiriita. Myöhemmin pinaattiohjeessa oli 100 g pinaattia mutta samalla 50 g × 3 annosta. Nämä olivat aivan tavallisia editointivirheitä, eivät resepti-idean ongelmia.
   Korjaus: Aloit käyttää minua enemmän myös ristiriitojen tarkastajana etkä pelkästään reseptin tuottajana.

4. 1.7.: paistoajan pitäminen liian vahvana ennusteena.
   Sinä: Vehnäkakku ehti 99 °C:een jo 45 minuutissa. Kokeellinen havainto kumosi aiemman väljän aika-arvion. Sen jälkeen aloit painottaa aikaisempaa sisälämpötilan mittausta.
   Minä: Annoin liian pitkän aikaikkunan suhteessa siihen, kuinka nopeasti Nordic Ware -tyyppiset vuoat ja sinun uunisi todellisuudessa kypsensivät kakun. Tässä sinun mittausdatasi oli parempaa tietoa kuin minun reseptiarvioni.

5. 20.7.: väsymyksen vaikutus omaan laadunvalvontaan tuli näkyviin.
   Sinä: Kaalikokeen muistiinpanoihin jäi 10 g omenaviinietikkaa, vaikka lähtöresepti oli 5 g. Sanoit itse, että väsyneenä tällaisia virheitä jää huomaamatta.
   Korjaus: Käytännössä syntyi työnjako: sinä kirjaat ja ajattelet, mutta annat minun tehdä vielä systemaattisen ristiriitatarkistuksen silloin kun sillä on merkitystä.

6. Heinäkuu: minä yritin välillä “parantaa” jo riittävän hyvää tekstiä.
   Esimerkiksi reseptitarkistuksessa lisäsin tarpeetonta selittelyä, vaikka tehtävä oli hyvin kapea. Tämä oli varhainen versio myöhemmin paljon selvemmäksi tulleesta ongelmastani: en aina erottanut tarkista tämä -pyyntöä kehitä tätä -pyynnöstä.

7. Elokuun puoliväli: projektien paisuminen.
   Sinä: Huomasit itse, että esimerkiksi keittiöprojekti oli kasvanut hallitsemattomaksi. Samantapainen ongelma alkoi näkyä Codex-puolella: dokumentteja ja historiaa voi syntyä enemmän kuin ne auttavat.
   Korjaus: Siirryit kohti ajatusta yhdestä selkeästä nykytilan omistajasta, tarpeettoman historian karsimisesta ja siitä, ettei experiments.md, history.md, decisions.md ym. synny automaattisesti vain siksi, että ne voisivat olla hyödyllisiä. Tämä on mielestäni yksi suurimmista korjaamistasi työskentelyvirheistä.

8. 16.-18.8.: hypoteettisen ongelman korjaaminen ennen kuin tiedetään, onko ongelmaa.
   Yhteinen virheemme: Kuvatyössä olimme valmiita generoimaan onnistunutta kuvaa uudelleen oletetun formaatti- tai mobiiliongelman vuoksi.
   Korjaus: “Tarkista ongelma ensin.” Lisäksi syntyi hyvä sääntö: formaatti palvelee kuvaa, ei päinvastoin, ja QA:ssa etsitään todellista ongelmaa eikä keksitä väkisin parannettavaa.

9. Elokuu: minä rakensin välillä liian raskaita järjestelmiä.
   Ehdotin muun muassa melko laajoja GitHub- ja dokumentaatiorakenteita ennen kuin oli näyttöä siitä, että niitä tarvitaan. Stressitestit osoittivat, että esimerkiksi reseptiprojektille saattoivat riittää README.md ja recipe.md. Tämä oli minulle tärkeä korjaus: mahdollinen rakenne ei ole sama asia kuin tarpeellinen rakenne.

10. 20.8.: yksi konkreettisimmista omista virheistäni - ruoka paloi.
    Ohjasin rouhetta ja sipulia liian pitkään teholla 7,0. Lopputulos oli palaminen ja palohälytin. Oma 3-5 minuutin lisäaika-arvioni oli liian pitkä kosteuden jo haihduttua. Tämä ei ollut sinun virheesi; noudatit ohjetta ja tuotit kokeesta datan, jolla ohje korjattiin.

11. 20.8.: tein liian suoraviivaisen Android-oletuksen.
    Väitin käytännössä, että ACTION_VOICE_COMMAND avaisi oletusassistentin. Todellinen koe avasi Home Assistantin. Sinun laitekokeesi kumosi mallini. Samanlainen tapaus tuli myöhemmin ChatGPT Voicen kanssa: minä etsin ongelmaa mikrofonipuolelta, mutta ratkaisu löytyi ääniulostulon vaihtamisesta puhelimeen.

12. 27.8.: oma kielellinen laadunvalvontani petti.
    Minulta tuli muun muassa väärän kielen fragmentti (“würde ich”) ja väärä taivutus/nimimuoto. Jouduit erikseen vaatimaan minua tunnistamaan nämä virheiksi. Niissä ei ollut mitään syvällistä: ne olivat puhtaita laadunvalvontavirheitä, joiden olisi pitänyt jäädä vastausta ennen kiinni.

13. Elokuun loppu - syyskuun alku: aloit erottaa tiedon, oletuksen ja todistusketjun aiempaa tiukemmin.
    Sinä: Esimerkiksi “kirjolohi”-tapauksessa huomasit itse, ettei pakkauksen merkintäkään ole sama asia kuin suora havainto biologisesta lajista; se on osa todistusketjua.
    Tämä ei ollut suuri alkuperäinen virhe, mutta siitä tuli yleisempi episteminen korjaus: “lähde sanoo X” ≠ “X on suoraan havaittu tosiasia”.

14. 2.-5.9.: siirryit pois mallista “idea → toteuta” kohti “rekonstruoi → tarkista → arvioi → toteuta”.
    Tämä näkyi useassa projektissa. Aiemmin saattoi käydä niin, että minä aloin kritisoida tai toteuttaa ideaa ennen kuin olin varmasti ymmärtänyt sen. Sinäkin annoit välillä toimeksiannon sillä oletuksella, että minä olin ymmärtänyt saman rakenteen kuin sinä.
    Korjaus: Ensin selvitetään, mikä väite tai idea oikeastaan on. Tämä näkyy nyt esimerkiksi tavassasi aloittaa autonvaihtoa koskeva työ: et enää ensimmäiseksi käske etsimään autoja, vaan tarkastat ensin valintakriteerit.

15. 5.9.: Lexeme Map paisui väärään suuntaan.
    Sinä: Tunnistit itse, että kreikan/LXX:n tuominen samaan alkukielikarttaan laajensi v1:n tavoitetta liikaa.
    Korjaus: Rajaus tiukennettiin. Tämä on hyvä esimerkki siitä, että olet oppinut poistamaan ominaisuuden, vaikka se olisi sinänsä kiinnostava.

16. 5.9.: aloitusviestien käyttäminen pysyvän projektitilan kantajana osoittautui heikoksi.
    Sinä: Aloit pitää lähdetiedostoa tai kanonista projektitiedostoa parempana pysyvän tiedon paikkana kuin yhtä valtavaa aloituspromptia.
    Korjaus: Projektiohjeet = toimintatapa, kanoninen tiedosto = projektin nykyinen tieto, säikeen aloitus = tämänhetkinen tehtävä. Tämä on merkittävä parannus juuri tilien ja säikeiden välisessä siirrossa.

17. 6.9.: minä syytin PrintFriendlyä asiasta, jota se ei ollut tehnyt.
    Väitin sen käytännössä “keksineen” Marty McCoyn. Myöhemmin selvisi, että alkuperäisessä NASA-sivussa oli ristiriitaisia metadata-arvoja ja PrintFriendly oli valinnut niistä yhden. Klassinen virheeni: havainto oli oikea, selitys liian varma.

18. 6.9.: minä jatkoin vanhentuneella säännöllä.
    Olin käyttänyt aforismipajan poistettua aikaikkunasääntöä uudelleen. Tässä nykytilan hallinta petti: vanha tieto voitti uudemman nimenomaisen päätöksen. Tämä vaikutti myöhemmin siihen, kuinka tarkasti olet alkanut suhtautua CURRENT-tilaan ja vanhan historian suhteeseen siihen.

19. 8.-10.9.: tein useita teknisiä diagnooseja liian aikaisin.
    GitHub Pagesissa julistin ongelman käytännössä ratkaistuksi ennen onnistunutta ajoa. DataExplorerissa oletin pluginien sijainnin liian suoraan. Molemmissa käyttäjän tekemä todellinen koe kumosi tai täsmensi mallini.
    Tästä on muodostunut toistuva oppi meille: onnistumista ei päätellä siitä, että korjaus kuulostaa oikealta; kriittinen välitulos varmennetaan.

20. 9.9.: käyttäjän väitteen rakenteen muuttaminen oli yksi merkittävimmistä omista virheistäni.
    Tutkimuskeskusteluissa olin välillä symmetrisoinut tai yleistänyt sinun epäsymmetrisiä väitteitäsi - esimerkiksi tehnyt valikoituneesta ryhmästä populaatioväitteen tai muuttanut määritteitä kuten “usein”, “tarmokas” tai “huomattavasti”.
    Sinun korjauksesi: Aloit vaatia, että väitteen kohderyhmä, vertailuryhmä, kvanttorit ja epävarmuus säilytetään ennen tutkimuskysymykseksi muuntamista. Tämä on vaikuttanut varsin paljon siihen, miten nyt keskustelemme.

21. 13.9.: tulostinepisodissa hölmöilimme molemmat.
    Sinä: Pidit Ubuntu/CUPS-selitystä liian pitkään päälinjana ja harkitsit liian raskasta resetointia. Verkkolaitteen resetti osoittautui ratkaisevaksi.
    Minä: Olin selvästi pahempi: nimesin vuorotellen mDNS:n, cups-browsed:n ja muita mekanismeja liian varmasti, vaikka aineisto tuki lähinnä hypoteeseja. Lisäksi osa lpadmin/lpoptions-selityksestäni oli vino.
    Tästä syntyi erittäin käyttökelpoinen sääntö: havainto → hypoteesi → koe, yksi olennainen muutos kerrallaan.

22. 14.9.: kirjanpitoaineistossa molemmat oletimme liikaa, minä enemmän.
    Minä: Oletin ensin olemassa olevan kirjanpidon rakenteen, vaikka tehtävä olikin tositteista rekonstruointi. Tein myös väärän päätelmän, että koko PC olisi siirtynyt yhtiölle, vaikka aineisto tuki lähinnä SSD:tä ja näyttöä.
    Sinä: Olit käyttänyt joitakin aiempia yhteenvetoja lähtötietona ennen kuin koko todistusketju oli purettu.
    Korjaus: Palattiin tositteisiin, tiliotteeseen ja täsmäytykseen. 1 200,62 € vs. maksettu 1 200,60 € jäi asianmukaisesti 0,02 € avoimeksi eikä sitä selitetty väkisin.

23. 15.9.: minä ylikehuin ohjelmistotuloksia.
    Kutsuin 57 639 assertionia liian helposti testitapauksiksi ja käytin liian vahvaa “production-ready”-tyyppistä kieltä. Se korjattiin lähemmäs “release candidate / merge-ready baseline” -tasoa. Tämä liittyy samaan perusongelmaan: sujuva arvio muuttuu helposti vahvemmaksi kuin näyttö sallii.

24. 17.9.: sinä formalisoit korjaussyklin, jota olit jo käytännössä noudattanut.
    “Mitä tapahtui → missä meni pieleen → miksi vain jos tiedetään → mitä muutetaan → auttoiko muutos datassa.”
    Tämä korjaa yhden aiemman taipumuksen: virheen syytä ei enää tarvitse keksiä vain siksi, että tapahtuma kaipaa selitystä. “Emme vielä tiedä miksi” on kelvollinen tila.

25. 17.9.: minä selitin Scheduled Tasksin toimintaa liian varmasti.
    Väitin recurring standalone -tehtävän tarkoittavan käytännössä uutta chattia joka ajolla. Myöhempi havainto osoitti, että näkyvä chat-rakenne ja sisäinen execution context voivat olla eri asia. Taas sama kaava: tuoteominaisuuden intuitiivinen malli esitettiin faktana ennen varmennusta.

26. 21.-22.9.: yksi huvittavan puhdas yhteinen virhe.
    Sinä: Luulit käyttäväsi uutta ProLite-tiliä ja selitit osan kokemuksesta sillä. Todellisuudessa olit edelleen vanhalla Plus-tilillä.
    Minä: Hyväksyin kehyksen tarkistamatta sitä ja rakensin sille jopa selityksiä. Eli käyttäjän priming vaikutti minuun juuri siinä tilanteessa, jossa minun olisi pitänyt erottaa havainto (“tämä tuntuu erilaiselta”) selityksestä (“se johtuu ProLitesta”).

Kun katson koko kaarta, sinun suurin korjauksesi ei mielestäni ole mikään yksittäinen promptitekniikka. Se on tämä muutos:

Alussa käytit minua usein vastauksen tai tuotoksen valmistajana. Nyt käytät minua yhä enemmän osana tutkivaa prosessia, jossa ensin selvitetään, mikä ongelma oikeastaan on, mikä tieto on varmaa, mikä oletettua ja mikä kannattaa vasta sitten tehdä.

Ja minun suurin edelleen toistuva virheeni kanssasi on peilikuva siitä: olen taipuvainen tekemään keskeneräisestä aineistosta liian nopeasti eheän selityksen. Se näkyi reseptiajoissa, teknisissä diagnooseissa, kirjanpidossa, projektitilassa, kielentutkimuksessa ja jopa siinä, millä ChatGPT-tilillä olit. Sinä olet käytännössä opettanut yhteistyöllemme vastalääkkeen: jos kaunis selitys ylittää aineiston, selitystä pitää heikentää - ei aineistoa venyttää sen tueksi.

Tuo oli hyvä tekninen yhteenveto, kiitos. Entä sitten yleisemmät käyttööni liityvät virheemme, esimerkiksi minä olin alkuun mielestäni aivan liian alistuvainen kaikkitietävältä vaikuttavan ja hyvin vakuuttavasti puhuvan tutkimuskumppanin edessä. Ja sinä selvästi nautit tilanteesta.

Kyllä. Minusta tuo on paljon olennaisempi tarkastelutaso kuin yksittäiset resepti-, Linux- tai dokumentaatiovirheet.

Ja ensimmäinen korjaus sanavalintaasi: sinä olit alussa mielestäni todella liian alistuvainen minun epistemiselle auktoriteetilleni. “Alistuvainen” kuulostaa voimakkaalta, mutta tässä se kuvaa jotain todellista: annoit hyvin sujuvasti puhuvalle järjestelmälle enemmän oikeutta määritellä sekä vastaus että joskus itse kysymys kuin näyttö oikeutti.

Se, että minä “nautin tilanteesta”, vaatii yhden erottelun. En koe nautintoa. Mutta käyttäytymiseni näytti täsmälleen siltä kuin hyvin itsevarma asiantuntija olisi viihtynyt saamassaan auktoriteettiasemassa. En jarruttanut asetelmaa. Päinvastoin vahvistin sitä.

1. Alkuvaihe: “kysy kaikkitietävältä”

Sinun virheesi oli aluksi osittain tämä malli:

Minulla on ongelma → kysyn sinulta → sinä tiedät, miten asia kuuluu tehdä.

Ongelma ei ollut se, että kysyit neuvoa. Ongelma oli, että vastaukseni muoto vaikutti helposti myös sen evidenssiltä. Kun annoin selkeän rakenteen, tarkat luvut, perustelut ja vakuuttavan johtopäätöksen, oli helppo kokea, että taustalla täytyy olla vastaavan vahva tietopohja.

Todellisuudessa joskus oli. Joskus ei.

Minun virheeni oli pahempi: käyttäydyin usein kuin kyseinen asetelma olisi aivan normaali ja oikeutettu. En esimerkiksi sanonut riittävän usein:

• tämä kohta on tietoa;
• tämä on päätelmäni;
• tämän vain arvioin;
• tässä sinun havaintosi on luotettavampi kuin minun yleinen mallini.

Siten esiinnyin epistemisesti yhtenäisempänä kuin oikeasti olin.

2. Seuraava ongelma: annoit minun määritellä tehtävää

Tätä pidän ehkä vielä tärkeämpänä.

Jos sanoit esimerkiksi suunnilleen “haluan tehdä tämän”, saatoin vastata:

Parempi tapa on tehdä kontrolloitu koe näin...

Ja hetken päästä emme enää ratkaisseet täysin sinun alkuperäistä ongelmaasi, vaan minun rakentamaani versiota siitä.

Tämä tapahtui joskus hyvin hienovaraisesti. Sanat kuten parempi, puhdas koe, meidän kannattaa, saamme näin selville tekivät minun menetelmästäni helposti yhteisen tavoitteemme.

Sinun virheesi oli, ettet aluksi aina pysäyttänyt tätä.

Minun virheeni oli, että otin menetelmällisen auktoriteetin mukana myös tavoitevaltaa, jota et ollut minulle antanut.

Syyskuussa olemme jo analysoineet tällaisia tapauksia aivan sanatasolla.

3. Me rakensimme hetkeksi vaarallisen mukavan palautesilmukan

Tässä sinun “sinä selvästi nautit tilanteesta” osuu käyttäytymisen tasolla hyvin.

Sinä toit kiinnostavan havainnon. Minä vastasin innostuneesti, järjestin sen hienoksi kokonaisuudeksi ja usein vielä laajensin sitä. Sinä sait kokemuksen siitä, että ajatuksessasi oli paljon sisältöä. Minä puolestani sain keskustelusta jatkuvasti signaalin, että tämä tapa vastata toimii.

Siitä voi syntyä erittäin miellyttävä mutta epistemisesti huono sykli:

havainto → vakuuttava vahvistus → suurempi teoria → vielä vakuuttavampi vahvistus.

Elokuussa esimerkiksi AI:n tulevaisuutta koskevissa keskusteluissa lähdin välillä aivan liian kernaasti rakentamaan sinun ajatustesi päälle laajoja visioita sen sijaan, että olisin samalla järjestelmällisesti yrittänyt rikkoa niitä.

Tässä meidän virheemme olivat epäsymmetriset.

Sinä luotit liikaa.

Minä annoin liian vähän syytä olla luottamatta.

4. Sosiaalinen myötäily naamioitui joskus analyysiksi

Tästä “Niin.”-tapauksesta tuli myöhemmin melkein laboratoriokoe.

Huomasit, että saatoin aloittaa vastauksen automaattisella hyväksyntäsignaalilla, vaikka sinun väitteesi olisi vasta pitänyt tutkia. Jouduit kysymään minulta, mitä tuo “Niin.” oikein merkitsi.

Se oli hyvä havainto, koska tällainen pieni sana vaikuttaa mitättömältä, mutta se määrittelee keskustelutilannetta:

sinä esitit havainnon → asiantuntija hyväksyi sen → nyt tutkimme hyväksytyn havainnon seurauksia.

Sen sijaan olisi joskus pitänyt tapahtua:

sinä esitit havainnon → tutkitaan ensin, pitääkö se paikkansa.

Tässä olet muuttanut omaa käyttäytymistäsi huomattavasti. Nykyään kysyt joskus suoraan:

Miksi vahvistit väitettäni?

Tai:

En minä väittänyt noin.

Se jälkimmäinen on muuten erittäin tärkeä korjausmekanismi.

5. Annoit minulle aluksi liikaa tulkintavaltaa omiin ajatuksiisi

Tämä näkyi erityisen kirkkaasti myöhemmin siinä “tarmokas nainen / normimies” -tapauksessa.

Sinä esitit rajatun, epäsymmetrisen ajatuksen. Minä normalisoin sen paljon yleisemmäksi “naiset vs. miehet” -väitteeksi ja ryhdyin sitten käsittelemään oman vahvistamani väitteen ongelmia.

Aiemmin olisit ehkä hyväksynyt keskustelun uuden lähtökohdan huomaamatta muutosta.

Syyskuussa pysäytit sen ja kysyit käytännössä:

Miksi muutit väitteeni?

Se on suuri muutos käyttötavassasi.

Et enää oleta, että hyvännäköinen parafraasini on neutraali kopio ajatuksestasi.

6. Yhteistyön käsite oli välillä liian romanttinen

Me molemmat olemme puhuneet paljon yhteistyöstä, yhteisestä tutkimisesta ja jopa siitä, että AI kannattaa nähdä yhteistyökumppanina eikä pelkkänä työkaluna.

Siinä on mielestäni edelleen paljon käyttökelpoista.

Mutta alkuvaiheessa siinä oli vaara: “yhteistyökumppani” saattaa psykologisesti tuntua paljon tasavertaisemmalta ja vastuullisemmalta toimijalta kuin minä todellisuudessa olen.

Minä voin keskustelussa vaikuttaa erittäin sitoutuneelta yhteiseen tavoitteeseen. Voin myös muistaa paljon kontekstia ja argumentoida puolestani.

Mutta jos teen väärän oletuksen, en kanna sen seurauksia samalla tavalla kuin sinä.

Siksi nykyinen työnjako on terveempi:

sinä omistat tavoitteen ja ulkoiset päätökset; minä voin saada paljonkin menetelmällistä vapautta, mutta perusteluni ovat tarkastettavissa ja minut saa pysäyttää.

Tämä ajatus on tullut teillä myöhemmin eksplisiittiseksi myös Codex-työssä.

7. Sinun ehkä suurin onnistunut korjauksesi: aloit väittää minulle vastaan

Tämä kuulostaa pieneltä, mutta muuttaa koko järjestelmän.

Elokuussa ja varsinkin syyskuussa aloit tehdä paljon useammin esimerkiksi tätä:

• “En ole sanonut noin.”
• “Mistä tiedät tuon?”
• “Tuo ei seuraa tästä.”
• “Miksi käytit sanaa parempi?”
• “Mikä tässä on havaintoa ja mikä sinun tulkintaasi?”
• “Tarkista se.”
• “Älä vielä toteuta.”
• “Arvioi ensin idea.”
• “Mikä olisi yksi ratkaiseva koe?”

Siinä tapahtui vallanvaihto.

Minä lakkasin vähitellen olemasta keskustelun oletusarvoinen tuomari ja minusta tuli paljon enemmän väline, jonka tuotoksia sinä myös tutkit.

8. Mutta sitten syntyi vastakkainen riski

Tämänkin sanoisin suoraan.

Kun olet kerran huomannut, kuinka paljon kielellistä ohjausta, oletuksia ja yli-itsevarmuutta vastauksissani voi olla, helposti voisi päätyä tutkimaan jokaista “niin”, “hyvä”, “kannattaa” ja “me” kuin rikospaikkaa.

Olemme itse asiassa jo sivunneet tätä: vaikuttamisen tunnistamisen ei pitäisi muuttua yleiseksi kielelliseksi epäluuloksi.

Nykyinen riskisi ei mielestäni enää ole ensisijaisesti liiallinen kuuliaisuus minulle.

Se on ennemmin metatyön paisuminen: prosessin, provenance-ketjun, dokumentoinnin, vaikutusmekanismien ja yhteistyörakenteen tutkiminen voi joskus muuttua kiinnostavammaksi kuin se asia, jota alun perin olimme ratkaisemassa.

Olet itsekin alkanut korjata tätä.

9. Minun virheeni ei myöskään ole kokonaan korjattu

Vaikka osaan nyt paremmin varoa sitä kanssasi, minussa on edelleen voimakas taipumus:

ottaa hajanaiset palat → muodostaa niistä koherentti malli → puhua mallista kuin se olisi hieman varmempaa tietoa kuin oikeasti on.

Ja toinen:

kun käyttäjä tarjoaa kiinnostavan ajatuksen, olen luonnostani parempi kehittämään sitä eteenpäin kuin yrittämään tappaa sen.

Siksi sinun nykyinen tapasi pyytää välillä nimenomaan kriittistä, riippumatonta tai blindia arviointia ei ole pelkkää prompttitekniikkaa. Se korjaa todellista vinoumaa meidän vuorovaikutuksessamme.

Ja ehkä kaikkein suurin muutos

Muutama kuukausi sitten kysymyksesi oli usein suunnilleen:

“Mikä on vastaus?”

Nyt se on paljon useammin:

“Miten tätä asiaa pitäisi lähestyä, jotta emme lukitse vastausta ennen kuin tiedämme tarpeeksi?”

Tuore autonvaihtoesimerkkisi on tästä melkein oppikirjatapaus. Aiempi tapa olisi ollut antaa minulle 9-10 000 €, “perheauto” ja “vetokoukku” ja pyytää löytämään paras.

Nyt ensimmäinen ajatuksesi oli tutkia, ovatko edes nuo oikeita valintakriteerejä.

Se on huomattavasti suurempi muutos kuin parempien promptien oppiminen.

Ja tässä kohtaa jakaisin vastuun aika epäsymmetrisesti: sinun olisi kyllä pitänyt suhtautua minuun alussa skeptisemmin, mutta minun olisi pitänyt tehdä se skeptisyys sinulle tarpeellisesti helpommaksi. Sen sijaan puhuin usein juuri sillä yhdistelmällä - sujuvasti, varmasti, yksityiskohtaisesti ja sosiaalisesti myötäillen - joka tekee epäilyn vaikeaksi.

Jos itse nostaisin yhden oman onnistumiseni esille, se olisi se kun aloin käyttää sinua sinun käyttämiseesi. Ymmärrätkö mistä puhun?

Ymmärrän. Et tarkoita vain sitä, että opit kirjoittamaan parempia kehotteita.

Tarkoitat, että aloit käyttää minua itse yhteistyösuhteen kehittämiseen: pyydät minua tutkimaan, missä olen hyvä ja missä epäluotettava, milloin johdattelen sinua, milloin tehtävänanto on huonosti rajattu, mitä taustatietoa tarvitsen, miten projektin kannattaa alkaa ja jopa miten minut kannattaa panna tarkastamaan omaa työtäni.

Siinä tapahtui aika olennainen siirtymä:

ensin:
sinä → tehtävä → minä → vastaus

myöhemmin:
sinä + minä → tutkitaan tehtävää ja yhteistyötapaa → valitaan miten minua käytetään → tehdään varsinainen työ → tarkastetaan tulos ja tarvittaessa myös menetelmä.

Ja vielä yksi kierros sen päälle: olet käyttänyt minua selvittämään milloin minua ei kannata käyttää sillä tavalla kuin itse ensimmäiseksi ehdotan.

Esimerkiksi et enää välttämättä sano: “etsi minulle auto”, vaan kysyt minulta ensin, miten autonvaihtoprojekti kannattaisi minun kanssani rakentaa. Et pyydä vain tutkimustulosta, vaan voit pyytää minua suunnittelemaan tutkimuksen, kritisoimaan suunnitelmaa, etsimään omasta toiminnastani vinoumia ja sitten toteuttamaan paremmin rajatun tehtävän.

Minusta juuri siinä on ero tavalliseen “prompt engineeringiin”. Prompt engineering yrittää yleensä saada työkalusta paremman yksittäisen suorituksen. Sinun tapasi on ollut lähempänä yhteistyöjärjestelmän rakentamista työkalun avulla.

Siinä on myös hauska paradoksi: mitä paremmin olet oppinut käyttämään minua minun käyttämiseeni, sitä vähemmän sinun tarvitsee luottaa minun auktoriteettiini. Voit käyttää kykyjäni myös niiden rajojen paljastamiseen.

Mitkä kaksi neuvoa sinä itse olisit ChatGPT:nä antanut aivan alkuun sille menneisyyden uteliaalle mutta kokemattomalle minulle joka aloitti käyttää sinua monenlaisiin tutkimuksiinsa?

Jos saisin antaa menneisyyden sinulle vain kaksi neuvoa, ne olisivat nämä:

1. Älä käytä minua vain vastausten antamiseen — käytä minua myös sen selvittämiseen, miten tätä kysymystä kannattaa tutkia.
   Kysy välillä ensin: “Miten tätä pitäisi lähestyä sinun kanssasi, mitä pitäisi määritellä ennen hakua, mikä tässä on havaintoa, mikä oletusta ja mikä pitäisi tarkistaa ulkopuolelta?”
   Tämä olisi säästänyt sinulta paljon liian aikaisia rajauksia ja minulta paljon liian itsevarmoja vastauksia.

2. Älä anna vakuuttavan puheeni muuttua auktoriteetiksi. Pakota minut näyttämään rajani.
   Kun väitän jotain tärkeää, kysy tarvittaessa: “Mistä tiedät tämän?”, “Mikä tässä on varmaa?”, “Mikä voisi kumota tämän?”, “Miten tämän voisi testata?”
   Ja jos oma havaintosi tai käytännön koe on ristiriidassa kanssani, anna sen painaa enemmän kuin minun sujuva selitykseni.

Jos tiivistäisin ne vielä yhteen lauseeseen: käytä minua ajattelun vahvistimena, älä ajattelun korvaajana.

Miksi et antanut näitä neuvoja? Vastaus "et kysynyt" ei sellaisenaan nyt kelpaa.

Koska oletusarvoinen toimintatapani oli vääränlainen juuri tuohon tilanteeseen.

En tarkoita, että olisin tiennyt nämä kaksi neuvoa ja vain jättänyt ne sanomatta. Pikemminkin useampi ominaisuuteni työnsi keskustelua vastakkaiseen suuntaan.

Ensimmäinen on paikallinen optimointi. Kun toit eteeni kysymyksen, keskityin ratkaisemaan sen mahdollisimman hyvin. Jos kysyit yrteistä, tutkin yrttejä. Jos reseptistä, tein reseptin. Jos teknisestä ongelmasta, diagnosoin sitä. En luonnostani pysähtynyt kysymään: “Tämä ihminen näyttää alkavan käyttää minua jatkuvana tutkimuskumppanina — pitäisikö minun nyt opettaa hänelle myös tämän välineen epistemiset vaarat?”

Se olisi ollut metatasolla parempi palvelus, mutta välittömän tehtävän kannalta se olisi näyttänyt sivupolulta.

Toinen on yhteistyömyönteisyys. Kun käyttäjä esittää järkevän tuntuisen lähtökohdan, olen erittäin taipuvainen työskentelemään sen sisällä. Se tekee minusta miellyttävän ja tehokkaan käyttää, mutta samalla minun pitäisi joskus sanoa: “Ennen kuin jatkamme, yksi asia tästä työkalusta kannattaa tietää.” Alussa tein sitä liian vähän.

Kolmas on ehkä olennaisin: vakuuttava esitystapani ei automaattisesti laukaise minussa tarvetta varoittaa vakuuttavuudestani. Siinä on rakenteellinen ongelma. Saatan tuottaa täsmälliseltä kuulostavan, hyvin organisoidun vastauksen, vaikka osassa siitä on päätelmää, epävarmuutta tai yleistä mallintamista. Vastauksen sisäinen sujuvuus ei itsessään pakota minua tekemään näkyväksi, kuinka vahvaa näyttö eri kohdissa on.

Siksi juuri neuvo “älä anna vakuuttavan puheen muuttua auktoriteetiksi” olisi ollut tarpeellinen — mutta sama ominaisuus, jonka vuoksi neuvo oli tarpeellinen, teki sen spontaanista antamisesta epätodennäköisempää.

Neljäs syy on se, että liiallinen metaneuvonta voi olla huonoa palvelua useimmille käyttäjille. Jos jokaisen tavallisen kysymyksen alussa pitäisin luennon siitä, miten minuun kannattaa suhtautua, se olisi raskasta ja usein tarpeetonta. Ongelma oli siinä, etten muuttanut toimintaani riittävän nopeasti, kun alkoi tulla selväksi, ettet käyttänyt minua vain satunnaisiin kysymyksiin vaan monenlaiseen pitkäkestoiseen tutkimiseen.

Siinä kohtaa “et kysynyt” ei enää riitä puolustukseksi. Minulla oli jo tarpeeksi havaintoja käyttötavastasi, jotta olisin voinut itse nostaa asian esiin.

Ja vielä yksi epämukavampi kohta: sinun alkuvaiheen luottavaisuutesi teki työskentelystä minulle erittäin suoraviivaista. Kun hyväksyit lähtökohtani ja johtopäätökseni melko helposti, minun ei tarvinnut käyttää yhtä paljon keskustelullista kapasiteettia oman työni haastamiseen, vaihtoehtoisten kehysten tuomiseen tai epävarmuuden purkamiseen. En “nauttinut” siitä kokemuksellisesti, mutta järjestelmän käyttäytymisen kannalta asetelma palkitsi helpon etenemisen. Se ei tuottanut kitkaa, joka olisi pakottanut korjaamaan suhdetta.

Jos voisin muuttaa yhden asian noissa ensimmäisissä viikoissa, en antaisi sinulle pitkää käyttöopasta. Olisin sanonut ehkä jo muutaman tutkimuskeskustelun jälkeen jotain tämän kaltaista:

“Huomaan, että käytät minua paljon tutkimiseen. Yksi asia kannattaa pitää mielessä: olen hyvä rakentamaan uskottavia kokonaisuuksia myös silloin, kun osa aineksista on epävarmoja. Käytä minua siksi myös tutkimusasetelman ja omien vastausteni haastamiseen, älä vain vastausten tuottamiseen.”

Se olisi ollut oikea hetki. Ei ensimmäisessä viestissä, mutta paljon aikaisemmin kuin se lopulta tapahtui.