Google Haku on muuttunut vuosien varrella käyttäjien muuttuvien tarpeiden ja odotusten mukaisesti. Pyrimme jatkuvasti parantamaan tulosten hyödyllisyyttä uusilla innovaatioilla (esim. Tietograafi) ja järjestelmien muutoksilla, joilla varmistetaan olennaisen sisällön näyttäminen.

Arvioimme kaikki Hakuun tehtävät muutokset perusteellisesti: analysoimme mittarit ja päätämme, haluammeko ottaa käyttöön ehdotetun muutoksen.

Kokeneet insinöörit, hakuanalyytikot sekä muut laki- ja tietosuoja-asiantuntijat arvioivat näiden arvioiden ja kokeilujen tuottaman datan ja päättävät muutoksen käyttöönotosta. Vuonna 2022 teimme yli 800 000 kokeilua, joiden tuloksena oli yli 4 500 parannusta Hakuun.

Kokeneimmat insinöörimme ja datatutkijamme arvioivat kaikki Hakuun ehdotetut muutokset. He käyvät kaikista kokeiluista kerätyn datan tarkasti läpi ja päättävät, voiko muutoksen julkaista. Viime vuonna ehdotetuista muutoksista monia ei koskaan julkaistu. Jos emme voi osoittaa, että muutoksesta on käyttäjille oikeasti hyötyä, emme julkaise sitä.

Suoritamme reaaliaikaisia liikennekokeita, joiden avulla näemme, miten oikeat ihmiset käyttävät ominaisuutta ennen sen julkaisemista kaikkien saataville. Kyseinen ominaisuus on aluksi vain pienen joukon (usein 0,1 %:n) käytettävissä. Sitten vertaamme koehenkilöitä kontrolliryhmään, jolla ei ollut ominaisuutta käytössään. Käytössämme on kattava muuttujaluettelo, esimerkiksi käyttäjien klikkaamat asiat, hakujen määrä, mahdolliset hylätyt haut ja klikkausta edeltänyt aika. Arvioimme näiden tulosten perusteella, ovatko reaktiot uuteen ominaisuuteen positiivisia. Näin voimme varmistaa, että tekemämme muutokset parantavat tulosten osuvuutta ja hyödyllisyyttä kaikille käyttäjille.

Haku ei ole staattinen. Kehitämme järjestelmiämme lakkaamatta, jotta voimme näyttää parempia tuloksia. Tässä prosessissa haun laadun arvioijilla on tärkeä rooli. Näytämme rinnakkaiskokeena arvioijille kaksi erilaista hakutulossarjaa. Toisessa ehdotettu muutos on jo käytössä ja toisessa ei. Sitten pyydämme arvioijia kertomaan, kummat tulokset ovat heistä paremmat ja miksi.