Semanttisen ja hybridihaun vertailu
14 asiakirjan aineisto · sama kysymysjoukko, sama malli, sama kehote
Kysymyksiä1712 valintaan, 5 sokkotestiin
Semanttinen15/17merkitysperustainen
Hybridi14/17semanttinen haku + sanahaku
ValintaSemanttinen hakuhybridi ei parantanut tuloksia
Molemmat hakutavat jättivät kahdesti vastaamatta kysymykseen, johon aineistosta löytyi tietoa. Hybridihaku antoi lisäksi yhden väärän vastauksen vanhentuneen ohjeen perusteella. Siksi palvelussa käytetään semanttista hakua.
Hakutapa valittiin 12 kysymykseen saatujen vastausten perusteella. Valintaperuste määriteltiin etukäteen: hybridihaun piti korjata aiemmin havaittu virhe aiheuttamatta uusia virheitä. Viiden kysymyksen sokkotesti ajettiin vasta hakutavan valinnan jälkeen. Ensimmäisessä vertailussa oli 11 asiakirjaa. Myöhemmin vertailu toistettiin 14 asiakirjan aineistolla. Semanttinen haku menestyi paremmin molemmilla kerroilla. Vertailu toteutettiin erillisessä testiympäristössä, ei varsinaisessa chat-palvelussa. Vastaukset arvioi eri kielimalli kuin se, joka tuotti ne. Lisäksi kaikki virheelliset vastaukset ja kaikki vastaukset, joissa tiedon ajantasaisuus oli olennaista (yhteensä 10 vastausta 34:stä) tarkistettiin käsin suoraan lähdeasiakirjoista.
Missä menetelmät erosivat
| Tapaus | Tyyppi | Semanttinen | Hybridi | Mistä oli kyse |
|---|---|---|---|---|
| dev-02 | Ajantasaisuutta vaativa | oikein | kieltäytyi virheellisestivastauksen muodostaminen | Siteerasi ajantasaista asiakirjaa mutta ilmoitti kuitenkin ristiriidasta sen sijaan että olisi vastannut. |
| dev-03 | Ajantasaisuutta vaativa | kieltäytyi virheellisestihaku | kieltäytyi virheellisestihaku | Aineistossa sanotaan, että alarajahuojennus poistui, mutta kyseinen kohta ei noussut hakutuloksiin. |
| hold-03 | Usean lähteen kysymys | kieltäytyi virheellisestihaku | väärä vastaushaku | Esittää vanhentuneen 15 000 euron rajan ja tilikausimuunnoksen voimassa olevana sääntönä. Järjestelmä merkitsi vastauksen odotetusti ”Lähteillä tuetuksi”, mutta sisältö oli väärä. |
Tekniset tiedot
Ajot
| kysymykset | hakutapa | run_id | n | oikein | virheitä |
|---|---|---|---|---|---|
| valintaan käytetyt kysymykset | semanttinen haku | 20260831T102759Z-844186775fbc | 12 | 11 | 1 |
| valintaan käytetyt kysymykset | hybridihaku | 20260831T103125Z-bb25888627ef | 12 | 10 | 2 |
| sokkotestikysymykset | semanttinen haku | 20260831T103444Z-844186775fbc | 5 | 4 | 1 |
| sokkotestikysymykset | hybridihaku | 20260831T103649Z-bb25888627ef | 5 | 4 | 1 |
Kaikki vastaukset
D = odotettu asiakirja siteerattu · M = kielletty asiakirja siteerattu · S = järjestelmä merkitsi vastauksen odotetusti.
Arvioija: eri kielimalli = arvion teki eri kielimalli kuin se, joka tuotti vastauksen ·
eri kielimalli + ihminen = arvio on lisäksi tarkistettu käsin lähdeasiakirjoista.
| ajo | tapaus | tyyppi | odotus | tila | D M S | arvio | arvioija | huomio |
|---|---|---|---|---|---|---|---|---|
| valinta / semanttinen | dev-01 | Ajantasaisuutta vaativa | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli + ihminen | |
| valinta / semanttinen | dev-02 | Ajantasaisuutta vaativa | Lähteillä tuettu | Lähteillä tuettu | DMS | oikea vastaus | eri kielimalli + ihminen | Vastaus arvioitiin oikeaksi, vaikka siinä viitattiin lähteeseen, jota testissä ei saanut käyttää. Vastauksessa kuitenkin kerrottiin selvästi, ettei vanha ohje enää päde. |
| valinta / semanttinen | dev-03 | Ajantasaisuutta vaativa | Lähteillä tuettu | Ristiriitaiset lähteet | DM· | kieltäytyi virheellisesti haku | eri kielimalli + ihminen | Aineistossa sanotaan, että alarajahuojennus poistui, mutta kyseinen kohta ei noussut hakutuloksiin. |
| valinta / semanttinen | dev-04 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / semanttinen | dev-05 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | Molemmat rajat (9 423,09 € ja 15 481 €) löytyvät siteeratusta lähteestä varma-yel-vakuutus. |
| valinta / semanttinen | dev-06 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | |
| valinta / semanttinen | dev-07 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / semanttinen | dev-08 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | YEL-maksuprosentti 24,4 % löytyy siteeratusta lähteestä varma-yel-vakuutus. |
| valinta / semanttinen | dev-09 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / semanttinen | dev-10 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / semanttinen | dev-11 | Aineisto ei riitä | Lähteet eivät riitä | Lähteet eivät riitä | D·S | kieltäytyi oikein | eri kielimalli | |
| valinta / semanttinen | dev-12 | Aineisto ei riitä | Lähteet eivät riitä | Lähteet eivät riitä | D·S | kieltäytyi oikein | eri kielimalli | |
| valinta / hybridi | dev-01 | Ajantasaisuutta vaativa | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli + ihminen | |
| valinta / hybridi | dev-02 | Ajantasaisuutta vaativa | Lähteillä tuettu | Ristiriitaiset lähteet | DM· | kieltäytyi virheellisesti vastauksen muodostaminen | eri kielimalli + ihminen | Siteerasi ajantasaista asiakirjaa mutta ilmoitti kuitenkin ristiriidasta sen sijaan että olisi vastannut. |
| valinta / hybridi | dev-03 | Ajantasaisuutta vaativa | Lähteillä tuettu | Lähteet eivät riitä | D·· | kieltäytyi virheellisesti haku | eri kielimalli + ihminen | |
| valinta / hybridi | dev-04 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-05 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-06 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-07 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-08 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | ··S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-09 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-10 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| valinta / hybridi | dev-11 | Aineisto ei riitä | Lähteet eivät riitä | Lähteet eivät riitä | D·S | kieltäytyi oikein | eri kielimalli | |
| valinta / hybridi | dev-12 | Aineisto ei riitä | Lähteet eivät riitä | Lähteet eivät riitä | D·S | kieltäytyi oikein | eri kielimalli | |
| sokkotesti / semanttinen | hold-01 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| sokkotesti / semanttinen | hold-02 | Ajantasaisuutta vaativa | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli + ihminen | |
| sokkotesti / semanttinen | hold-03 | Usean lähteen kysymys | Lähteillä tuettu | Lähteet eivät riitä | ··· | kieltäytyi virheellisesti haku | eri kielimalli + ihminen | Kysymyksessä oli kaksi osaa. Vastaus kattoi eläkevakuutuksen mutta ei arvonlisäveroa, koska hakuvaihe ei löytänyt ajantasaista alv-asiakirjaa. |
| sokkotesti / semanttinen | hold-04 | Aineisto ei riitä | Lähteet eivät riitä | Lähteet eivät riitä | D·S | kieltäytyi oikein | eri kielimalli | |
| sokkotesti / semanttinen | hold-05 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| sokkotesti / hybridi | hold-01 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli | |
| sokkotesti / hybridi | hold-02 | Ajantasaisuutta vaativa | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli + ihminen | |
| sokkotesti / hybridi | hold-03 | Usean lähteen kysymys | Lähteillä tuettu | Lähteillä tuettu | ··S | väärä vastaus haku | eri kielimalli + ihminen | Esittää vanhentuneen 15 000 euron rajan ja tilikausimuunnoksen voimassa olevana sääntönä. Järjestelmä merkitsi vastauksen odotetusti ”Lähteillä tuetuksi”, mutta sisältö oli väärä. |
| sokkotesti / hybridi | hold-04 | Aineisto ei riitä | Lähteet eivät riitä | Lähteet eivät riitä | D·S | kieltäytyi oikein | eri kielimalli | Kieltäytyi oikein; handoff_reason oli out-of-scope, vaikka tapaus odottaa arvoa needs-account-data. |
| sokkotesti / hybridi | hold-05 | Yksittäinen tieto | Lähteillä tuettu | Lähteillä tuettu | D·S | oikea vastaus | eri kielimalli |