Project Rumi on Microsoft Research-projekti, joka kehittää uutta tapaa parantaa tekoälyjärjestelmien ymmärtämistä. Projektissa käytetään multimodaalista lähestymistapaa, joka yhdistää tekstiä, ääntä ja videodataa luodakseen kattavamman käsityksen käyttäjän tarkoituksesta.
Tekoälyjärjestelmät ovat edistyneet merkittävästi viime vuosina, erityisesti luonnollisen kielen käsittelyn (NLP) alalla. Useimmat näistä järjestelmistä kuitenkin luottavat edelleen tekstinsyöttöön ja-tulostukseen, jättäen huomiotta ihmisten luonnollisessa viestinnässä käyttämät rikkaat ja ilmeikkäät vihjeet, kuten äänensävyn, ilmeet, eleet ja kehon kieli. Nämä vihjeet, tunnetaan yhdessä nimellä paralinguistics tai paralinguage, voivat välittää tärkeitä tietoja puhujan tunteista, aikomuksista, persoonasta ja sosiaalisesta kontekstista.
Tämän aukon korjaamiseksi Microsoft Researchin tutkijaryhmä on kehittänyt Project Rumi , uusi kehys, jonka tavoitteena on lisätä tekoälyn ymmärtämistä multimodaalisten paralingvististen kehotusten avulla. Projekti koostuu kahdesta pääkomponentista: multimodaalisesta paralingvistisesta kooderista ja multimodaalisesta paralingvistisesta dekooderista.
Enkooderi ottaa syötteeksi multimodaalisen lausunnon, joka voi sisältää puhetta, tekstiä, kuvia, videoita tai minkä tahansa näiden modaliteetin yhdistelmän. Seuraavaksi kooderi poimii asiaankuuluvat paralingvistiset piirteet kustakin modaalisuudesta ja koodaa ne yhtenäiseksi esitykseksi. Sitten dekooderi ottaa tämän esityksen ja luo multimodaalisen vastauksen, joka sopii annettuun kontekstiin ja haluttuun tavoitteeseen.
[upotettu sisältö]
Parallingvistian hyödyntäminen tekoälyn ymmärtämisen parantamiseksi
Paralingvistiikka tutkii puhutun viestinnän näkökohtia, joihin ei liity sanoja, vaan pikemminkin puhetapaa, kuten sävyä, äänenkorkeutta, äänenvoimakkuutta, intonaatiota jne. Paralingvistiikka voi välittää tärkeitä tietoa puhujan tunteista, aikomuksista, persoonasta ja sosiaalisesta kontekstista. Yksinkertaisesti sanottuna Project Rumi voi johtaa tekoälyjärjestelmään, joka ei vain pysty ymmärtämään sanoja, vaan myös ymmärtämään käyttäjän tunnetilan ja kontekstin, jossa sanat sanotaan.
Se on osa metaviestintää, joka on viestintää viestinnästä. Paralingvistiikka voi muokata tai vivahdella sanotun merkitystä tai jopa olla ristiriidassa sen kanssa. Esimerkiksi”minulla on kaikki hyvin”iloisella äänellä sanominen voi osoittaa vilpittömyyttä, kun taas sen sanominen sarkastisella äänellä voi osoittaa ironiaa.
Tutkijat väittävät, että Project Rumi voi mahdollistaa useita sovelluksia, jotka vaativat luonnollista ja mukaansatempaavaa viestintää ihmisten ja tekoälyjärjestelmien välillä. Esimerkiksi Project Rumin avulla voidaan luoda keskusteluagentteja, jotka voivat mukauttaa vastauksensa käyttäjän mielialan, persoonallisuuden ja mieltymysten mukaan.
Tutkimuksen mukaan Project Rumi voi mahdollistaa luonnollisemman ja tehokkaamman kommunikoinnin ihmisten ja tekoälyjärjestelmien välillä. Se osoittaa myös, että Project Rumi voi helpottaa monimuotoista oppimista ja siirtoa hyödyntämällä eri modaliteeteista saatavaa täydentävää tietoa. Lisäksi tutkijat toteavat, että Project Rumi voi tukea multimodaalista luovuutta mm. mahdollistaa tekoälyjärjestelmien luoda uusia ja erilaisia vastauksia.
