PlayStation 5 -konsolista on onnistuttu tekemään paikallinen tekoälypalvelin. PS5LM-projektin muokattu versio pystyy hyödyntämään hakkeroidun konsolin grafiikkapiiriä ja aiempaa suurempaa osaa sen muistista, minkä ansiosta tekoälymallit toimivat huomattavasti aiempaa nopeammin.
Tom’s Hardwaren mukaan kehittäjä sai Llama 3.2 3B -kielimallin tuottamaan jopa 124 tokenia sekunnissa. Token tarkoittaa kielimallin käsittelemää tekstin osaa, joten lukema kertoo siitä, kuinka nopeasti Tekoäly pystyy muodostamaan vastauksiaan.
Grafiikkapiiri toi merkittävän nopeusparannuksen
PS5LM perustuu avoimen lähdekoodin llama.cpp-ohjelmistoon. Projektin ensimmäinen versio käytti lähinnä konsolin suoritinta, mikä rajoitti tekoälymallien käytettävissä olevan muistin noin kuuteen gigatavuun.
Uudessa toteutuksessa käytetään PS5_Vulkan-projektin kautta konsolin AMD-grafiikkapiiriä. Samalla tekoälymallien käyttöön saatiin noin 11,4 gigatavua muistia. Tämä mahdollistaa myös aiempaa suurempien kielimallien suorittamisen.
Kehittäjän ilmoittamissa testeissä Gemma 4 E4B saavutti noin 61 tokenia sekunnissa ja suurempi Qwen3.8-27B noin 20 tokenia sekunnissa. Tulokset havainnollistavat, kuinka mallin koko vaikuttaa suorituskykyyn: yli sadan tokenin nopeus saavutettiin pienemmällä mallilla, ei 27 miljardin parametrin mallilla.
Konsoli toimii myös kotiverkon tekoälypalvelimena
PS5LM:n käyttöliittymästä voi seurata esimerkiksi suorittimen ja grafiikkapiirin kuormitusta, lämpötiloja sekä muistinkäyttöä. Ohjelmisto tukee myös selaimella käytettävää keskustelunäkymää, joten konsolilla toimivaa kielimallia voi käyttää muilta saman kotiverkon laitteilta.
Ratkaisu toimii paikallisesti ilman pilvipalvelua, mutta vaatii muokatun eli niin sanotusti jailbreakatun PlayStation 5:n. Kyse ei siis ole Sonyn virallisesta ominaisuudesta, eikä tavallinen päivitetty PS5 pysty käyttämään sitä suoraan.
Projektin lähdekoodi ja tarkemmat tekniset tiedot ovat saatavilla GitHubissa. Vaikka kokeilu osoittaa pelikonsolin potentiaalin muuhunkin kuin pelaamiseen, suurten kielimallien suorittamista rajoittavat edelleen konsolin muisti ja laskentateho.
Lähteet: Tom’s Hardware
