Garat e brendshme për tokens
Më herët këtë vit, punonjësit e një kompanie të madhe teknologjike përdorën rreth 60 trilionë tokens brenda vetëm 30 ditësh, në kuadër të një garë të brendshme joformale për renditje performance. Sipas vlerësimeve të gazetarëve të teknologjisë, kjo sasi tokensash do të kushtonte afërsisht 900 milionë dollarë sipas çmimeve standarde të tregut, edhe pse kompania ka paguar me siguri shumë më pak falë marrëveshjeve të veçanta.
Ky fenomen, i njohur tashmë si një lloj gare prestigji mes inxhinierëve, është përhapur edhe në kompani të tjera të mëdha, ku stafi renditet sipas sasisë së tokensave të konsumuar. Një drejtues i lartë i industrisë së çipave deklaroi publikisht se do të shqetësohej nëse një inxhinier me pagë të lartë nuk harxhonte një pjesë të konsiderueshme të saj në tokens AI. Rezultati ka qenë, në shumë raste, përdorim i panevojshëm dhe joproduktiv i modeleve më të fuqishme për detyra të thjeshta.
Konsulentë të fushës theksojnë se shumë kompani dhe përdorues përdorin automatikisht modelet më të shtrenjta për çdo detyrë, qoftë edhe për shkrimin e një email-i të thjeshtë. Kjo krahasohet shpesh me faktin e punësimit të një shkencëtari të shquar për të llogaritur kusurin në një restorant fast-food — një shpenzim krejtësisht i tepërt për nevojën reale.
Si funksionon faturimi me tokens
Çdo fjalë që shkruhet në një chatbot dhe çdo fjalë që ai kthen si përgjigje, matet në tokens — pjesë teksti që zakonisht përfaqësojnë rreth tre të katërtat e një fjale. Në abonimet mujore, ky numër përcakton sa shpejt arrihet limiti i përdorimit; në qasjen me pagesë për çdo token, të përdorur nga zhvilluesit për të integruar modelet në aplikacionet e tyre, ai përcakton drejtpërdrejt faturën.
Çmimet për një milion tokens ndryshojnë ndjeshëm nga një model në tjetrin, me modelet më të fuqishme deri njëqind herë më të shtrenjta se ato më të vogla. Kjo diferencë ndikon drejtpërdrejt të ardhurat e kompanive zhvilluese: të ardhurat vjetore të njërës prej tyre u rritën nga rreth 9 miliardë dollarë në fund të vitit të kaluar në mbi 47 miliardë dollarë brenda disa muajve, ndërsa konkurrentët kryesorë po ulin çmimet për të mbajtur hapin.
Pjesa më e madhe e harxhimit vjen nga mënyra se si funksionojnë agjentët e AI: një model që përdor mjete, kërkon në internet ose ekzekuton kod, lexon rezultatin dhe përsërit procesin derisa të konsiderojë detyrën të përfunduar, duke ridërguar çdo herë të gjithë bisedën. Kur një model menaxher ndan një kërkesë në pjesë dhe ua kalon modeleve ndihmëse, secili prej tyre kryen ciklin e vet, gjë që mund ta shtatëfishojë konsumin e tokensave krahasuar me një sesion të zakonshëm.
Zgjedhja e modelit të duhur për detyrën e duhur, pra shmangia e përdorimit të modeleve më të fuqishme për punë të thjeshta, mbetet mënyra më efektive për të ulur ndjeshëm këto kosto.