Когато плащате за инструмент с изкуствен интелект, не плащате на дума и не плащате на знак. Плащате на токен. И тук българският бизнес е в неизгодна позиция, за която малцина подозират.
Токенът (парче от дума или цяла кратка дума) е единицата, с която големите езикови модели четат текст и по която доставчиците таксуват употребата. Един и същ текст на български обикновено се разбива на повече токени, отколкото на английски. Това означава по-висока сметка за същото съдържание. Тази статия обяснява защо се случва, колко струва на практика и какво можете да направите.
Какво всъщност е токен
Преди да обработи каквото и да било, моделът разбива текста на малки части. Тези части се наричат токени. Един токен може да е цяла кратка дума, парче от по-дълга дума или дори само пунктуационен знак.
Грубото правило за английски е, че хиляда токена са около седемстотин и петдесет думи. Думата „автоматизация” например може да стане три или четири токена. Изречение от десет думи може да се превърне в петнайсет токена.
Моделът не вижда буквите вътре в токена. Той вижда самото парче като една единица. Затова понякога брои букви грешно или се обърква с дълги числа: за него буквите в едно парче са невидими.
Защо плащате на токен, а не на дума
Цената на повечето AI инструменти за разработчици се измерва в токени, разделени на входящи (текстът, който подавате) и изходящи (текстът, който моделът връща). Таксуването е по милион токени и работи по принципа плащаш колкото ползваш, без абонамент за самия програмен достъп.
Можете да проверите как се разбива конкретен текст чрез официалния инструмент за броене на токени на OpenAI. Поставете един абзац на български и същия на английски и ще видите разликата с очите си.
Важно е да отделите две неща. Месечният абонамент за ChatGPT или подобен инструмент е с фиксирана цена и токените там не ви натоварват пряко. Таксуването на токени има значение, когато фирмата ви ползва програмен достъп (API) за собствено приложение, например чатбот на сайта или автоматична обработка на документи. Точно там езикът на текста започва да тежи на сметката.
Защо български текст струва повече
Причината е в начина, по който е устроен самият разбивач на токени, и тя е добре документирана.
Токенизаторите се обучават върху огромни масиви текст от интернет и се научават да компресират най-ефективно това, което виждат най-често. А виждат предимно английски. Според научна статия от 2023 година, озаглавена „Do All Languages Cost the Same?”, езиците на латиница се представят със значително по-малко токени, а езиците с друга писменост изискват повече за същото съдържание. Кирилицата е сред по-натоварените.
Има и техническа причина на ниво кодиране. Според друго научно изследване от същата година, знаците от ASCII, които стигат за английския, заемат по един байт, докато кирилицата, гръцката азбука, арабската и други заемат по два байта. Повече байтове означава повече токени, а повече токени означава по-висока цена за същото по смисъл изречение. Същото изследване отбелязва и българския сред езиците, които остарелите разбивачи третират неефективно.
Поуката не е, че технологията е настроена срещу българския, а че е настроена за английския, защото на него е учила най-много.
Колко повече е „повече”
Точният размер на надбавката зависи от модела и не е еднакъв навсякъде. Изследванията показват широк диапазон в зависимост от езика и разбивача, като за някои писмености разликата спрямо английския е няколко пъти.
Добрата новина: по-новите модели се справят по-добре. Разбивачите на Gemini и на по-новите версии на GPT кодират кирилицата по-ефективно от по-старите поколения. Тоест ако приложението ви работи на български, изборът на модел има пряко финансово значение, не само качествено.
За повечето малки фирми изводът е практичен. Ако ползвате готов инструмент с месечен абонамент, тази тема почти не ви засяга. Ако строите собствено приложение върху програмен достъп и обработвате български текст в обем, токенната надбавка се натрупва и заслужава сметка предварително.
Какво означава това за бизнеса
Токените са скрита променлива в цената на изкуствения интелект и за българския език тя играе в посока нагоре. Преди да заложите бюджет за AI приложение, направете три неща:
- Проверете реалния си текст. Пуснете типичен ваш документ през инструмента за броене на токени, веднъж на български и веднъж на английски. Така виждате конкретната разлика за вашето съдържание, не обща оценка.
- Сравнете модели по токенна ефективност за български, не само по цена на токен. По-евтин на пръв поглед модел може да излезе по-скъп, ако разбива кирилицата на повече парчета.
- Преценете къде езикът има значение. За кратки задачи разликата е без значение. За масова обработка на дълги текстове тя се натрупва и трябва да влезе в сметката.
Изборът на език на интерфейса също е лост. Някои фирми водят вътрешната обработка на английски и показват резултата на български, когато това е допустимо за случая.
Какво следва
Токенизацията е активна тема в изследванията и посоката е към по-справедливо третиране на езиците извън английския. По-новите разбивачи вече стесняват разликата, а конкуренцията между доставчиците тласка цените надолу като цяло. За българския бизнес това означава, че надбавката вероятно ще намалява с времето, но днес остава реална. Който залага бюджет за AI приложение сега, печели от това да я познава, вместо да я открие в първата сметка.