Качвате договор от четиридесет страници в ChatGPT, питате за клауза от началото, а отговорът засяга нещо съвсем друго. Причината почти винаги е една: контекстният прозорец.
Какво представлява контекстният прозорец
Контекстният прозорец (на английски context window) е количеството текст, което един AI модел може да държи „пред очите си” в един разговор. Това включва вашия въпрос, качените документи и собствените отговори на модела дотук.
Текстът се мери в токени (на английски tokens). Един токен е парче от дума. За български един токен е приблизително няколко знака, тоест една по-дълга дума често се разбива на два или три токена.
Когато общият текст надхвърли прозореца, моделът не вижда всичко наведнъж. Той работи само с това, което се събира в лимита.
Защо дългите документи объркват AI
Представете си бюро с ограничена площ. Слагате нов лист, а друг пада от ръба. Моделът работи по сходен начин: когато прозорецът се напълни, най-старият текст изпада извън полезрението му.
Затова в дълъг разговор моделът понякога „забравя” какво сте казали в началото. Информацията не е изтрита от него: тя просто вече не е в прозореца, който той чете в момента.
Има и втори проблем. Изследване на екип на Станфорд установява, че моделите се справят най-добре, когато търсената информация е в началото или в края на текста, а ефективността спада осезаемо за информация в средата на дълъг контекст. Това явление е известно като „изгубен по средата” (lost in the middle).
За дълъг документ това означава, че клауза в средата на договора е по-уязвима да бъде пропусната, отколкото такава на първата или последната страница.
Как се проявява това на практика
Няколко типични признака, че сте опрели в лимита на прозореца:
- Моделът отговаря на въпрос с детайл, който вече сте опровергали по-рано в разговора.
- Иска информация, която вече сте дали преди много съобщения.
- Резюме на дълъг документ изпуска цял раздел от средата.
- Отговорите стават по-общи и неточни, колкото по-дълъг става разговорът.
Същото изследване отбелязва и че ефективността намалява, колкото по-дълъг става входният текст, дори при модели, създадени специално за дълъг контекст. Тоест проблемът не са грешки в разсъжденията на модела, а границите на паметта му в конкретния разговор.
Какво означава това за бизнеса
Контекстният прозорец е практическо ограничение, което влияе на това дали можете да се доверите на отговора. Ето конкретните приоритети по сценарий.
- качвате дълги договори или отчети, разделяйте документа на части и задавайте въпроси по раздели, вместо да очаквате моделът да обхване всичко наведнъж. Питайте изрично за конкретната клауза или страница.
- водите дълъг работен разговор, повтаряйте ключовите факти, когато усетите, че моделът се отклонява. Започването на нов разговор често дава по-точни отговори от продължаването на претоварен стар.
- избирате инструмент за работа с обемни документи, проверявайте обявения размер на контекстния прозорец в официалната документация. Това е реален критерий за пригодност, не маркетингова подробност.
Добрата новина: проблемът е предвидим. Щом знаете къде е границата, можете да структурирате работата си така, че важното да остане в полезрението на модела.
Какво следва
Размерът на контекстните прозорци расте с всяко ново поколение модели и това разширява задачите, които са възможни. По-голям прозорец обаче не премахва изцяло проблема „изгубен по средата”, затова добрата практика при дълги документи остава актуална.
В следващи материали разглеждаме как точно работи голям езиков модел и какви грешки да избягвате, когато подавате фирмени данни на AI.
Често задавани въпроси
Какво е контекстен прозорец при AI?
Контекстният прозорец е количеството текст, което AI модел може да обработва наведнъж в един разговор. Включва вашия въпрос, качените документи и предишните отговори. Мери се в токени, тоест парчета от думи.
Защо AI забравя началото на дълъг разговор?
Когато текстът надхвърли контекстния прозорец, най-старата информация изпада извън полезрението на модела. Тя не е изтрита, но моделът вече не я чете, когато формулира отговора си.
Как да накарам AI да чете дълъг документ правилно?
Разделяйте документа на части и задавайте въпроси по раздели. Питайте изрично за конкретни клаузи или страници, особено за тези в средата на текста, които моделите пропускат най-често.
По-голям контекстен прозорец означава ли по-добри отговори?
Не винаги. По-големият прозорец позволява повече текст наведнъж, но проблемът „изгубен по средата” остава. Информацията в средата на дълъг документ пак е по-уязвима да бъде пропусната.