پنجرهی متن (context window) چیه و وقتی پر بشه چی میشه
پنجرهی متن اندازهی چیزیه که مدل همزمان جلوی چشمش داره. اینجا ساده میگیم چیه، وقتی گفتگو ازش بلندتر بشه چه اتفاقی میافته و چطور باهاش کنار بیای.
هوش مصنوعی مثل آدم چیزی رو «یادش نمیمونه». هر بار که جواب میده، فقط چیزی رو میبینه که اون لحظه جلوش گذاشتن: پیامهای تو، جوابهای قبلی خودش و فایلهایی که فرستادی. این مقدار محدوده و اسمش پنجرهی متن (context window) هست.
پنجرهی متن دقیقاً چیه؟
پنجرهی متن مثل یه میز کاره. هرچی روی میز جا بشه، مدل میتونه ببینه. اندازهی میز رو با توکن میسنجن (تکههای کوچیکی که مدل متن رو بهشون میشکنه)، نه با کلمه یا صفحه. هم پیامهای تو تو این پنجره حساب میشن، هم جوابهای خود مدل.
اندازهی پنجره از مدلی به مدل دیگه فرق میکنه. عدد دقیقش به مدل بستگی داره و با مدلهای جدید عوض میشه.
وقتی پنجره پر بشه چی میشه؟
گفتگو که طولانی بشه، همهچیز دیگه روی میز جا نمیشه. بسته به ابزاری که استفاده میکنی، یکی از این اتفاقها میافته:
- پیامهای اول گفتگو کنار گذاشته میشن و مدل دیگه اونها رو نمیبینه.
- ابزار خودش بخشی از گفتگو رو خلاصه میکنه تا جا باز بشه.
- یه پیغام خطا میگیری که میگه متن بیش از حد بلنده.
نشونهاش اینه که مدل چیزی رو که اولِ گفتگو گفتی «فراموش» کرده، حرفش رو نقض میکنه یا یه پیغام خطا میگیری. مدل لجبازی نمیکنه، اون تیکه واقعاً دیگه جلوش نیست.
چطور باهاش کنار بیای
- موضوع جدید، گفتگوی جدید. وقتی سراغ کار دیگهای میری، یه گفتگوی تازه شروع کن.
- مهمها رو دوباره بگو. اگه گفتگو بلند شده، هدف اصلی رو یه بار دیگه یادآوری کن.
- خودت خلاصه کن. از مدل بخواه خلاصهی تصمیمها رو بنویسه و تو گفتگوی تازه با همون شروع کن.
- فقط لازم رو بفرست. یه فایل خیلی بلند رو کامل نفرست، اگه فقط یه بخشش به کارت میاد.
اینکه گفتگوی بلند چطور روی مصرفت اثر میذاره هم تو راهنمای استفادهی بهتر از اعتبار هست. قیمتها رو همیشه تو صفحهی قیمتها ببین.
چیزی که هنوز نمیدونیم
حتی وقتی چیزی تو پنجره جا شده، همیشه معلوم نیست مدل به همهی بخشهای یه متن خیلی بلند یکسان توجه کنه. ممکنه چیزی از وسط متن از قلم بیفته. این موضوع با هر نسل مدل بهتر میشه، ولی نمیتونیم قولش رو بدیم.