توکن چیه و چرا فارسی معمولاً توکن بیشتری میخواد
مدلهای هوش مصنوعی متن رو کلمهبهکلمه نمیخونن، تکهتکه میخونن. به این تکهها توکن میگن. اینجا ساده توضیح میدیم توکن چیه و چرا فارسی معمولاً تعداد بیشتری ازش لازم داره.
وقتی یه جمله رو برای هوش مصنوعی میفرستی، مدل اون رو مثل ما کلمهبهکلمه نمیخونه. اول متن رو به تکههای کوچیک میشکنه و بعد با همون تکهها کار میکنه. به هر تکه میگن توکن.
توکن دقیقاً چیه؟
یه توکن ممکنه یه کلمهی کامل باشه، یه تکه از یه کلمه، یه علامت نگارشی یا حتی فقط یه فاصله. کلمهی کوتاه و رایجی مثل «سلام» ممکنه یه تکه بمونه، ولی یه کلمهی بلند و کمکاربرد ممکنه به چند تکه شکسته بشه.
هر چیزی که میفرستی و هر چیزی که جواب میگیری، به توکن تبدیل میشه.
چرا مهمه؟
سه جا توکن مهمه:
- حد گنجایش مدل. هر مدل فقط تا یه تعداد توکن رو همزمان نگه میداره. اسمش «پنجرهی متن» (context window) هست.
- هزینه. مصرف مدلها با توکن محاسبه میشه، نه با تعداد کلمه یا صفحه. قیمتهای روز رو همیشه تو صفحهی قیمتها ببین.
- طول جواب. هرچی جواب بلندتر، توکن بیشتری خرج میشه.
چرا فارسی معمولاً توکن بیشتری میخواد؟
مدلها تکههاشون رو از روی متنهایی که باهاشون آموزش دیدن میسازن. هر زبانی که تو اون متنها پرتکرارتر باشه، تکههای درازتر و کاملتری براش ساخته میشه. برای خیلی از مدلها، متن انگلیسی سهم بزرگتری از دادهی آموزشه.
نتیجهاش اینه که یه کلمهی فارسی معمولاً به تکههای کوچیکتری شکسته میشه و یه متن فارسی معمولاً توکن بیشتری از همون مطلب به انگلیسی میگیره. «معمولاً» رو عمداً میگیم: این به مدل بستگی داره و همیشه یکسان نیست.
یه مثال ساده
دو متن هممعنی رو فرض کن، یکی فارسی و یکی انگلیسی. ممکنه تعداد کلمههاشون تقریباً برابر باشه، ولی شمارندهی توکن برای متن فارسی عدد بزرگتری نشون بده. برای همین، حدس زدن با «تعداد کلمه» برای مصرف و گنجایش دقیق نیست.
چند راه ساده برای صرفهجویی
- سؤالت رو مشخص و کوتاه بنویس، ولی چیز مهم رو حذف نکن.
- تو یه گفتگوی خیلی بلند، چیزی که لازم نیست دوباره نفرست.
- اگه فقط یه خلاصه میخوای، همین رو صریح بگو تا جواب بیخود دراز نشه.
برای استفادهی بهتر از اعتبارت این راهنما رو هم ببین.
چیزی که هنوز نمیدونیم
نمیتونیم قبل از ارسال بگیم یه متن فارسی دقیقاً چند توکن میشه، چون هر مدل تکهبندی خودش رو داره و با مدلهای جدید عوض میشه. اگه مدلی فارسی رو بهتر تکه کنه، این مقاله رو بهروز میکنیم.