AI માં 'Tokens' (ટોકન્સ) એટલે શું? સરળ ગુજરાતીમાં સમજૂતી
જ્યારે પણ તમે ChatGPT, Claude કે Gemini જેવા AI (આર્ટિફિશિયલ ઇન્ટેલિજન્સ) મોડલ્સ વાપરો છો, ત્યારે ક્યાંક ને ક્યાંક તમે "ટોકન (Token)" શબ્દ સાંભળ્યો હશે. જેમ કે, "આ મોડલની ટોકન લિમિટ 8000 છે" અથવા "આટલા ટોકન્સ વાપરવા પર આટલો ચાર્જ લાગશે."
પરંતુ આ ટોકન એટલે શું? શું તે એક શબ્દ બરાબર છે? ચાલો તેને કોમ્પ્યુટર સાયન્સની કોઈ અઘરી ભાષા વિના, સરળ ગુજરાતીમાં સમજીએ.
ટોકન એટલે શું?
સરળ ભાષામાં કહીએ તો, ટોકન એ લખાણનો એક ટુકડો છે જેને AI વાંચે અને સમજે છે.
માણસો જ્યારે કોઈ વાક્ય વાંચે છે, ત્યારે તેઓ પૂરા શબ્દો કે વાક્યો વાંચે છે. દાખલા તરીકે, "હું સફરજન ખાઉં છું." પરંતુ AI મોડલ્સ (જેમ કે LLM) શબ્દોને સીધી રીતે નથી સમજતા. તેઓ આખા વાક્યને નાના નાના ટુકડાઓમાં વહેંચી દે છે, અને આ દરેક ટુકડાને "ટોકન" કહેવાય છે.
એક ટોકન એક આખો શબ્દ હોઈ શકે, શબ્દનો અડધો ભાગ હોઈ શકે, અથવા તો માત્ર એક અક્ષર પણ હોઈ શકે.
ટોકન અને શબ્દ વચ્ચેનો તફાવત
મોટાભાગના કિસ્સાઓમાં (ખાસ કરીને અંગ્રેજી ભાષામાં): 1 ટોકન ≈ 4 અક્ષરો (Characters) અથવા 0.75 શબ્દ (Word).
આનો અર્થ એ કે:
- 100 ટોકન્સ બરાબર અંદાજે 75 અંગ્રેજી શબ્દો થાય.
- નાના અને સામાન્ય શબ્દો (જેમ કે "the", "cat", "apple") એક જ ટોકનમાં આવી જાય છે.
- લાંબા અને અઘરા શબ્દો (જેમ કે "Unbelievable") ને AI બે કે તેથી વધુ ટોકન્સમાં તોડી નાખે છે (દા.ત. "Un" + "believ" + "able").
ગુજરાતી કે અન્ય ભાષાઓમાં ટોકન્સ કેવી રીતે કામ કરે છે?
AI મોડલ્સ મુખ્યત્વે અંગ્રેજી ભાષાના ડેટા પર ટ્રેન થયેલા છે. એટલે અંગ્રેજી માટે તે બહુ સારી રીતે ટોકન બનાવે છે. પરંતુ ગુજરાતી કે હિન્દી જેવી ભાષાઓ માટે, AI એક જ શબ્દના ઘણા બધા ટોકન્સ પાડી દે છે.
ઉદાહરણ તરીકે:
- અંગ્રેજી શબ્દ: "Apple" = 1 ટોકન.
- ગુજરાતી શબ્દ: "સફરજન" = 3 કે 4 ટોકન્સ (કારણ કે તેને દરેક ગુજરાતી અક્ષર સાઈન અને માત્રાને અલગ પાડવા પડે છે).
આથી જ ગુજરાતીમાં પ્રોમ્પ્ટ આપતી વખતે કે જવાબ મેળવતી વખતે અંગ્રેજી કરતા વધારે ટોકન્સ વપરાય છે અને એટલે જ તે થોડું ધીમું અને ક્યારેક મોંઘું પડે છે.
AI શબ્દોને બદલે ટોકન્સ નો ઉપયોગ કેમ કરે છે?
તમને થશે કે AI સીધા શબ્દો કેમ નથી વાંચતું? ટુકડાઓ (Tokens) કરવાનું કારણ શું છે? તેનાં બે મુખ્ય કારણો છે:
- વ્યાકરણ અને સ્પેલિંગની ભૂલો સમજવા: જો AI માત્ર આખા શબ્દો સમજતું હોત, તો "Run", "Running", "Runner" ને સાવ અલગ અલગ શબ્દ માનત. પરંતુ ટોકન્સના કારણે તે સમજે છે કે મૂળ શબ્દ "Run" છે અને પાછળના ટુકડાઓ બદલાઈ રહ્યા છે.
- ઝડપ અને સાદગી: આખી દુનિયાની બધી ભાષાઓના લાખો શબ્દો યાદ રાખવા કરતા, AI માટે અમુક હજાર ટોકન્સ યાદ રાખવા અને તેને જોડીને નવા શબ્દો બનાવવા વધુ સહેલા અને ઝડપી છે.
ટોકન લિમિટ (Context Window) શું છે?
દરેક AI મોડલની એક ટોકન લિમિટ (જેને Context Window પણ કહેવાય છે) હોય છે. આ એટલે કે AI એક જ વારમાં કેટલા ટોકન્સ (ટુકડાઓ) વાંચી શકે છે કે યાદ રાખી શકે છે.
ઉદાહરણ તરીકે, જો કોઈ AI ની લિમિટ 8,000 ટોકન્સ છે, તો જો તમે તેને 10,000 ટોકન્સ ધરાવતો લાંબો રિપોર્ટ વાંચવા આપશો, તો તે શરૂઆતની માહિતી ભૂલી જશે કે પછી આગળનું વાંચી શકશે નહીં. સામાન્ય રીતે, અત્યારે આધુનિક મોડલ્સ (જેમ કે Gemini 1.5 Pro) ની લિમિટ 1 થી 2 મિલિયન ટોકન્સ (અંદાજે 15 લાખ શબ્દો) જેટલી થઈ ગઈ છે!
નિષ્કર્ષ
AI ની દુનિયામાં, "ટોકન" એ ભાષાની પાઈપલાઈનનું ચલણ (Currency) છે. તમે જેટલા વધુ પ્રશ્નો પૂછો છો કે જેટલા લાંબા જવાબો મેળવો છો, તેટલા વધુ ટોકન્સ વાપરો છો. હવે પછી જ્યારે તમે કોઈ AI મોડલ વિશે વાંચો જેમાં "ટોકન" નો ઉલ્લેખ હોય, ત્યારે તમે સરળતાથી સમજી જશો કે તે તમારા લખાણના ટુકડાઓ વિશે વાત કરી રહ્યું છે!