Rašmenų koduotės

LST ISO/IEC 10646-1 (UCS, Unikodas)

Lietuvos standartas LST ISO/IEC 10646-1. Universalus keliais baitais koduotų ženklų rinkinys. 1 dalis. Sandara ir pagrindinė daugiakalbė lentelė.

ISO/IEC 10646 (angl. Universal Coded Character Set, UCS) ir Unikodas yra du stipriai tarpusavyje suderinti standartai, kuriami dviejų atskirų glaudžiai bendradarbiaujančių organizacijų. Pirmąjį sukūrė ir tobulina Tarptautinė standartų organizacija (ISO), o antrąjį – „Unicode“ konsorciumas.

Nors standartas ISO/IEC 10646 apibrėžia ženklų kodavimą 32 bitais (4 baitais), o Unikodas – 16 bitų (2 baitais), šiuo metu abu standartai numato galimybę užkoduoti kiek virš 1,1 milijono skirtingų ženklų. Faktinė užkoduotų ženklų aibė yra žymiai mažesnė, tačiau ji nuolatos didėja, nes kasmet išleidžiamos naujos Unikodo versijos.

Pastebėtina, kad Unikodas nėra koduotė – tai rašto ženklų rinkinys, kuriame kiekvienas ženklas turi konkrečią priskirtą poziciją (numerį, angliškai vadinamą code point). Kalbant apie konkrečias Unikodo pozicijas, jos paprastai žymimos užrašu „U+xxxx“, kur „xxxx“ – pozicijos numeris šešioliktainiu formatu, pavyzdžiui, raidė „O“ užrašoma taip: U+004F. Unikodo standarte aprašyti trys šių ženklų kodavimo (vertimo konkrečiomis baitų sekomis) būdai, arba koduotės: UTF-8, UTF-16 ir UTF-32. Praktikoje yra naudojami dar keli.

Unikodo pozicijų numeriai dažnai vadinami Unikodo kodais, tačiau būtina suprasti, jog U+xxxx reiškia ne konkrečią baitų seką, bet pozicijos numerį. Konkreti baitų seka visuomet priklauso nuo naudojamos koduotės.

Unikodą galima laikyti ISO standarto viršaibiu, nes jis aprašo ne tik ženklų kodavimą, bet ir rikiavimo, išraiškų normalizavimo, teksto krypties taisykles ir kai kuriuos kitus dalykus apie kuriuos ISO standarte nekalbama. Tinkamam daugiakalbystės palaikymui vien tik ISO standartą palaikyti nepakanka – būtina tinkamai realizuoti ir Unikodo palaikymą. Neformalioje kalboje skirtumas tarp šių standartų dažniausiai neakcentuojamas ir kalbama tiesiog apie Unikodą.

Unikode yra visos pagrindinės ir 33 kirčiuotos lietuviškos abėcėlės raidės. Likusias 35 kirčiuotas raides galima išreikšti kompozicinėmis sekomis. Kompozicinę seką sudaro paeiliui einantys pamatinės raidės ir kombinacinio kirčio kodai, o mažųjų raidžių i, į, ir j atvejais tarp jų įsiterpia ir kombinacinio taško kodas. Pavyzdžiui, raidė m̃ (mažoji raidė m su riestiniu kirčiu) išreiškiama kodų seka U+006D U+0303, o raidė į̇́ (mažoji raidė i nosinė su dešininiu kirčiu) – kodų seka U+012F U+0307 U+0301.

Kone visuose kituose koduočių standartuose, bent jau patvirtintuose ar atnaujintuose nuo 2000 metų, ISO/IEC 10646 standartas naudojamas kaip atspirties taškas – konkrečios pozicijos tose koduotėse yra vienareikšmiškai įvardijamos kaip konkrečių jo pozicijų ar sekų atitikmenys.

Lietuvoje standartas ISO/IEC 10646-1 yra priimtas viršelio būdu ir jam suteiktas žymuo LST ISO/IEC 10646-1.

8 bitų koduotės

Prieš išrandant Unikodą ir jam įsigalint, kompiuteriuose buvo vartojama daugybė tarpusavyje nesuderinamų ženklų koduočių. Daugumoje šių koduočių ženklai buvo koduojami vienu baitu, todėl į tokias koduotes tilpdavo tik nedidelė aibė ženklų Žemiau rasite dalies lietuvių kalbai naudotų (ar standartizuotų naudoti) 8 bitų koduočių sąrašą. Aštuonbičių koduočių, ypač Lietuvos kompiuterizavimo pradžioje, buvo dar daugiau. Apie kai kurias jų šiais laikais praktiškai nelikę jokios informacijos.

Atkreipkite dėmesį, jog šiandien visos šios koduotės aktualios tik atvirkštinio suderinamumo tikslais – kai reikia galimybės dirbti su jomis užkoduotais duomenimis. Visose naujose programose ir sistemose kaip pagrindinę koduotę derėtų naudoti tik Unikodą.

Daugumos aštuonbičių koduočių žemesnioji pusė (pirmos 128 pozicijos) sutampa su 7 bitų ASCII koduote. Su ja taip pat sutampa ir pirmos 128 Unikodo pozicijos. Jos atrodo štai taip ir žemiau nebus kartojamos:

Šioje ir kitose lentelėse koduotės ženklai išvardinti kone įprasčiausiu koduotėms būdu – eilučių ir stulpelių antraštėse naudojant šešioliktainius skaitmenis, o eilutės ir stulpelio sandūroje – nurodant konkrečioje šešioliktainėje pozicijoje esantį ženklą. Pavyzdžiui, eilutės „5…“ ir stulpelio „…9“ sandūroje nurodyta raidė Y, esanti visų čia minimų koduočių 59-ojoje šešioliktainėje (131-ojoje dešimtainėje) pozicijoje. Pozicijos numeruojamos nuo nulio – tuomet pats pozicijos numeris atspindi aštuonbitės koduotės kodą. Pozicijos nuo 00 iki 1F imtinai bei 7F yra naudojamos vadinamiesiems nespausdinamiems, arba kontroliniams ženklams. Lentelėje šie ženklai pakeisti jų grafiniam atvaizdavimui skirtais Unikodo ženklais. 20 pozicijoje yra paprastas tarpas – jis irgi pakeistas grafiniam atvaizdavimui skirtu ženklu.

Žemiau esančiose kai kurių koduočių viršutinių dalių (128-255) lentelėse pirmos dvi eilutės (pozicijos 80-9F) yra tuščios. Taip yra dėl to, kad tose koduotėse šios pozicijos (kaip ir 00–1F bei 7F) yra rezervuotos nespausdinamiems ženklams, tačiau patys ženklai neįvardyti. Praktikoje galima laikyti, jog šie kodai atitinka tas pačias pozicijas Unikodo ženklų aibėje. Lentelėse naudojami šie žymėjimai: NBSP – jungiamasis tarpas (angl. non-breaking space); SHY – kėlimo ženklas (angl. soft hyphen).

LST ISO/IEC 8859-13

Lietuvos standartas LST ISO/IEC 8859-13. Informacijos technologija. 8 bitais koduotų ženklų rinkiniai. 13 dalis. Lotynų 7-oji abėcėlė (tapatus ISO/IEC 8859-13:1998).

Tarptautiniu mastu rašto ženklų kodavimą 8 bitais apibrėžia standartas ISO/IEC 8859. Jį sudaro atskiros dalys, kurių kiekviena dalis apibrėžia kodų lentelę, pritaikytą tam tikros kalbų grupės rašto ženklams koduoti. Standartas yra atviras, t. y. gali būti papildomas naujomis dalimis. Šiuo metu jį sudaro 15 dalių.

Standarto 13-oji dalis ISO/IEC 8859-13 apibrėžia lotynų 7-osios abėcėlės ženklų rinkinį, turintį lietuviškus rašto ženklus. Ji išversta į lietuvių kalbą ir priimta Lietuvos standartu, kuriam suteiktas žymuo LST ISO/IEC 8859-13:2000. Šio standarto apibrėžta kodų lentelė kompiuteriuose žymima trumpiau – ISO-8859-13. Tai – pagrindinis Lietuvos rašto ženklų kodavimo 8 bitais standartas, naudotas kaip pagrindas kuriant kitus 8 bitų kodavimo standartus.

Standartas LST ISO/IEC 8859-13 nuo 2000 m. pakeitė iki tol galiojusį standartą LST 1282. Tačiau iš tikrųjų pasikeitė tik aprašymo pavidalas, o visų ženklų kodai išliko tie patys. LST 1282 standarto koduotė dar buvo žinoma „Baltic Rim“ vardu. Ją projektavo Virginijus Dadurkevičius, Evaldas Kulbokas, Imants Mētra, Edmundas Mišeikis, Algimantas Oškinis, Danielius Ralys.

Apatinė šios koduotės pusė (128-255 pozicijos) atrodo taip:

LST 1564

Lietuvos standartas LST 1564. Informacijos technologija. Ženklų kodavimas 8 bitais. Lietuviškų kirčiuotų raidžių rinkinys

Kirčiuotų raidžių standartas apibrėžia kodų lentelę, kurioje pagrindinės lietuvių kalbos abėcėlės raidžių aibė papildyta kirčiuotomis raidėmis. Šioje kodų lentelėje pagrindinių (nekirčiuotų) lietuviškos abėcėlės raidžių ir visų kitų ženklų, išskyrus kirčiuotas raides, kodai sutampa su standarto LST ISO/IEC 8859-13 kodais.

Šis standartas buvo pagrindinis 8 bitais koduojamų kirčiuotų raidžių standartas. Remiantis šiuo standartu buvo sudaromi kirčiuotų raidžių kodavimo standartai atskiroms operacinėms sistemoms.

Aukštesnioji šios koduotės pusė (128-255 pozicijos) atrodo taip:

LST 1590

Lietuvos standartas LST 1590. Informacijos technologija. Ženklų kodavimas 8 bitais

Šis standartas apibrėžia ženklų rinkinius, turinčius lietuviškus rašto ženklus, ir jų kodavimą atskirose operacinėse sistemose. Jį sudaro atskiros dalys, kurių kiekviena dalis apibrėžia kodų lentelę pagrindinei arba kirčiuotų raidžių lietuvų kalbos abėcėlei, skirtą konkrečios genties operacinėms sistemoms. Standartas yra atviras, t. y. teoriškai gali būti papildomas naujomis dalimis. Praktikoje nuo 2000 metų jis jokių papildymų nesusilaukė. Standartą sudaro keturios dalys.

LST 1590-1 (DOS 775)

Lietuvos standartas LST 1590-1. Informacijos technologija. Ženklų kodavimas 8 bitais. 1 dalis. Grafinių ženklų rinkinys DOS terpei. Standartas apibrėžia lotynų 7-osios abėcėlės (Latin 7) ženklų rinkinį (tą patį, kurį apibrėžia pagrindinis standartas LST ISO/IEC 8859-13), papildytą operacinei sistemai DOS būdingais pseudografikos ženklais ir perrikiuotą, priderinant prie šios operacinės sistemos kodavimo sistemos savitumų. Šio standarto apibrėžiamas kodavimas žinomas kodų lentelės 775 vardu.

Šios kodų lentelės aukštesnioji pusė atrodo taip:

LST 1590-2 (DOS 778)

Lietuvos standartas LST 1590-2. Informacijos technologija. Ženklų kodavimas 8 bitais. 2 dalis. Lietuviškų kirčiuotų raidžių ir transkripcijos ženklų rinkinys DOS terpei. Šis standartas apibrėžia DOS skirtą kodų lentelę, kurioje pagrindinės lietuvių kalbos abėcėlės raidžių aibė papildyta kirčiuotomis raidėmis bei fonetiniais ženklais. Šioje kodų lentelėje pagrindinių (nekirčiuotų) lietuviškos abėcėlės raidžių ir kitų ženklų kodai sutampa su standarto LST 1590-1 kodais. Ši kodų lentelė taip pat buvo žinoma 778 vardu.

Šios kodų lentelės aukštesnioji pusė atrodo taip:

LST 1590-3 (Windows-1257)

Lietuvos standartas LST 1590-3. Informacijos technologija. Ženklų kodavimas 8 bitais. 3 dalis. Grafinių ženklų rinkinys „Windows“ terpei. Standartas apibrėžia aštuonbitę kodų lentelę su lietuviškomis raidėmis „Windows“ genties operacinėse sistemose. Jo apibrėžiama kodų lentelė plačiau žinoma 1257 vardu. Šioje lentelėje visų lietuviškos abėcėlės raidžių kodai sutampa su standarto LST ISO/IEC 8859-13 apibrėžiamais kodais. Skiriasi tik 4 skyrybos ženklų (kabučių ir apostrofo) kodavimas, atsiradęs dėl savitų „Microsoft“ kodavimo principų.

Aukštesnioji šios kodų lentelės pusė atrodo taip:

LST 1590-4

Lietuvos standartas LST 1590-4. Informacijos technologija. Ženklų kodavimas 8 bitais. 4 dalis. Lietuviškų kirčiuotų raidžių ir transkripcijos ženklų rinkinys „Windows“ terpei. Šis standartas apibrėžia kodų lentelę, kurioje pagrindinės lietuvių kalbos abėcėlės raidžių aibė papildyta kirčiuotomis raidėmis bei fonetiniais ženklais. Šioje kodų lentelėje pagrindinių (nekirčiuotų) lietuviškos abėcėlės raidžių ir visų kitų ženklų, išskyrus kirčiuotas raides ir fonetinius ženklus, kodai sutampa su standarto LST 1590-3 kodais.

Šios kodu lentelės aukštesnioji pusė atrodo taip:

Senesnės 8 bitų koduotės

Aukščiau išvardintos 8 bitų koduotės Lietuvoje standartizuotos 2000 metais. Žemiau išvardintos kitos 8 bitų koduotės, naudotos kai kuriose terpėse. Dalis jų apskritai nebuvo standartizuotos, kitų standartai (išskyrus ISO/IEC 8859-4) 2000 metais panaikinti.

Informacija apie daugumą šių lentelių surinkta iš UAB „Fotonija“ svetainės ir LIKIT svetainės archyvinių kopijų.

ISO/IEC 8859-4

Lietuvos TSR RST 1093–89: Informacijos apdorojimo sistema. Daugiakalbis koduotų ženklų rinkinys su lietuviškomis raidėmis. Aštuonių bitų kodai.

ISO/IEC 8859 standartų šeimoje lietuvių kalbai iš pradžių buvo numatyta ISO/IEC 8859-4 koduotė, skirta Šiaurės Europos ir Baltijos šalims. Deja, dėl didelio raidžių skaičiaus joje neliko vietos kai kuriems skyrybos ženklams, tokiems, kaip figūrinės kabutės ar brūkšnys, tad lietuviškiems tekstams ji buvo tinkama tik su išlygomis. Lietuvos standartas numatė, jog simbolį, kurio kodas 184 (B8) leidžiama keisti lietuviškomis atidarančiosiomis kabutėmis. 1992 m. šis standartas pakeistas, priėmus LST 1282, vėliau tapusį ISO 8859-13.

Aukštesnioji šios kodų lentelės pusė (128-255 pozicijos) atrodo taip:

ISO/IEC 8859-10

Ši koduotė skirta Šiaurės šalims, tačiau joje taipogi yra visos lietuviškos raidės. Visgi, kaip ir ISO/IEC 8859-4 koduotėje, čia nėra nei lietuviškų kabučių, nei brūkšnio, tad mums ji nebuvo nė kiek geresnė. Lietuvoje ši koduotė niekada nebuvo standartizuota.

Aukštesnioji šios kodų lentelės pusė (128-255 pozicijos) atrodo taip:

DOS 770 (LST 1095)

LST 1095-89 Informacijos apdorojimo sistema. Personalinių kompiuterių ženklų rinkinys su lietuviškomis raidėmis. Aštuonių bitų kodai.

Tai – pirmoji standartizuota Baltijos šalių koduotė DOS sistemai. Koduotė geriau žinoma kaip DOS 770, pat vadinta „IBM Baltic“ vardu. Ankstesnis šio standarto žymuo – RST 1095-89. Jį parengė Virginijus Dadurkevičius, Danielius Ralys, Julius Sruogis ir Rimas Voldemaras konsultuodamiesi su latviais ir estais.

Aukštesnioji šios kodų lentelės pusė (128-255 pozicijos) atrodo taip:

DOS 771 (KBL)

Kone seniausiai DOS terpėje Lietuvoje naudota kodų lentelė, apimanti rusų ir lietuvių kalbų rašmenis (išskyrus rusišką raidę Ёё). Šios koduotės autorius – Vidmantas Balčytis. Rusų abėcėlės raidės joje išdėstytose tose pačiose vietose, kaip ir kirilicai skirtoje DOS 866 koduotėje, ir užima visas vietas, kurias buvo įprasta skirti nacionalinėms raidėms. Lietuviškos raidės buvo išdėstytos vietoj pseudografikos bei matematinių ženklų. Tai kėlė nemažai problemų, tačiau ši koduotė buvo gan populiari, nes ją į kompiuterius dažnai diegdavo pardavėjai.

Aukštesnioji šios kodų lentelės pusė:

DOS 772 (LST 1284)

LST 1284:1993 Informacijos technologija. 8 bitų lotyniškos abėcėlės koduotų ženklų rinkinys, papildytas lietuviškos ir rusiškos abėcėlių raidėmis, skirtas naudoti MS DOS aplinkoje. 772 kodų lentelė.

Ši koduotė taipogi pirmenybę teikė rusiškoms raidėms: jos joje irgi išdėstytos tose pačiose vietose, kaip ir DOS 866 koduotėje. Nuo 771 koduotės ši skiriasi lietuviškų raidžių pozicijomis. Joje „paaukoti“ ne lentelės pabaigoje buvę matematiniai ženklai, o pseudografikos dvigubų ir viengubų linijų sankirtos. Tai vis tiek kėlė problemų, tačiau bent jau pseudografiką naudojančios programos nebuvo per daug išdarkomos. Lietuviškų raidžių vietos šioje kodų lentelėje sutampa su 775 kodų lentele (LST 1590-1). Joje yra abejos lietuviškos figūrinės kabutės. Ši koduotė taip pat kartais vadinama 1119 numeriu. Šis standartas nuo 2000 m. panaikintas.

Aukštesnioji šios kodų lentelės pusė:

DOS 773

Lietuviškų raidžių išdėstymas šioje kodų lentelėje atitinka KBL išdėstymą, tačiau rusiškų raidžių joje nėra, nes ženklų aibė sutampa su 775 kodų lentele.

Aukštesnioji šios kodų lentelės pusė:

DOS 774 (LST 1283)

LST 1283:1993 Informacijos technologija. 8 bitų lotyniškos abėcėlės koduotų ženklų rinkinys, papildytas lietuviškos abėcėlės raidėmis, skirtas naudoti MS DOS aplinkoje. 774 kodų lentelė.

Šioje koduotėje lietuviškų raidžių pozicijos sutampa su 772 koduote, tačiau vietoj rusiškų raidžių yra pateiktas įvairių Europos kalbų raidžių rinkinys. Vėliau standartizuota 775 koduotė nuo šios skiriasi tuo, kad joje ką tik minėtos raidės pakeistos naudojamomis latvių ir estų kalbose.

Šis standartas nuo 2000 m. panaikintas.

Aukštesnioji kodų lentelės pusė:

DOS 776

Kodų lentelė, sudaryta papildant 770 lentelę lietuviškomis kirčiuotomis raidėmis ir žodynuose naudojamais ženklais. Aukštesnioji šios kodų lentelės pusė atrodo taip:

DOS 777

Kodų lentelė, sudaryta papildant 771 lentelę lietuviškomis kirčiuotomis raidėmis ir ženklais naudojamais žodynų sudarymui. Aukštesnioji šios kodų lentelės pusė:

10029 (MacCE)

Vidurio Europos ir Baltijos šalims skirta senųjų „Mac OS” operacinės sistemos 10029 kodų lentelė. Aukštesnioji lentelės pusė:

Spectrum

Pirmoji plačiau naudota lietuviška kodų lentelė „Windows“ terpei. Ši koduotė nebuvo standartizuota. Žvelgiant į lentelę, panašu, kad ši koduotė buvo sukurta, tiesiog pakeitus po devynias mažąsias ir didžiąsias raides ISO/IEC 8859-1 koduotėje ir pridėjus du viengubų figūrinių kabučių ženklus. Kaip ir kelios kitos atskirų vietinių įmonių sukurtos koduotės, „Spectrum“ nespėjo labai paplisti – jas visas greitai išstūmė „Windows-1257“.

Aukštesnioji lentelės pusė:

BALTIC EBCDIC (1112 ir 1156)

EBCDIC grupės koduotės yra skirtos „didiesiems“ kompiuteriams (angl. mainframe) ir įprastame vartojime praktiškai nesutinkama. 1112 kodų lentelė nuo 1156 skiriasi tik viena pozicija: 1112 lentelėje 9F pozicijoje yra bendrinis valiutos ženklas (¤), o atnaujintoje 1156 lentelėje – euro ženklas (€). 1112 kodų lentelė apibrėžta Latvijos standarte RST 0040-90. Panašu, kad Lietuvoje ji standartizuota nebuvo.

EBCDIC koduotės sudarytos kitu principu, nei ASCII pagrindo koduotės, todėl žemiau 1156 koduotės lentelė pateikiama visa apimtimi:

Kaip ir aukščiau, šioje lentelėje nespausdinami ženklai žymimi jų grafiniam atvaizdavimui skirtais ženklais, o kai tokių Unikode nėra – įprastinėmis santrumpomis.