B .(b@sfddlmZddlZddfddfgZddfd d fgZd d fgZd d fddfddfddfddfgZddfddfddfddfddfgZddfddfdd fd!d"fd#d$fgZ d%d&fgZ eeeeee e Z d'd(d)d*d+d,d-d.gfgZ ej d/e d0d1Zej d2e d3d4ZdS)5)unicode_literalsNu!Бала-чака жакшыбы?u"Бала-чака жакшыбы ?u%Кыз-келиндер кийими.u&Кыз-келиндер кийими .unПассажир саны - 2,13 млн — киши/күнүнө (2010), 783,9 млн. киши/жылына.uvПассажир саны - 2,13 млн — киши / күнүнө ( 2010 ) , 783,9 млн. киши / жылына .u То"койu То " койuЭртең 22-январь...u Эртең 22 - январь ...u*Маселе б-ча эртең келетu$Ахунбаев көч. турат.u%Ахунбаев көч. турат .u'«3-жылы (б.з.ч.) туулганu,« 3 - жылы ( б.з.ч. ) туулганu5Жүгөрү ж.б. дандар колдонулатu3-4 кк. курулган.u3 - 4 кк. курулган .u М.Жумашu М.жумашu м.Жумашuм . ЖумашuЖумаш М.Н.u Жумаш.u Жумаш .u«3-жылда , туулганu"« 3 - жылда , туулганu«3-жылда,туулганu«3-жылда,туулган.u$« 3 - жылда , туулган .uАл иштейт(качан?)u"Ал иштейт ( качан ? )uАл (качан?)иштейтu!Ал ( качан ?) иштейтuАлыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак: ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал. Мисалы, январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка (100 чакырымдан кем эмес) барып келгенге аракет кылдык.uАлыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак : ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал . Мисалы , январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка ( 100 чакырымдан кем эмес ) барып келгенге аракет кылдык .u:ит, мышык ж.б.у.с. үй жаныбарлары.uит,u мышыкu+жана башка ушул сыяктууuүйuжаныбарлары.ztext,expected_tokenscCs"dd||D}||kstdS)NcSsg|]}|js|jqS)Zis_spacetext).0tokenrrQ/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/ky/test_tokenizer.py Tsz7test_ky_tokenizer_handles_testcases..)AssertionError) ky_tokenizerrZexpected_tokenstokensrrr #test_ky_tokenizer_handles_testcasesRsrz text,normscCs"||}dd|D|kstdS)NcSsg|] }|jqSr)Znorm_)rrrrr r [sz=test_ky_tokenizer_handles_norm_exceptions..)r )r rZnormsr rrr )test_ky_tokenizer_handles_norm_exceptionsXsr) __future__rZpytestsplitZINFIX_HYPHEN_TESTSZPUNC_INSIDE_WORDS_TESTSZMIXED_ORDINAL_NUMS_TESTSZ ABBREV_TESTSZNAME_ABBREV_TESTSZTYPOS_IN_PUNC_TESTSZLONG_TEXTS_TESTSZ TESTCASESZNORM_TESTCASESmarkZ parametrizerrrrrr s: