B .(b@s8ddlmZddlZddfddfgZddfd d fgZd d fgZd dfddfgZddfddfddfddfgZddfddfddfddfddfgZ d d!fgZ eeeeee e Z dd"d#d$d%gfgZ ej d&e d'd(Zej d)e d*d+ZdS),)unicode_literalsNu!Явым-төшем күләме.u"Явым-төшем күләме .uХатын-кыз киеме.uХатын-кыз киеме .uhПассаҗир саны - 2,13 млн — кеше/көндә (2010), 783,9 млн. кеше/елда.upПассаҗир саны - 2,13 млн — кеше / көндә ( 2010 ) , 783,9 млн. кеше / елда .u Ту"кайu Ту " кайu'Иртәгә 22нче гыйнвар...u(Иртәгә 22нче гыйнвар ...u#«3 елда (б.э.к.) туганu&« 3 елда ( б.э.к. ) туганu.тукымадан һ.б.ш. тегелгән.u/тукымадан һ.б.ш. тегелгән .u Ә.Тукайu Ә.тукайu ә.Тукайuә . ТукайuМиләүшә.uМиләүшә .u«3 елда , туганu« 3 елда , туганu«3 елда,туганu«3 елда,туган.u« 3 елда , туган .uУл эшли(кайчан?)u Ул эшли ( кайчан ? )uУл (кайчан?)эшлиuУл ( кайчан ?) эшлиu2Иң борынгы кешеләр суыклар һәм салкын кышлар булмый торган җылы якларда яшәгәннәр, шуңа күрә аларга кием кирәк булмаган.Йөз меңнәрчә еллар үткән, борынгы кешеләр акрынлап Европа һәм Азиянең салкын илләрендә дә яши башлаганнар. Алар кырыс һәм салкын кышлардан саклану өчен кием-салым уйлап тапканнар - итәк.u8Иң борынгы кешеләр суыклар һәм салкын кышлар булмый торган җылы якларда яшәгәннәр , шуңа күрә аларга кием кирәк булмаган . Йөз меңнәрчә еллар үткән , борынгы кешеләр акрынлап Европа һәм Азиянең салкын илләрендә дә яши башлаганнар . Алар кырыс һәм салкын кышлардан саклану өчен кием-салым уйлап тапканнар - итәк .uтукымаданu$һәм башка шундыйларuтегелгән.ztext,expected_tokenscCs"dd||D}||kstdS)NcSsg|]}|js|jqS)Zis_spacetext).0tokenrrQ/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/tt/test_tokenizer.py Psz7test_tt_tokenizer_handles_testcases..)AssertionError) tt_tokenizerrZexpected_tokenstokensrrr#test_tt_tokenizer_handles_testcasesNsr z text,normscCs"||}dd|D|kstdS)NcSsg|] }|jqSr)Znorm_)rrrrrr Wsz=test_tt_tokenizer_handles_norm_exceptions..)r )r rZnormsr rrr)test_tt_tokenizer_handles_norm_exceptionsTsr) __future__rZpytestsplitZINFIX_HYPHEN_TESTSZPUNC_INSIDE_WORDS_TESTSZMIXED_ORDINAL_NUMS_TESTSZ ABBREV_TESTSZNAME_ABBREV_TESTSZTYPOS_IN_PUNC_TESTSZLONG_TEXTS_TESTSZ TESTCASESZNORM_TESTCASESmarkZ parametrizer rrrrrs2