B
    .(b                 @   sf  d dl mZ d dlZdd fdd fgZdd fd	d
 fgZdd fgZdd fdd fdd fdd fdd fgZdd fdd fdd fdd fdd fgZdd fdd fdd  fd!d" fd#d$ fgZ	d%d& fgZ
ee e e e e
 e	 Zd'd(d)d*d+d,d-d.gfgZejd/ed0d1 Zejd2ed3d4 ZdS )5    )unicode_literalsNu!   Бала-чака жакшыбы?u"   Бала-чака жакшыбы ?u%   Кыз-келиндер кийими.u&   Кыз-келиндер кийими .un   Пассажир саны - 2,13 млн — киши/күнүнө (2010), 783,9 млн. киши/жылына.uv   Пассажир саны - 2,13 млн — киши / күнүнө ( 2010 ) , 783,9 млн. киши / жылына .u   То"койu   То " койu   Эртең 22-январь...u    Эртең 22 - январь ...u*   Маселе б-ча эртең келетu$   Ахунбаев көч. турат.u%   Ахунбаев көч. турат .u'   «3-жылы (б.з.ч.) туулганu,   « 3 - жылы ( б.з.ч. ) туулганu5   Жүгөрү ж.б. дандар колдонулатu   3-4 кк. курулган.u   3 - 4 кк. курулган .u   М.Жумашu   М.жумашu   м.Жумашu   м . Жумашu   Жумаш М.Н.u   Жумаш.u   Жумаш .u   «3-жылда , туулганu"   « 3 - жылда , туулганu   «3-жылда,туулганu   «3-жылда,туулган.u$   « 3 - жылда , туулган .u   Ал иштейт(качан?)u"   Ал иштейт ( качан ? )u   Ал (качан?)иштейтu!   Ал ( качан ?) иштейтu  Алыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак: ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал. Мисалы, январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка (100 чакырымдан кем эмес) барып келгенге аракет кылдык.u  Алыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак : ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал . Мисалы , январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка ( 100 чакырымдан кем эмес ) барып келгенге аракет кылдык .u:   ит, мышык ж.б.у.с. үй жаныбарлары.u   ит,u
   мышыкu+   жана башка ушул сыяктууu   үйu   жаныбарлары.ztext,expected_tokensc             C   s"   dd | |D }||kst d S )Nc             S   s   g | ]}|j s|jqS  )Zis_spacetext).0tokenr   r   Q/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/ky/test_tokenizer.py
<listcomp>T   s    z7test_ky_tokenizer_handles_testcases.<locals>.<listcomp>)AssertionError)ky_tokenizerr   Zexpected_tokenstokensr   r   r	   #test_ky_tokenizer_handles_testcasesR   s    r   z
text,normsc             C   s"   | |}dd |D |kst d S )Nc             S   s   g | ]
}|j qS r   )Znorm_)r   r   r   r   r	   r
   [   s    z=test_ky_tokenizer_handles_norm_exceptions.<locals>.<listcomp>)r   )r   r   Znormsr   r   r   r	   )test_ky_tokenizer_handles_norm_exceptionsX   s    r   )
__future__r   ZpytestsplitZINFIX_HYPHEN_TESTSZPUNC_INSIDE_WORDS_TESTSZMIXED_ORDINAL_NUMS_TESTSZABBREV_TESTSZNAME_ABBREV_TESTSZTYPOS_IN_PUNC_TESTSZLONG_TEXTS_TESTSZ	TESTCASESZNORM_TESTCASESmarkZparametrizer   r   r   r   r   r	   <module>   s:   












