B
    .(b                 @   sh   d dl mZ d dlZddddddd	d
dddg
fddddddddddddgfgZejdedd ZdS )    )unicode_literalsNu   Մետաղագիտությունը պայմանականորեն բաժանվում է տեսականի և կիրառականի (տեխնիկական)u"   Մետաղագիտությունըu   պայմանականորենu   բաժանվումu   էu   տեսականիu   ևu   կիրառականի(u   տեխնիկական)uy   Գետաբերանը գտնվում է Օմոլոնա գետի ձախ ափից 726 կմ հեռավորության վրաu   Գետաբերանըu   գտնվումu   Օմոլոնաu   գետիu   ձախu   ափիցZ726u   կմu   հեռավորությանu   վրաztext,expected_tokensc             C   s&   | |}dd |D }||ks"t d S )Nc             S   s   g | ]}|j s|jqS  )Zis_spacetext).0tokenr   r   Q/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/hy/test_tokenizer.py
<listcomp>/   s    z=test_ga_tokenizer_handles_exception_cases.<locals>.<listcomp>)AssertionError)Zhy_tokenizerr   Zexpected_tokenstokensZ
token_listr   r   r	   )test_ga_tokenizer_handles_exception_cases,   s    r   )
__future__r   ZpytestZhy_tokenize_text_testmarkZparametrizer   r   r   r   r	   <module>   s2   
