B
    .(ไbl  ใ               @   s:   d dl mZ d dlZdd Zej dddgกdd	 ZdS )
้    )ฺunicode_literalsNc             C   s    d}| |}t |dkstd S )Nuฆ   เดเดจเดพเดตเดถเตเดฏเดฎเดพเดฏเดฟ เดเดฃเตเดฃเดฟเดฒเตเด เดฎเตเดเตเดเดฟเดฒเตเด เดตเดพเดฏเดฟเดฒเตเด เดธเตเดชเตผเดถเดฟเดเตเดเดพเดคเดฟเดฐเดฟเดเตเดเตเด้   )ฺlenฺAssertionError)ฺml_tokenizerฺtextฺtokensฉ r	   ๚L/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/ml/test_text.pyฺ#test_ml_tokenizer_handles_long_text   s    r   ztext,length)uP  เดเดจเตเดจเดพเตฝ เดเดเตเดเดเดฟเดฏเตเดเต เดเดตเดฟเตผเดญเดพเดตเด เดฒเดฟเดชเดฟเดฏเดฟเตฝ เดเดพเดฐเตเดฏเดฎเดพเดฏ เดฎเดพเดฑเตเดฑเดเตเดเตพ เดตเดฐเตเดคเตเดคเดฟเดฏเดคเต เดเตเดเตเดเดเตเดทเดฐเดเตเดเดณเต เดเดฃเตเดเดเตเดทเดฐเดเตเดเดณเดพเดฏเดฟ เดชเดฟเดฐเดฟเดเตเดเตเดเตเดฃเตเดเดพเดฏเดฟเดฐเตเดจเตเดจเต้
   )uฃ   เดชเดฐเดฎเตเดชเดฐเดพเดเดคเดฎเดพเดฏเดฟ เดฎเดฒเดฏเดพเดณเด เดเดเดคเตเดคเตเดจเดฟเดจเตเดจเต เดตเดฒเดคเตเดคเตเดเตเดเดพเดฃเต เดเดดเตเดคเตเดจเตเดจเดคเตr   c             C   s   | |}t ||kstd S )N)r   r   )r   r   ฺlengthr   r	   r	   r
   ฺtest_ml_tokenizer_handles_cnts   s    r   )ฺ
__future__r   Zpytestr   ฺmarkZparametrizer   r	   r	   r	   r
   ฺ<module>   s   