B
    .(äbO  ã               @   s<   d dl mZ d dlZdd„ Zej ddddg¡d	d
„ ƒZdS )é    )Úunicode_literalsNc             C   s    d}| |ƒ}t |ƒdkst‚d S )NuË  Den Nordwand an d'Sonn An der ZÃ¤it hunn sech den Nordwand an d'Sonn gestridden, wie vun hinnen zwee wuel mÃ©i staark wier, wÃ©i e Wanderer, deen an ee waarme Mantel agepak war, iwwert de Wee koum. Si goufen sech eens, dass deejÃ©inege fir de StÃ¤erkste gÃ«lle sollt, deen de Wanderer forcÃ©iere gÃ©if, sÃ¤i Mantel auszedoen. Den Nordwand huet mat aller Force geblosen, awer wat e mÃ©i geblosen huet, wat de Wanderer sech mÃ©i a sÃ¤i Mantel agewÃ©ckelt huet. Um Enn huet den Nordwand sÃ¤i Kampf opginn. Dunn huet d'Sonn d'Loft mat hire frÃ«ndleche Strale gewiermt, a schonn no kuerzer ZÃ¤it huet de Wanderer sÃ¤i Mantel ausgedoen. Do huet den Nordwand missen zouginn, dass d'Sonn vun hinnen zwee de StÃ¤erkste wier.éŽ   )ÚlenÚAssertionError)Úlb_tokenizerÚtextÚtokens© r	   úL/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/lb/test_text.pyÚ#test_lb_tokenizer_handles_long_text   s    r   ztext,length)u1   Â»Wat ass mat mir geschitt?Â«, huet hie geduecht.é   )uG   â€œDÃ«st frÃ©i Opstoenâ€, denkt hien, â€œmÃ©cht ee ganz duercherneen. é   )uB   Am Grand-DuchÃ© ass d'Liewen schÃ©in, mee 't gÃ«tt ze vill Autoen.é   c             C   s   | |ƒ}t |ƒ|kst‚d S )N)r   r   )r   r   Úlengthr   r	   r	   r
   Ú"test_lb_tokenizer_handles_examples   s    	r   )Ú
__future__r   Zpytestr   ÚmarkZparametrizer   r	   r	   r	   r
   Ú<module>   s   