B .(äb_ã@sėddlmZddlZddddddgfd ddd d d gfd dddddddgfdddddddgfddddddd d!dd"d#dg fd$d%d&d'd(d)d*d+d d(g fd,d-d.d-d/d0dgfd1d2ddd3d4gfd5d6d7d8d9d:d;dd?„ƒZd@dA„ZdS)Bé)Úunicode_literalsNu4āĻ†āĻŽāĻŋ āĻŦāĻžāĻ‚āĻ˛āĻžāĻ¯āĻŧ āĻ—āĻžāĻ¨ āĻ—āĻžāĻ‡!u āĻ†āĻŽāĻŋuāĻŦāĻžāĻ‚āĻ˛āĻžāĻ¯āĻŧu āĻ—āĻžāĻ¨u āĻ—āĻžāĻ‡ú!u3āĻ†āĻŽāĻŋ āĻŦāĻžāĻ‚āĻ˛āĻžāĻ¯āĻŧ āĻ•āĻĨāĻž āĻ•āĻ‡āĨ¤u āĻ•āĻĨāĻžuāĻ•āĻ‡uāĨ¤uiāĻŦāĻ¸ā§āĻ¨ā§āĻ§āĻ°āĻž āĻœāĻ¨āĻ¸āĻŽā§āĻŽā§āĻ–ā§‡ āĻĻā§‹āĻˇ āĻ¸ā§āĻŦā§€āĻ•āĻžāĻ° āĻ•āĻ°āĻ˛ā§‹ āĻ¨āĻž?uāĻŦāĻ¸ā§āĻ¨ā§āĻ§āĻ°āĻžuāĻœāĻ¨āĻ¸āĻŽā§āĻŽā§āĻ–ā§‡u āĻĻā§‹āĻˇuāĻ¸ā§āĻŦā§€āĻ•āĻžāĻ°u āĻ•āĻ°āĻ˛ā§‹uāĻ¨āĻžú?u5āĻŸāĻžāĻ•āĻž āĻĨāĻžāĻ•āĻ˛ā§‡ āĻ•āĻŋ āĻ¨āĻž āĻšāĻ¯āĻŧ!u āĻŸāĻžāĻ•āĻžuāĻĨāĻžāĻ•āĻ˛ā§‡uāĻ•āĻŋu āĻšāĻ¯āĻŧu„āĻ¸āĻ°āĻ•āĻžāĻ°āĻŋ āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āĻ¯āĻžāĻ˛ā§Ÿ-āĻāĻ° āĻ›āĻžāĻ¤ā§āĻ° āĻ¨āĻ‡ āĻŦāĻ˛ā§‡āĻ‡ āĻ•āĻŋ āĻāĻŽāĻ¨ āĻ†āĻšāĻ°āĻŖ?uāĻ¸āĻ°āĻ•āĻžāĻ°āĻŋu'āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āĻ¯āĻžāĻ˛ā§Ÿú-uāĻāĻ°uāĻ›āĻžāĻ¤ā§āĻ°uāĻ¨āĻ‡u āĻŦāĻ˛ā§‡āĻ‡u āĻāĻŽāĻ¨u āĻ†āĻšāĻ°āĻŖuLāĻ¤āĻžāĻ°āĻž āĻŦāĻ˛ā§‡, "āĻ“āĻ°āĻž āĻ–āĻžāĻŽāĻžāĻ°ā§‡āĻ° āĻŽā§āĻ°āĻ—āĻŋāĨ¤"u āĻ¤āĻžāĻ°āĻžu āĻŦāĻ˛ā§‡ú,ú"u āĻ“āĻ°āĻžuāĻ–āĻžāĻŽāĻžāĻ°ā§‡āĻ°uāĻŽā§āĻ°āĻ—āĻŋu ā§Š*ā§Š=ā§Ŧ?uā§ŠÚ*ú=uā§Ŧu?āĻ•āĻžāĻāĻ āĻžāĻ˛-āĻāĻ° āĻ—āĻ¨ā§āĻ§āĻ‡ āĻ…āĻ¨ā§āĻ¯āĻ°āĻ•āĻŽuāĻ•āĻžāĻāĻ āĻžāĻ˛uāĻ—āĻ¨ā§āĻ§āĻ‡uāĻ…āĻ¨ā§āĻ¯āĻ°āĻ•āĻŽu^āĻĄāĻƒ āĻ–āĻžāĻ˛ā§‡āĻĻ āĻŦāĻ˛āĻ˛ā§‡āĻ¨ āĻĸāĻžāĻ•āĻžāĻ¯āĻŧ ā§Šā§Ģ āĻĄāĻŋāĻ—ā§āĻ°āĻŋ āĻ¸ā§‡.āĨ¤uāĻĄāĻƒuāĻ–āĻžāĻ˛ā§‡āĻĻuāĻŦāĻ˛āĻ˛ā§‡āĻ¨uāĻĸāĻžāĻ•āĻžāĻ¯āĻŧuā§Šā§ĢuāĻĄāĻŋāĻ—ā§āĻ°āĻŋuāĻ¸ā§‡.ztext,expected_tokenscCs&||ƒ}dd„|Dƒ}||ks"t‚dS)NcSsg|]}|js|j‘qSŠ)Zis_spaceÚtext)Ú.0Útokenr r úQ/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/bn/test_tokenizer.pyú sz7test_bn_tokenizer_handles_testcases..)ÚAssertionError)Ú bn_tokenizerr Zexpected_tokensÚtokensZ token_listr r rÚ#test_bn_tokenizer_handles_testcasessrcCs d}||ƒ}t|ƒdkst‚dS)Nu×āĻ¨āĻ°ā§āĻĨ āĻ¸āĻžāĻ‰āĻĨ āĻŦāĻŋāĻļā§āĻŦāĻŦāĻŋāĻĻā§āĻ¯āĻžāĻ˛āĻ¯āĻŧā§‡ āĻ¸āĻžāĻ°āĻžāĻŦāĻ›āĻ° āĻ•ā§‹āĻ¨ āĻ¨āĻž āĻ•ā§‹āĻ¨ āĻŦāĻŋāĻˇāĻ¯āĻŧā§‡ āĻ—āĻŦā§‡āĻˇāĻŖāĻž āĻšāĻ˛āĻ¤ā§‡āĻ‡ āĻĨāĻžāĻ•ā§‡āĨ¤ āĻ…āĻ­āĻŋāĻœā§āĻž āĻĢā§āĻ¯āĻžāĻ•āĻžāĻ˛ā§āĻŸāĻŋ āĻŽā§‡āĻŽā§āĻŦāĻžāĻ°āĻ—āĻŖ āĻĒā§āĻ°āĻžāĻ¯āĻŧāĻ‡ āĻļāĻŋāĻ•ā§āĻˇāĻžāĻ°ā§āĻĨā§€āĻĻā§‡āĻ° āĻ¨āĻŋāĻ¯āĻŧā§‡ āĻŦāĻŋāĻ­āĻŋāĻ¨ā§āĻ¨ āĻ—āĻŦā§‡āĻˇāĻŖāĻž āĻĒā§āĻ°āĻ•āĻ˛ā§āĻĒā§‡ āĻ•āĻžāĻœ āĻ•āĻ°ā§‡āĻ¨, āĻ¯āĻžāĻ° āĻŽāĻ§ā§āĻ¯ā§‡ āĻ°āĻ¯āĻŧā§‡āĻ›ā§‡ āĻ°ā§‹āĻŦāĻŸ āĻĨā§‡āĻ•ā§‡ āĻŽā§‡āĻļāĻŋāĻ¨ āĻ˛āĻžāĻ°ā§āĻ¨āĻŋāĻ‚ āĻ¸āĻŋāĻ¸ā§āĻŸā§‡āĻŽ āĻ“ āĻ†āĻ°ā§āĻŸāĻŋāĻĢāĻŋāĻļāĻŋāĻ¯āĻŧāĻžāĻ˛ āĻ‡āĻ¨ā§āĻŸā§‡āĻ˛āĻŋāĻœā§‡āĻ¨ā§āĻ¸āĨ¤ āĻāĻ¸āĻ•āĻ˛ āĻĒā§āĻ°āĻ•āĻ˛ā§āĻĒā§‡ āĻ•āĻžāĻœ āĻ•āĻ°āĻžāĻ° āĻŽāĻžāĻ§ā§āĻ¯āĻŽā§‡ āĻ¸āĻ‚āĻļā§āĻ˛āĻŋāĻˇā§āĻŸ āĻ•ā§āĻˇā§‡āĻ¤ā§āĻ°ā§‡ āĻ¯āĻĨā§‡āĻˇā§āĻ  āĻĒāĻ°āĻŋāĻŽāĻžāĻŖ āĻ¸ā§āĻĒā§‡āĻļāĻžāĻ˛āĻžāĻ‡āĻœāĻĄ āĻšāĻ“āĻ¯āĻŧāĻž āĻ¸āĻŽā§āĻ­āĻŦāĨ¤ āĻ†āĻ° āĻ—āĻŦā§‡āĻˇāĻŖāĻžāĻ° āĻ•āĻžāĻœ āĻ¤ā§‹āĻŽāĻžāĻ° āĻ•ā§āĻ¯āĻžāĻ°āĻŋāĻ¯āĻŧāĻžāĻ°āĻ•ā§‡ āĻ ā§‡āĻ˛ā§‡ āĻ¨āĻŋāĻ¯āĻŧā§‡ āĻ¯āĻžāĻŦā§‡ āĻ…āĻ¨ā§‡āĻ•āĻ–āĻžāĻ¨āĻŋ! āĻ•āĻ¨ā§āĻŸā§‡āĻ¸ā§āĻŸ āĻĒā§āĻ°ā§‹āĻ—ā§āĻ°āĻžāĻŽāĻžāĻ° āĻšāĻ“, āĻ—āĻŦā§‡āĻˇāĻ• āĻ•āĻŋāĻ‚āĻŦāĻž āĻĄā§‡āĻ­ā§‡āĻ˛āĻĒāĻžāĻ° - āĻ¨āĻ°ā§āĻĨ āĻ¸āĻžāĻ‰āĻĨ āĻ‡āĻ‰āĻ¨āĻŋāĻ­āĻžāĻ°ā§āĻ¸āĻŋāĻŸāĻŋāĻ¤ā§‡ āĻ¤ā§‹āĻŽāĻžāĻ° āĻĒā§āĻ°āĻ¤āĻŋāĻ­āĻž āĻŦāĻŋāĻ•āĻžāĻļā§‡āĻ° āĻ¸ā§āĻ¯ā§‹āĻ— āĻ°āĻ¯āĻŧā§‡āĻ›ā§‡āĻ‡āĨ¤ āĻ¨āĻ°ā§āĻĨ āĻ¸āĻžāĻ‰āĻĨā§‡āĻ° āĻ…āĻ¸āĻžāĻ§āĻžāĻ°āĻŖ āĻ•āĻŽāĻŋāĻ‰āĻ¨āĻŋāĻŸāĻŋāĻ¤ā§‡ āĻ¤ā§‹āĻŽāĻžāĻ•ā§‡ āĻ¸āĻžāĻĻāĻ° āĻ†āĻŽāĻ¨ā§āĻ¤ā§āĻ°āĻŖāĨ¤éT)Úlenr)rr rr r rÚ#test_bn_tokenizer_handles_long_textsr)Ú __future__rZpytestZ TESTCASESÚmarkZ parametrizerrr r r rÚs