B .(äb!ã@spdZddlmZddlZdd„Zej dddd d d g¡d d „ƒZej ddddddddddddg ¡dd„ƒZdS)z9Test that longer and mixed texts are tokenized correctly.é)Úunicode_literalsNcCs d}||ƒ}t|ƒdkst‚dS)Nu£Una taula amb grans gerres de begudes i palles de coloraines com a reclam. Una carta cridanera amb ofertes de tapes, paelles i sangria. Un cambrer amb un somriure que convida a seure. La ubicació perfecta: el bell mig de la Rambla. Però és la una del migdia d’un dimecres de tardor i no hi ha ningú assegut a la terrassa del local. El dia és rúfol, però no fa fred i a la majoria de terrasses de la Rambla hi ha poca gent. La immensa majoria dels clients -tret d’alguna excepció com al restaurant Núria- són turistes. I la immensa majoria tenen entre mans una gerra de cervesa. Ens asseiem -fotògraf i periodista- en una terrassa buida.éŠ)ÚlenÚAssertionError)Ú ca_tokenizerÚtextÚtokens©r úL/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/ca/test_text.pyÚ#test_ca_tokenizer_handles_long_text sr z text,length)uPerquè va anar-hi?é)u “Ah no?â€é)u(Sí! "Anem", va contestar el Joan Carlesé )uVan córrer aprox. 10kmr )uLlavors perqué...écCs||ƒ}t|ƒ|kst‚dS)N)rr)rrÚlengthrr r r Útest_ca_tokenizer_handles_cntss rz text,match)Ú10T)Ú1T)z10,000T)z10,00T)z999.0T)ZunT)ÚdosT)ubilióT)ZgosF)ú,F)z1/2TcCs.||ƒ}t|ƒdkst‚|dj|ks*t‚dS)Nér)rrZlike_num)rrÚmatchrr r r Útest_ca_lex_attrs_like_number'sr) Ú__doc__Ú __future__rZpytestr ÚmarkZ parametrizerrr r r r Ús.