ryan-lowe / ubuntu-dialogue-generationv2 Goto Github PK

from create_parallel_files import runParFiles

return [process_token(c,token).lower().encode('UTF-8') for c,token in map(None, chunks, tokens)]

The chunks may have more then one word, it will raise some mismatch between chunk and token.

For example:

Sentence:

hi, please some1 can help me with my driver in ubuntu :( its a intel GM965 i tried compiz, but give me the error, Checking for Xgl: not present. Blacklisted PCIID '8086:2a02' found aborting and using fallback: /usr/bin/metacity some1 can help me please :( what kind of video card are you running? if you're not sure exactly, lspci | grep -i vga will tell you nickrud 00:02.0 VGA compatible controller: Intel Corporation Mobile GM965/GL960 Integrated Graphics Controller (rev 03) http://wiki.compiz-fusion.org/Hardware/Blacklist nickrud ty i go try it

The map(None, chunks, tokens) return:

[((u'hi', 'NN'), u'hi'), ((u',', ','), u','), ((u'please', 'NN'), u'please'), ((u'some1', 'NNP'), u'some1'), ((u'can', 'MD'), u'can'), ((u'help', 'VB'), u'help'), ((u'me', 'PRP'), u'me'), ((u'with', 'IN'), u'with'), ((u'my', 'PRP$'), u'my'), ((u'driver', 'NN'), u'driver'), ((u'in', 'IN'), u'in'), ((u'ubuntu', 'NN'), u'ubuntu'), ((u':(', ':'), u':('), ((u'its', 'PRP$'), u'its'), ((u'a', 'DT'), u'a'), ((u'intel', 'NN'), u'intel'), ((u'GM965', 'NNP'), u'GM965'), ((u'i', 'PRP'), u'i'), ((u'tried', 'VBD'), u'tried'), ((u'compiz', 'NN'), u'compiz'), ((u',', ','), u','), ((u'but', 'CC'), u'but'), ((u'give', 'VB'), u'give'), ((u'me', 'PRP'), u'me'), ((u'the', 'DT'), u'the'), ((u'error', 'NN'), u'error'), ((u',', ','), u','), (Tree('GPE', [(u'Checking', 'NNP')]), u'Checking'), ((u'for', 'IN'), u'for'), (Tree('PERSON', [(u'Xgl', 'NNP')]), u'Xgl'), ((u':', ':'), u':'), ((u'not', 'RB'), u'not'), ((u'present', 'JJ'), u'present'), ((u'.', '.'), u'.'), (Tree('PERSON', [(u'Blacklisted', 'NNP'), (u'PCIID', 'NNP')]), u'Blacklisted'), ((u"'", 'POS'), u'PCIID'), ((u'8086:2', 'CD'), u"'"), ((u'a02', 'NNP'), u'8086:2'), ((u"'", 'POS'), u'a02'), ((u'found', 'NN'), u"'"), ((u'aborting', 'NN'), u'found'), ((u'and', 'CC'), u'aborting'), ((u'using', 'VBG'), u'and'), ((u'fallback', 'NN'), u'using'), ((u':', ':'), u'fallback'), ((u'/usr/bin/metacity', 'NN'), u':'), ((u'some1', 'NNP'), u'/usr/bin/metacity'), ((u'can', 'MD'), u'some1'), ((u'help', 'VB'), u'can'), ((u'me', 'PRP'), u'help'), ((u'please', 'VB'), u'me'), ((u':(', ':'), u'please'), ((u'what', 'WP'), u':('), ((u'kind', 'NN'), u'what'), ((u'of', 'IN'), u'kind'), ((u'video', 'NN'), u'of'), ((u'card', 'NN'), u'video'), ((u'are', 'VBP'), u'card'), ((u'you', 'PRP'), u'are'), ((u'running', 'VBG'), u'you'), ((u'?', '.'), u'running'), ((u'if', 'IN'), u'?'), ((u"you're", 'JJ'), u'if'), ((u'not', 'RB'), u"you're"), ((u'sure', 'JJ'), u'not'), ((u'exactly', 'RB'), u'sure'), ((u',', ','), u'exactly'), ((u'lspci', 'NN'), u','), ((u'|', ':'), u'lspci'), ((u'grep', 'NN'), u'|'), ((u'-i', '-NONE-'), u'grep'), ((u'vga', 'NN'), u'-i'), ((u'will', 'MD'), u'vga'), ((u'tell', 'VB'), u'will'), ((u'you', 'PRP'), u'tell'), ((u'nickrud', 'VB'), u'you'), ((u'00:02', 'CD'), u'nickrud'), ((u'.', '.'), u'00:02'), ((u'0', '-NONE-'), u'.'), (Tree('ORGANIZATION', [(u'VGA', 'NNP')]), u'0'), ((u'compatible', 'JJ'), u'VGA'), ((u'controller', 'NN'), u'compatible'), ((u':', ':'), u'controller'), (Tree('ORGANIZATION', [(u'Intel', 'NNP'), (u'Corporation', 'NNP')]), u':'), ((u'Mobile', 'NNP'), u'Intel'), ((u'GM965/GL960', 'NNP'), u'Corporation'), ((u'Integrated', 'NNP'), u'Mobile'), ((u'Graphics', 'NNP'), u'GM965/GL960'), ((u'Controller', 'NNP'), u'Integrated'), ((u'(', 'NNP'), u'Graphics'), ((u'rev', 'NN'), u'Controller'), ((u'03', 'CD'), u'('), ((u')', 'CD'), u'rev'), ((u'http://wiki.compiz-fusion.org/Hardware/Blacklist', 'JJ'), u'03'), ((u'nickrud', 'NN'), u')'), ((u'ty', 'NN'), u'http://wiki.compiz-fusion.org/Hardware/Blacklist'), ((u'i', 'PRP'), u'nickrud'), ((u'go', 'VBP'), u'ty'), ((u'try', 'NN'), u'i'), ((u'it', 'PRP'), u'go'), (None, u'try'), (None, u'it')]