Mi chiedo quale sia lo scopo di serializzare la classe.
Pensavo che tu facessi l'elaborazione e poi serializzassi, in modo da calcolare il tutto solo una volta e limitarti a caricare dal disco le volte successive.
Ho scoperto, invece, che tu serializzi la classe appena creata e elabori solo quando deserializzi. In pratica e' come se salvassi soltanto i parametri con cui costruisci la classe.
Quale e' il senso di questa cosa?

Al momento elaboriamo tutti i topic contemporaneamente. Credo sarebbe meglio, invece, elaborare i singoli topic separatamente. Trovo che questo sarebbe piu' conveniente per i seguenti motivi:
1 - minor tempo di elaborazione per singolo topic
2 - maggiore pulizia dell'output
3 - mi aspetto che topic diversi diano risultati molto diversi. Servirebbe per poter isolare e analizzare separatamente le diversita' tra i risultati
4 - maggior chiarezza e semplicita' di utilizzo. Supponendo di avere nel file di configurazione il path alle cartelle dei tweet e delle news, basterebbe passare ai programmi in input il nome del topic come unico parametro

./analyzeTweets -t topic

./analyzeNews -t topic

link alle news ABC e wikipedia per l'anno 2009: http://bit.ly/1oEDoBh
sarebbero da considerare anche queste, e non solo quelle del NYT

There is no reference regarding the tf/idf

I would suggest to create a configuration file in which the user can store the paths to tweets and news, in order to avoid to type them everytime.
I had already used a simple library which allows to use .ini files as configuration.
The library is called "configparser" and is very very easy to used (it reads the ini file and stores the values inside a 2-level dictionary)

Traceback (most recent call last):
File "tweetsSummary.py", line 81, in
summarizeTweets(tweetsFolder,infoFolder,pp,outputFilename,kTerms)
File "tweetsSummary.py", line 49, in summarizeTweets
texts.append( pp.processDoc(contr['text']) )
KeyError: 'text'

the keys of contr for different loop iterations are:
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
['text', u'cValue', u'timeEnd', u'cType', u'timeBegin']
[u'cValue', u'timeEnd', u'cType', u'timeBegin']

I tried to investigate this matter, but the contradictionList is such complex!
Isn't there a way to simplify everything?