smadha / sarcasmdetector Goto Github PK

Add stop words to tweet-processor

• Pick files from tweet-fetcher
• Create one file for each
  • sarcasm.txt
  • nonsarcasm.txt
  • testdata.txt
• Pass all these to tweet-processing to obtain processed files
  • sarcasm_proc.txt
  • nonsarcasm_proc.txt
  • testdata_proc.txt

I had a conversation with the prof today.
We are supposed to add TAs to the repository.
Here is the GitHub id:
rameshddrr
[email protected]

@smadha

Add it to tweet-processor

• POS in sentence can be used to create different vectors
  • Like counts of each POS in sentence
  • Positional occurrence of a POS. 1 if VB occurs at position i else 0
• Sentiment of a single word can be used to create a vector
  • 1 if word at position i is positive else 0

@swanandj7 @RajviM @TheSidhesh

Add more as you like. They are just experiments we can conduct

word: टीवी
word: सिर्फ
word: केजरीवाल
word: के
word: लिए
word: रहे
word: है
word: अभी
word: जस्ट
word: आपने
word: पूछा
word: खुद
word: फेशला
word: करो
word: हम
word: आसाराम
word: बापू
word: केस
word: में
word: एक
word: पहलु
word: दिखा
word: रहे
word: है
word: या
word: दोमें
word: बता
word: दूँ
word: आप…
word: चोर
word: हिम्मत
word: है
word: सतीश
word: वाधवानी
word: वीडियो
word: दिखातू
word: जल्द
word: में
word: होगा।
word: केजरीवाल
word: को
word: बहोत
word: परेसान
word: है।
word: मोदी
word: जी
word: बातो
word: को
word: जानने
word: के
word: लिए।
word: सारी
word: दुनिया
word: मे
word: फैलाने
word: वाली
word: को
word: भारत
word: बुलाकर
word: प्रधानमंत्री
word: जी
word: ने
word: दी
word: क्लीन
word: चिट
word: सब
word: हैं
word: यहाँ
word: अपने
word: हीजीने
word: नज़रिया
word: दिखाते
word: हैंउनकी
word: इल्तज़ा
word: हैअपनी
word: ख्वाहिशें
word: नेहरू
word: बनने
word: में
word: इस
word: कदर
word: अंधा
word: था
word: उसने
word: नेताजी
word: को
word: मरवाने
word: कोशिश
word: की।उन्हें
word: जीवन
word: जीने
word: पे
word: किया
word: तू
word: हज़ार
word: रूठेतो
word: भी
word: मना
word: लूँगा
word: तुझे
word: फिर
word: दो
word: देनी
word: पड़ेगी।
word: मोदी
word: जी
word: ने
word: कहा
word: मैं
word: खाने
word: नहीं
word: दूंगाअब
word: नितिश
word: रहे
word: है
word: मैं
word: पीने
word: नहीं
word: दूंगातो
word: निठ्ठला
word: मूर्ख
word: केजरीवाल
word: बोला
word: मैं
word: जीने
word: न…
word: वाले
word: बोले
word: हम
word: आएँ
word: नहीं
word: हैं
word: हमें
word: यहाँ
word: चाय
word: वाले
word: ने
word: बुलाया
word: है
word: वापिस
word: जाकर
word: देंगे
word: चाय
word: में
word: चीनी
word: ही
word: नहीं
word: थी
word: …
word: पहले
word: विधायकों
word: मंत्रियों
word: पुलिसकर्मियों
word: शपथ
word: बिहार
word: में
word: शराबबंदी
word: लागू
word: हमें
word: डूबने
word: हो
word: भी
word: क्योंमाधवकश्ती
word: भी
word: तेरीदरिया
word: भी
word: तेराहम
word: भी
word: तेरे
word: इस
word: षड़यंत्र
word: नींव
word: किसने
word: रखी
word: इसका
word: पता
word: न
word: करके
word: निर्दोष
word: संत
word: को
word: ही
word: परेशान
word: किया
word: गया
word: ।
word: में
word: बोले
word: फतवों
word: राजनीति
word: बंद
word: होनी
word: चाहिए
word: संविधान
word: चलता
word: है।
word: लाइव
word: देखें
word: एवं
word: कमज़ोर
word: वर्ग
word: के
word: लोगों
word: को
word: सशक्तिकरण
word: प्रदान
word: करेगा
word: पीएम
word: मोदी
word: पीठ
word: पीछेज़हर
word: उगलतेखून
word: के
word: रिश्तेजायदादकी
word: खातिरदुश्मनी
word: मेंबदलते
word: रिश्तेमासूम
word: बचपन
word: कीमोहब्बत
word: सेजवानी
word: नफरत
word: मेंब…
word: मुस्लिम
word: मीट
word: व्यपारियो
word: द्वारा
word: हिन्दू
word: महासभा
word: के
word: नेता
word: लेवा
word: हमला
word: शिकस्त
word: शिकस्त
word: पहन
word: फिर
word: चले
word: माँगने।
word: ज़रा
word: इतिहास
word: के
word: पन्ने
word: को
word: पढ़ो
word: जाहिलो।३
word: पूछा
word: था
word: मेने
word: भगवान
word: सेस्वर्ग
word: पता
word: अपनी
word: उतारकर
word: भगवान
word: ने
word: बाहों
word: में
word: सुला
word: दिया
word: ऐसी
word: नैतिकता
word: हमारे
word: यहाँके
word: नेताओ
word: में
word: भी
word: होती
word: मेरा
word: भारत
word: केजरी
word: एक
word: ट्वीट
word: नहीं
word: आया
word: लानत
word: उस
word: पे
word: भी
word: बनती
word: है
word: बुआ
word: काका
word: पे
word: है
word: ही
word: यह
word: अत्यंत
word: शर्मनाक
word: है
word: कि
word: जो
word: बिहार
word: में
word: पांच
word: नये
word: मेडिकल
word: कालेज
word: खोलने
word: घोषणा
word: करती
word: है
word: वह
word: पहले
word: स्थापित
word: छह
word: नितीश
word: के
word: शराब
word: बैन
word: करने
word: बिहारवासियो
word: को
word: कोई
word: नहीं
word: है
word: लेकिन
word: अगरखैनी
word: उठा
word: दिए
word: कीनौबत
word: आ
word: जायेगी।
word: दिल
word: बहलाने
word: के
word: लिए
word: ख्वाब
word: अच्छा
word: है
word: सब
word: साफ़
word: है
word: केवल
word: देखो
word: बात
word: है
word: न
word: बिजली
word: है
word: न
word: पानीखेती
word: हो
word: गई
word: तबाहगांव
word: विरान
word: हो
word: गए
word: हैकिसान
word: जी
word: रहे
word: है
word: जिंदगीकीडे
word: मकौडो
word: कीआबाद
word: शहरों
word: में।
word: सारे
word: बाबा
word: आटा
word: ही
word: रहे
word: हैं
word: पंजीरी
word: तू
word: ही
word: बना
word: चाचा
word: जी
word: ये
word: रहे
word: हैं
word: भाई।
word: 🤔
word: जितनी
word: लड़ाई
word: भारत
word: माता
word: जय
word: हो
word: रही
word: है
word: उससे
word: थोडा
word: सा
word: भी
word: अगर
word: लेते
word: खातिर
word: शायद
word: ये
word: सालों
word: गुला…
word: जम्मू
word: लदाख
word: को
word: मद्दे
word: रखते
word: हुए
word: पीडीपी
word: गठबंधन
word: बचाव
word: करते
word: रहे
word: इसका
word: होना
word: चाहिये
word: ।
word: के
word: चलते…
word: कमीने
word: सुधरेगा
word: नहीं
word: तू
word: ही
word: तेरे
word: पिछवाड़े
word: को
word: नजीब
word: सर
word: ने
word: किया
word: नहीं
word: रहा
word: फिर
word: मोदी
word: मोदी
word: चिल्ला
word: रहा
word: है।
word: …
word: बात
word: नही
word: करने
word: बातखत्म
word: नही
word: होती
word: अंधुरी
word: जाती
word: है।
word: तेरे
word: संगरहने
word: में
word: भीरूसवाई
word: हैऔरतुझसे
word: दूरचले
word: जाने
word: मेंतन्हाई
word: है
word: साफ़
word: दामन
word: दौर
word: खत्म
word: हुआलोग
word: अपने
word: धब्बों
word: पे
word: गरूर
word: करने
word: लगे
word: ।
word: यर
word: मैच
word: ѕυт
word: बजे
word: के
word: आता
word: ιғ
word: जाते
word: दिल्ली
word: के
word: मंत्री
word: मिश्रा
word: आपत्तिजनक
word: ट्वीट
word: क्या
word: के
word: में
word: को
word: एक
word: एजेंट
word: मिला
word: है
word: ज़िन्दगी
word: में
word: वो
word: ही
word: सकता
word: है।जिसका
word: अधूरा
word: गया
word: हो।
word: मुख्यमंत्री
word: ने
word: ऐलान
word: किया
word: है
word: कि
word: बिहार
word: के
word: किसी
word: या
word: में
word: देसीविदेशी
word: शराब
word: नहीं
word: मिलेगीकिसी
word: को
word: लाइ…
@smadha

New vector

+ -
- +
+ 0
0 +
- 0
0 -

Install project.

• mvn clean install on home directory https://github.com/smadha/Team-MissionNLP
• cd process-tweet - https://github.com/smadha/Team-MissionNLP/tree/master/process-tweet
• mvn assembly:assembly
• run command - $ java -cp ./target/process-tweet-0.0.1-SNAPSHOT-jar-with-dependencies.jar InputPreprocessTweet "ना का मुड़ नही है आज"
  ना का मुड़ नह है आज

I tested the data on different small sentences taken off the corpus and realised that a few cases need to be considered. We should discuss it when we meet next

• Command line
• Python API

• Identify vector feature
• Add more on svm/sarcasm-classify.py

Combine and Run all the features together

Put if you have any ideas

A vector of length 100 and sentiment distributed in this array as observed in tweet.

Example - Tweet is of length 4 -> pos, pos, neg, neg
array will look like - [0-25(1..1), 26-50(1..1), 51-75(0..0), 76-100(0..0)] []

1 - Positive
0 - Neutral
-1 - Negative

A vector of length 3 and sentiment counts. [Positive, Neutral, Negative]

Example - Tweet is of length 4 -> pos, pos, neg, neg
Vector Array -> [2,0,2]