Análisis de Sentimientos: Otras tareas relacionadas

¿Cómo detectar más de un sentimiento en la misma frase?

¿Qué sucede cuando tenemos frases como la siguiente?

• ¡La comida era excelente pero el servicio pésimo!

Minqing Hu y Bing Liu en [1] idearon un método para lidiar con este tipo de sentencias basados en dos conceptos simples:

1. Frecuencia
2. Reglas

1. Buscaron todas las frases frecuentes en las críticas de un lugar dado, por ejemplo para un mismo restaurante encontraron que se repetía muchas veces la frase: "tacos de pescado". A este tipo de frases las llamaron aspectos, atributos o bien "objetos de sentimiento" ya que representan el objeto al cual se está criticando. 

2. Filtraron todas esas frases frecuentes con algunas reglas como: "ocurre después de una palabra que indica sentimientos", ejemplo: "geniales tacos de pescado!" => indica que "tacos de pescado" es muy probablemente un aspecto.

Análisis de Sentimientos: Creación de un lexicón propio

En ocasiones conviene armar un Lexicón propio para un dominio especifico antes que usar uno ya existente. Podemos empezar por crear nuestro Lexicón a partir de:

•  un puñado de ejemplos previamente clasificados y 
• algunas reglas escritas a mano que identifiquen ciertos patrones en una frase.

Pero no necesariamente será suficiente, entonces la pregunta que nos hacemos es: ¿Cómo expandir dicho Lexicón inicial?

Algoritmo de Hatzivassiloglou y McKeown para la ampliación de un Lexicón

Hatzivassiloglou y McKeown [1] idearon un método bastante intuitivo para identificar la polaridad de una palabra. Básicamente buscaron que otras palabras aparecían vinculadas a palabras ya conocidas. El razonamiento es el siguiente: si una palabra con polaridad conocida aparece unida por la conjunción "y" (and en inglés) a una segunda palabra concluyo que la nueva palabra tendrá una polaridad similar. En cambio si vienen unidas por la conjunción "pero" (but en inglés) la polaridad de la nueva palabra será opuesta.

Adjetivos unidos por "y" tienen la misma polaridad:

• Justo y legitimo
• corrupto y brutal

Análisis de Sentimientos: lexicón de sentimientos

Cuando hacemos análisis de sentimientos, utilizamos todas las palabras en un texto. Es por ello de suma utilidad contar con algún tipo de diccionario (o lexicón que es una vocablo más elegante) que tenga por cada palabra un valor de sentimiento asociado. A un diccionario de este tipo se lo llama: Lexicón de Sentimientos (Sentiment Lexicón en ingles).

A continuación presento algunos diccionarios de sentimientos que pueden utilizar:

The General Inquirer

Es un lexicón en idioma ingles que hace bastante tiempo que existe (desde 1966) y clasifica las palabras en distintas categorías. Tiene, por ejemplo, una clasificación muy simple de palabras entre “positivas” y “negativas”, pero tiene también otros grupos de categorías como por ejemplo: las dimensiones semánticas de Osgood, o la clasificación entre: placer, dolor, virtud y vicio. Pueden ver las distintas categorías, o mejor dicho grupos de categorías en este sitio: http://www.wjh.harvard.edu/~inquirer/homecat.htm

En resumen:

• Tiene 1915 palabras en la categoría: “positivas” y 2291 palabras en la categoría “negativas”
• Tiene clasificaciones complejas como por ejemplo: Fuerte vs. Débil o Activa vs. Pasiva
• Está en ingles
• Es gratis para su uso en investigación.

Enlaces:

• Página principal del sitio: http://www.wjh.harvard.edu/~inquirer/
• Base de datos de palabras: http://www.wjh.harvard.edu/~inquirer/inquirerbasic.xls
• Categorías: http://www.wjh.harvard.edu/~inquirer/homecat.htm

Análisis de Sentimientos: un algoritmo para empezar

Lo más sencillo es detectar la polaridad de una actitud, es decir, detectar si una critica, por ejemplo, es positiva o negativa.
Voy a explicar una versión adaptada del algoritmo de Pang y Lee para detectar la polaridad de una critica cinematográfica. Pueden encontrar más información sobre su trabajo en esta página: http://www.cs.cornell.edu/people/pabo/movie-review-data/

Dadas las siguientes criticas literarias (prestadas de cinesargentinos.com.ar):

Critica 1:

Hace mucho tiempo no veía una peli tan buena como esta. Original y hermosa desde todo punto de vista, las canciones, los chistes y los efectos visuales. Increible como mejoraron en los últimos años con las expresiones de los personajes animados! Una obra maestra desde donde se la mire! No entendia como Monster University no había sido nominada al oscar, pero luego de ver Frozen, entiendo que Monster's no tenía nada que hacer. Es de las pelis que, para aquellos que crecimos con los clasicos de disney como el rey leon, tarzan o el jorobado de Notre dame, nos reavivan el niño que tenemos adentro. Si o si verla en 3D.

Critica 2:

La película es malísima. Está entre las peores que he visto en mi vida, sino es la peor. Es lineal, predecible, aburrida. Solo apta para menores de 13 años. Deberían dedicarse a otra cosa todos los que intervinieron para que exista. Realmente es muy recomendable que NO LA VEAN. Después no digan que no les advertí.

Para una persona es muy sencillo determinar que la critica 1 es positiva y que la critica 2 es negativa, pero ¿cómo podría resolverse esto por software?

Análisis de Sentimientos: Introducción

¿Qué es el análisis de sentimientos?

    El análisis de sentimientos es una tarea de clasificación de textos y tiene múltiples usos. Supongamos que se tienen las siguientes criticas sobre una película:

• Decepcionante.
• Aburrida.
• Personajes memorables y bien desarrollados.
• Una gran puesta en escena que no defraudará.
• Increíblemente predecible.

    Todas estas criticas tienen un juicio de valor, que en principio podríamos decir que es: positivo o negativo.
 
    Podemos intentar aplicar este tipo de análisis a productos, tomemos, por ejemplo, una impresora y algunos aspectos de esta como:

• velocidad de impresión
• precio
• facilidad de uso
• soporte al cliente
• etc.

    Estos aspectos, también llamados atributos, tienen cada uno una clasificación asociada, la cual puede ser positiva o negativa. Google y Bing (en EEUU) tienen buscadores de productos donde, en base a la opinión de los usuarios, clasifican estos aspectos. Otro ejemplo es el clasificador de hoteles y lugares de hospedaje de hostelsclub.com:

Clasificación de Texto: cuestiones practicas

Cómo utilizar el clasificador de texto Naïve Bayes en una situación del mundo real:

     Lo primero que hay que ver es si contamos o no con textos de entrenamiento.

Si no tenemos datos de entrenamiento:
 
No queda otra alternativa que escribir las reglas de clasificación de forma manual, por ejemplo:

• Si aparece la palabra: "Montevideo" el documento pertenece a la clase: "Uruguay". (documentos que hablan sobre el Uruguay)
• Si aparece la palabra "Santiago de Chile" entonces el documento pertenece a la clase: "Chile".