Minería de datos hoy y mañana

Incluso cuando usted cuide en forma artesanal los datos y la recopilación de esta información para que coincida con su estrategia de CRM y su estrategia global de negocio, usted puede encontrarse con más números y datos de los que podría digerir en toda una vida de análisis de clientes.

Sin embargo, con sólo algunas advertencias legales y éticas, puede utilizar esta información para muchos propósitos que pueden ayudar a detectar tendencias dentro de su base de clientes.

Éstos son algunos de las tácticas para tratar los datos:

• Analizar los datos con el año pasado, hace tres años, y hace cinco años. Incluso si usted está buscando en cifras agregadas interacciones totales como las de los clientes, diferencias de más del 5% podría indicar una tendencia.

• Referencia cruzada de la información. Con los actuales programas informáticos sencillos puede tener dos conjuntos de datos y combinarlos. De esa manera, usted puede averiguar si sus clientes entre 30 y 40 años gastan más dinero, mientras que los 50 a 60 gastan menos, por ejemplo. Es bueno saberlo para orientar las perspectivas y la planificación de su línea de productos.

• Identificar los principales problemas. La información obtenida a través de las encuestas puede apuntar a problemas mayores de los que usted no se había dado cuenta. Por ejemplo, si usted se está preguntando por qué no se está utilizando en línea su nuevo sistema de pedido, los clientes pueden decir que no poseen computadoras, que es demasiado confuso, o que simplemente les gusta el sonido de una voz humana.

• Comparar los datos de los clientes a los datos de su empresa. ¿La demografía de los clientes cambio al mismo tiempo que los incrementos en ventas en una línea de productos? Es posible que tenga descubierto un nuevo componente psico-geográfico en su base de clientes.

• Monitorear los cambios estacionales en los datos. Busque las ventas y las tendencias (o las tendencias de las quejas del cliente) basados en la época del año. Eso puede ayudarle a determinar dotación de personal o las necesidades de marketing durante el año.

Ética y Legalidad - El uso de datos

Recuerde que puede utilizar la información que haya obtenido directamente de un cliente sólo para el propósito que usted ha dicho que él o ella. Usted no puede vender a otras empresas o utilizarlo para futuros proyectos de investigación a menos que cuente con el consentimiento informado del cliente.

Data mining vs. Estadística

Continuando con el tema desplegado el día de ayer sobre la importancia de Data Mining y sus conceptos básicos, la presente descripción pretende explicar las diferencias de data mining y estadística desde una perspectiva constructiva en el uso de ambas herramientas analíticas y bajo un contexto empresarial.

Ambas ciencias tienen el mismo objetivo: mejorar la toma de decisiones mediante un conocimiento del entorno. Este entorno lo facilitan los datos almacenados en la compañía, cuantitativos o cualitatitativos y mediante información de terceras empresas.

El data mining aventaja a la estadística en los siguientes aspectos:

Las técnicas estadísticas se centran generalmente en técnicas confirmatorias, mientras que las técnicas de data mining son generalmente exploratorias. Así, cuando el problema al que pretendemos dar respuesta es refutar o confirmar una hipótesis, podremos utilizar ambas ciencias –diferentes conclusiones y más robusta la estadística.

Sin embargo, cuando el objetivo es meramente exploratorio (para concretar un problema o definir cuales son las variables más interesantes en un sistema de información) surge la necesidad de delegar parte del conocimiento analítico de la empresa en técnicas de aprendizaje (inteligencia artificial), utilizando data mining. Aquí hemos detectado una primera diferencia de aplicación de ambas herramientas: data mining se utilizará cuando no partamos de supuestos de partida y pretendamos buscar algún conocimiento nuevo y susceptible de proporcionar información novedosa en la toma de decisiones.

A mayor dimensionalidad del problema el data mining ofrece mejores soluciones.

Cuantas más variables entran en el problema, más dificil resulta encontrar hipótesis de partida interesantes. O, aun cuando pudiera, el tiempo necesario no justificara la inversión. En ese caso, utilizar técnicas de data mining como árboles de decisión nos permitirá encontrar relaciones inéditas para luego concretar la investigación sobre las variables más interesantes.

Las técnicas de data mining son menos restrictivas que las estadísticas. Una vez encontrado un punto de partida interesante y dispuestos a utilizar algún análisis estadístico en particular (por ejemplo, discriminante para diferenciar segmentos de mercado), puede suceder que los datos no satisfagan los requerimientos del análisis estadístico. Entonces, las variables deberán ser examinadas para determinar que tratamiento permite adecuarlas al análisis, no siendo posible o conveniente en todos los casos.

Aquí también destaca el data mining, puesto que es menos restrictivo que la estadística y permite ser utilizado con los mínimos supuesto posibles (permite ‘escuchar’ a los datos).

Cuando los datos de la empresa son muy ‘dinámicos’ las técnicas de data mining inciden sobre la inversión y la actualización del conocimiento de nuestro negocio. Un almacén de datos poco ‘dinámico’ permite que una inversión en un análisis estadístico quede justificada –personal cualificado en estadística, metodología rígida y respuestas a preguntas muy concretas- dado que las conclusiones van a tener un ciclo de vida largo.

Sin embargo, en un almacén ‘muy dinámico’ las técnicas de data mining permiten explorar cambios y determinar cuando una regla de negocio ha cambiado. Permitiendo abordar diferentes cuestiones a corto/medio plazo.

Expongamos ahora aquellos contextos en los que es más adecuado el análisis estadístico que el de data mining:

El objetivo de la investigación es encontrar causalidad. Si se pretende determinar cuales son las causas de ciertos efectos (por ejemplo, si invertir más en la publicidad de cierto producto tiene como consecuencia un incremento de ventas o si es más determinante el ofrecer un descuento a los clientes), deberemos utilizar técnicas de estadística (por ejemplo, ecuaciones estructurales). Las relaciones complejas que subyacen a técnicas de data mining impiden una interpretación certera de diagramas causa-efecto.

Se pretende generalizar sobre poblaciones desconocidas en su globalidad. Si las conclusiones han de ser extensibles a otros elementos de poblaciones similares habran de utilizarse técnicas de inferencia estadística. Esto viene relacionado con situaciones en las que se dispone exclusivamente de muestras (con el consiguiente problema de aportar validez a las muestras). En data mining, se generarán modelos y luego habrán de validarse con otros casos conocidos de la población, utilizando como significación el ajuste de la predicción sobre una población conocida (es lo habitual cuando queremos predecir perfiles de clientes, que ya disponemos de antecedentes para poder validarlo, aunque no siempre es posible acceder a dicha información o no siempre es correcto aplicar ciertas muestras).

Hemos detallado algunos argumentos acerca de cuando es conveniente utilizar data mining o estadística. Llegado a este punto deseamos destacar que ambas perspectivas constituyen una sinergia y que no son excluyentes una de otra.

En este sentido, la metodología de un proyecto de data mining ha de contener referencias a la estadística en dos partes destacables del proceso: preparación de los datos (tratamiento de valores erróneos, valores omitidos,...) y aproximación a las variables de estudio, despliegue del proyecto y posible generación de hipótesis a refutar con una metodología y técnica estadística.

Así pues, data mining y estadística son técnicas complementarias que permiten obtener conocimiento inédito en nuestros almacenes de datos o dar respuestas a cuestiones concretas de negocio.

DATA MINING

En días recientes un compañero de trabajo me pidio si lo podía ayudar un poco con un tema relacionado con el Data Mining, asi que me dispuse ayudarlo y me adentre un poco en este tema,  muy cercano a la estadistica y que intentare resumir en dos entregas: La primera donde me referire al Data Mining y sus modelos y la segunda entrega que publicare mañana donde escribire de la relación entre Data Mining y la estadistica.

El Data Mining es un proceso que, a través del descubrimiento y cuantificación de relaciones predictivas en los datos, permite transformar la información disponible en conocimiento útil de negocio. Esto es debido a que no es suficiente “navegar” por los datos para resolver los problemas de negocio, sino que se hace necesario seguir una metodología ordenada que permita obtener rendimientos tangibles de este conjunto de herramientas y técnicas de las que dispone el usuario.

Data Mining es una herramienta que ayuda a descubrir patrones y relaciones que puedan pasar desapercibidos en el análisis de nuestro negocio. Debe estar orientado a resolver un problema de negocios, y no se debe necesitar ser un especialista en estadística para poder emplearlo.

Algunos ejemplos de las preguntas que se pueden responder con estas herramientas son:

¿Qué características tienen mis mejores clientes?

¿Qué características tienen los clientes que estoy perdiendo?

¿A quienes debería dirigir mi campaña publicitaria?

¿Cuáles son los factores que inciden en que algunas máquinas tengan mayores tasas de fallas que otras?

¿Es efectiva la aplicación de una droga medicinal?

¿Cuáles fueron los cinco grupos que obtuvieron los mejores resultados?

¿A quienes no debo venderles seguros contra todo riesgo?

¿Qué factores inciden en el aumento de la tasa de fallas?

Beneficios del data mining

La tecnología del Data Mining nos aporta dos beneficios clave en los negocios:

1. Modelos descriptivos:

En un contexto de objetivos definidos en los negocios permite a empresas, sin tener en cuenta la industria o el tamaño, explorar automáticamente, visualizar y comprender los datos e identificar patrones, relaciones y dependencias que impactan en los resultados finales de la cuenta de resultados (tales como el aumento de los ingresos, incremento de los beneficios, contención de costos y gestión de riesgos).

2.Modelos predictivos:

Permite que relaciones no descubiertas e identificadas a través del proceso del Data Mining sean expresadas como reglas de negocio o modelos predictivos. Estos outputs pueden comunicarse en formatos tradicionales (presentaciones, informes, información electrónica compartida, embebidos en aplicaciones,...) para guiar la estrategia y planificación de la empresa.

TECNOLOGIA ASOCIADA AL DATA-MINING

Las soluciones que aporta el Data Mining están basadas en la implementación, a través de la programación, de interfaces de uso general y algoritmos propios y disponibles para todos que permiten una eficiente exploración y organización de los datos. Estos algoritmos apoyan la identificación de patrones, relaciones y anomalías de interés potencial para los que toman las decisiones en los negocios.

Se trata de un concepto de explotación de naturaleza radicalmente distinta a la de los sistemas de información de gestión, dado que no se basa en coeficientes de gestión o en información altamente agregada, sino en la información de detalle contenida en el almacén.

Adicionalmente, el usuario no se conforma con la mera visualización de datos, sino que trata de obtener una relación entre los mismos que tenga repercusiones en su negocio.

Técnología asociada al data mining

Para soportar el proceso de Data Mining, el usuario dispone de una extensa gama de técnicas que le pueden ayudar en cada una de las fases de dicho proceso, las cuales pasamos a describir:

Metodología de aplicación

Para utilizar estas técnicas de forma eficiente y ordenada es preciso aplicar una metodología estructurada, al proceso de Data Mining. A este respecto proponemos la siguiente metodología, siempre adaptable a la situación de negocio particular a la que se aplique:

Muestreo (data mart): Extracción de la población muestral sobre la que se va a aplicar el análisis. En ocasiones se trata de una muestra aleatoria, pero puede ser también un subconjunto de datos del Data Warehouse que cumplan unas condiciones determinadas. El objeto de trabajar con una muestra de la población en lugar de toda ella, es la simplificación del estudio y la disminución de la carga de proceso. La muestra más óptima será aquella que teniendo un error asumible contenga el número mínimo de observaciones. En el caso de que se recurra a un muestreo aleatorio, se debería tener la opción de elegir el nivel de confianza de la muestra (usualmente el 95% o el 99%).

El tamaño máximo de la muestra (número máximo de registros), en cuyo caso el sistema deberá informar del el error cometido y la representatividad de la muestra sobre la población original. El error muestral que está dispuesto a cometer, en cuyo caso el sistema informará del número de observaciones que debe contener la muestra y su representatividad sobre la población original. Para facilitar este paso se debe disponer de herramientas de extracción dinámica de información con o sin muestreo (simple o estratificado). En el caso del muestreo, dichas herramientas deben tener la opción de, dado un nivel de confianza, fijar el tamaño de la muestra y obtener el error o bien fijar el error y obtener el tamaño mínimo de la muestra que nos proporcione este grado de error.

Exploración:Una vez determinada la población que sirve para la obtención del modelo se deberá determinar cuales son las variables explicativas que van a servir como "inputs" al modelo. Para ello es importante hacer una exploración por la información disponible de la población que nos permita eliminar variables que no influyen y agrupar aquellas que repercuten en la misma dirección.

El objetivo es simplificar en lo posible el problema con el fin de optimizar la eficiencia del modelo. En este paso se pueden emplear herramientas que nos permitan visualizar de forma gráfica la información utilizando las variables explicativas como dimensiones. También se pueden emplear técnicas estadísticas que nos ayuden a poner de manifiesto relaciones entre variables. A este respecto resultará ideal una herramienta que permita la visualización y el análisis estadístico integrado.

Manipulación: Tratamiento realizado sobre los datos de forma previa a la modelización, en base a la exploración realizada, de forma que se definan claramente los inputs del modelo a realizar (selección de variables explicativas, agrupación de variables similares, etc.).

Modelización: Permite establecer una relación entre las variables explicativas y las variables objeto del estudio, que posibilitan inferir el valor de las mismas con un nivel de confianza determinado.

Valoración: Análisis de la bondad del modelo contrastando con otros métodos estadísticos o con nuevas poblaciones muestrales.