Nuestro Blog

El Product Matching es un área perteneciente a Data Matching o Record Linkage encargada de identificar automáticamente aquellas ofertas, productos o entidades en general, que aparecen en la web procedente de diversas fuentes, aparentemente de forma distinta e independiente, pero que hacen referencia a una misma entidad real.

Actualmente, el Product Matching está experimentando un auge debido al incremento de compras online, lo cual ha propiciado la aparición de herramientas de comparación, monitorización y análisis de precios de los productos en venta. Desde el punto de vista de la implementación software, este proceso conlleva un arduo trabajo, ya que para un mismo producto, su descripción o nombre puede aparecer de distinta forma en páginas web diferentes, lo cual puede llevar a equívoco al motor de búsqueda obteniendo resultados incorrectos. Por tanto, se requiere de:

  • Un minucioso, exhaustivo y preciso proceso de búsqueda de productos a través de la web
  • Un filtrado de elementos candidatos, extracción de características, identificación y asociación de productos iguales y distintos
  • Un análisis de los parámetros o características que se requieren investigar entre estas entidades

Aproximación al estado del arte

El Product Matching debido a su relación con el Data Matching o Record Linkage comparte muchas de sus características. El Record Linkage se ha centrado principalmente, desde su nacimiento, en la fusión de distintas bases de datos en una única en la que se identifiquen aquellos elementos relacionados en ambas bases de datos, bien eliminando esas duplicaciones  y/o registrando nuevos enlaces. En las investigaciones realizadas hasta la fecha en el campo del Product Matching se pueden distinguir dos enfoques distintos:

  1. Uso de técnicas de similitud de textos (asociar a cada producto el título, descripción, características técnicas, etc.) para decidir si dos elementos de fuentes distintas hacen referencia a una misma entidad.
  2. Aplicar técnicas de aprendizaje automático para generar modelos que realicen la correspondencia entre productos.

Estos dos enfoques no son independientes entre sí. Normalmente, para el uso de técnicas de aprendizaje automático es necesario el uso de técnicas englobadas en el primer enfoque (Ej. tokenizado de textos, medidas de similitud, etc.) para obtener las entradas a los modelos que serán generados con el segundo enfoque.

Una nueva aplicación conocida como Content Based Image Retrieval (CBIR) ha surgido en el ámito del procesamiento de imágenes con el objetivo de resumir la información de una imagen en varias de sus características tales como el color, textura, forma o la combinación de éstas.

La forma de los objetos que se encuentran dentro de una imagen, es una de las características más usadas en las técnicas CBIR. Para obtenerla con necesarias técnicas de extracción morfológicas. Dentro de estas técnicas tiene una especial relevancia la basada en los Descriptores de Fourier. Dentro del campo de CBIR, también se deben destacar las técnicas de descomposición de imágenes en regiones locales de interés. Estas técnicas detectan, en una imagen, aquellos puntos más importantes y significativos pertenecientes a una región. Dichos puntos son denominados keypoints. En la literatura es posible encontrar una gran variedad de algoritmos para la obtención de keypoints dentro de una imagen.

ITELLIGENT_Product Marching_Monitorizacion de precios

Con el reciente auge del Deep Learning también han aparecido aplicaciones para CBIR. El Deep Learning consiste en un conjunto de algortimos de aprendizaje automático que generan modelos abstractos de alto nivel mediante el empleo de arquitecturas “profundas” -deep- compuestas de múltiples transformaciones no lineales, dispuestas de manera jerárquica. Ese enfoque es diferente a las técnicas convencionales de aprendizaje automático que se basan en arquitecturas “planas”.

Dentro de las múltiples técnicas englobadas dentro del Deep Learning, la técnica Convolutional Neuronal Network (CNN) es especialmente usada en el campo de CBIR. Esta técnica consiste en la utilización de múltiples capas de convolución situadas una encima de otra. Entre estas capas se comparten pesos así como la salia producida a la capa inferior. Mediante el entrenamiento de estos pesos y la disposición de las capas se consiguen modeles capaces de ser independientes a la rotación, traslación, contrastes, etc.

La importancia e imparable crecimiento del comercio electrónico –ecommerce- ha obligado a las organizaciones a disponer herramientas de monitorización de precios, que le permitan gestionar sus políticas de precios y conocer las estrategias de la competencia. Para estas herramientas es fundamental realizar una identificación adecuada de los productos entre las distintas fuentes que se monitorizan, ya que de no ser así no se podrán comparar los productos con sus verdaderos rivales, distorsionando toda la información obtenida.

El Open Data es una práctica que tiene la intención de disponer de unos tipos de datos de forma libre para todo el mundo, sin restricciones de derecho de autor, patentes u otros mecanismos. Su objetivo es que estos datos puedan ser consultados, redistribuidos y reutilizados libremente por cualquiera, respetando siempre la privacidad y seguridad de la información.

¿Qué es un dataset (conjunto de datos)?

Un Dataset es un conjunto de datos que se han agrupado de manera específica para poder ser utilizados posteriormente. Podría ser similar a una tabla de una base de datos, es decir, un conjunto de datos en bruto que se organizan en datasets para ser localizados e indexados fácilmente.

Los formatos de datos más utilizados son:

  • CSV Valores Separados por Coma.
  • XML Lenguaje Etiquetado Extensible.
  • RDF Infraestructura para Descripción de Recursos.
  • JSON JavaScript Object Notation

Además de éstos, existen muchos tipos de formatos menos generalizados. Para poder acceder a estos datos, se suele utilizar una serie de protocolos como RSS (Sindicación Realmente Sencilla), ODA (Open Data Protocol), WFS, entre otros.

¿Por qué se liberan los datos? ¿Cómo se liberan los datos? 

Liberar los datos es un gran recurso. Muchas de las personas y organizaciones reúnen una gran cantidad de variedades de diferentes tipos de datos para llevar a cabo sus tareas.

Un caso importante es el Gobierno, por la cantidad y centralidad de datos que reúne, pero también porque la mayor parte de la información gubernamental es pública por ley (Ley 37/2007),  por lo tanto, es abierta y se pone a disposición de terceros. Con toda esta información libre se puede beneficiar las administraciones públicas, los usuarios y las empresas. Algunos ejemplos sería: la creación de valor con la reutilización de la información pública, facilitar la ordenación interna de los sistemas de información dentro de las Administraciones; o también fomentar la interoperabilidad entre servicios del sector público. La interoperabilidad es la capacidad que tienen diferentes sistemas y organizaciones para trabajar juntos.

La liberación de datos supone también un potencial económico, para desarrollar nuevos productos, servicios y mercados que logren un mayor desarrollo económico. Un ejemplo de cómo se liberan los datos es el World Wide Web Consortium (W3C). Es un sistema de distribución de documentos de hipertexto o hipermedios interconectados y accesibles vía Internet. Con un navegador web, un usuario puede visualizar sitios web compuestos de páginas web que pueden contener textos, imágenes, vídeos u otros contenidos multimedia y navegar a través de esas páginas utilizando hiperenlaces.

¿Qué es RISP?

RISP son las siglas de “Reutilización de la Información del Sector Público”. El Open Data tiene como objetivo principal la reutilización de la información. Por eso el sector público quiere subir la información en bruto a plataformas abiertas, facilitando su acceso y permitiendo su reutilización tanto a particulares como a empresas para fines comerciales o no. El sector público produce una gran variedad de información que es potencialmente reutilizable, como puede ser la información social, económica, geográfica, estadística, etc.

Principios del Open Data.

Para asegurar que se está hablando de Datos Abiertos es necesario que cumplan los siguientes principios:

  • Igual entre las administraciones
  • Públicos
  • Abiertos y estándares
  • Detallados
  • Actualizados
  • Accesibles
  • Automatizados
  • Sin registro
  • Libres

RISP_OpenData_ITELLIGENT_NETOPENDATA

BENEFICIOS DEL OPEN DATA

El fin de esta iniciativa es que la información pueda ser redistribuida y reutilizada tanto por los ciudadanos como por empresas que reporten beneficios económicos y/o sociales.

BENEFICIOS EMPRESAS

Con los datos abiertos las empresas pueden crear servicios y aplicaciones a partir de datos libres de derechos generados por la Administración.

Estos datos generan un nuevo mercado y sectores basados en los contenidos digitales que ayudan a la creación de un bienestar y la posibilidad de dar servicios añadidos al ciudadano. Fomentando la competitividad entre las empresas y creando que las PYMES sean mejores.

BENEFICIOS PARA EL CIUDADANO

Una de las ventajas para los ciudadanos es el acercamiento a los principios de gobierno abierto  la transparencia. Son capaces de escuchar y entabla una conversación con sus ciudadanos.

El uso de los datos públicos puede generar diversas aplicaciones y nuevos servicios que doten de un valor social y mejoren la vida, de los ciudadanos y sus puestos de trabajos.

Supone un gran paso para la transparencia informativa. Los ciudadanos pueden tener una visión más clara de las acciones y servicios de su Administración, además de cómo se está invirtiendo su contribución y gestionando los recursos públicos.

BENEFICIOS PARA LA ADMINISTRACIÓN PÚBLICA.

Uno de los beneficios que tiene el Open Data en las administraciones Públicas es la de reducir los costes de la realización de costosas aplicaciones que ahora pueden diseñar las empresas infomediarias. Las empresas infomediarias proporcionan un control de información esto generan un valor económico de la reutilización de datos.

También una reducción de costes entre administraciones por el uso del mismo tipo de datos. Es más fácil obtener nuevos usos al combinarlos.

La colaboración de los ciudadanos, ayuda a mejorar los servicios públicos con contenido generados por ellos mismo o ideas e iniciativas creadas y promovidas por ellos o nuevas aplicaciones creadas a partir de datos liberados.

El intercambio de datos por las administraciones locales o regionales con otros gobiernos ayudan a tener un resultado más eficiente en su funcionamiento, comunicación,  transparencia entre los diferentes niveles, disminuyendo la carga de trabajo de los empleados, al mejorar la colaboración entre ello.

Directorio de Open Data por Comunidades Autónomas:

Andalucía Región de Murcia
Extremadura Castilla La Mancha
Comunidad de Madrid Comunitat Valenciana
Catalunya Euskadi
Aragón Navarra
La Rioja Principado de Asturias
Cantabria Galicia
Islas Canarias Illes Balears

NETOPENDATA

NetOpendata es una herramienta que facilita el acceso a datos del sector público y open data. Se trata de un servicio para acceder a la información de forma estructurada –ordenada por ITELLIGENT- a partir de datos desestructurados –desordenados-.

¿Qué tipo de datos públicos puedes obtener con NetOpendata? Boletines Oficiales, Patentes, Marcas, Ayudas, Nombres Comerciales, Contrataciones y Licitaciones. Toda esta información se estructura para puedas utilizarlo de forma fácil y sencilla en tu empresa o para que puedas montar servicios innovadores a partir de estos datos.

Por otro lado, en ITELLIGENT nos adaptamos a las necesidades de cada uno de nuestros clientes por lo que si tu empresa requiere otros datos diferentes a los que aporta NetOpendata o desea enlazar los datos de nuestro software con otras fuentes, también somos especialistas en hibridación de datos.

 NetOpendata_ITELLIGENT_OPEN DATA

En este post desglosamos los tres problemas más habituales que hacen fracasar un proyecto de monitorización de precios o pricing. De todo problema puede surgir una oportunidad si aprendemos a resolver de forma inteligente estos problemas habituales en pricing.  Por este motivo, además de exponer estos problemas, aportamos soluciones smart para enfrentarnos a ellos.

Problema 1: BIG DATA.

Los proyectos de monitorización de precios implica mantener ciento de miles o millones de precios diarios. Es complicado sacar a flote la información relevante frente al océano de datos que este  tipo de proyectos posee. Cuando el volumen de datos es alto, no solo es complicada la extracción de los datos, sino además encontrar la  información relevante se convierte en un reto

Por lo que,  ¿cómo evitamos este problemas?¿cómo encontramos la información relevante? Lo mostramos con un ejemplo.

Ejemplo. Amenazas y Oportunidades.

En un proyecto de pricing para una empresa de medio de transporte, los precios recopilados para rutas, días, horarios y billetes de viaje, se empleó un sistema de oportunidades y amenazas.

  • Amenazas. Es cuando el precio de la competencia está anormalmente bajo. Gracias a esta información, evitamos perder clientes y podemos actuar en consecuencia ante esta amenaza.
  • Oportunidades. Si el precio de mi competencia es habitualmente alto pero en algunos días es aún más alto, podemos aprovechar para subir nuestros precios y no perderé clientes.

AMENAZAS Y OPORTUNIDADES_Monitorización de precios¿Qué debe aportar un sistema respecto al volumen de datos?

  • Que extraiga datos de cualquier web.
  • Que te permita analizar cualquier precio. A través de un modelo, el sistema debe ser de ayuda para ver lo realmente relevante y no demorarse en temas accesorios.
  • Que posea un sistema de alertas: recibir alertas vía email.
  • Facilidad en extraer un histórico de los datos.

Problema 2: ONE SIZE DOESN´T FIT ALL. 

Cada sector posee peculiaridades diferentes que requieren soluciones diferentes por lo que “one size doesn´t fit all”. Es decir, no existe una única fórmula ni un software único y fijo para todo tipo de proyectos de pricing.

Por lo que, ¿qué debemos tener en cuenta a la hora de elegir un software de monitorización de precios?

Ejemplo. Establecer elementos de filtraje adaptado al proyecto. 

Para un proyecto de viajes, tener un sistema de filtros sencillos para visualizar los datos a través de una gráfica que nos permita analizar los precios.

 

Filtraje_monitorizacion de precios

¿Qué debe aportar un sistema respecto a las peculiaridades del proyecto?

  • La herramienta debe adaptarse al sector y no el sector a la herramienta
  • La visualización de los datos debe adaptarse a las necesidades del proyecto
  • Debe poseer elementos de filtraje para facilitar la visualización de los datos.

Problema 3: PRODUCT MATCHING. 

Para la comparación de la competencia cada empresa nombra un mismo producto de forma diferente. Esto es un problema de product matching. 

El proceso de  Product Matching consiste en relacionar para distintas fuentes aquellos productos que son el mismo. Dependiendo del sector, el problema del Product Matching es más complejo o no.

Problema 3: Productos de Gran Consumo.

En los proyectos de productos de gran consumo (supermercado, zapatería, por ejemplo), determinar cuando un producto en dos webs diferentes es el mismo, puede ser trivial.

Existen dos enfoques para solventar el problema que conlleva el Product Matching: técnica de similitud de textos y técnicas de aprendizaje automático para generar modelos que realicen el matching entre productos.

Product Matching_monitorizacion de precios

¿Qué debe aportar un sistema respecto al Product Matching?

En muchos sectores como el retail, electrónica y productos de gran consumo, este problema es algo muy importante y habitualmente se pasa por alto (overlook) no se le da la importancia que realmente tiene. Es fundamental que un sistema de pricing tenga una herramienta sofisticada que ayude a realizar el Product Matching.

Estos tres problemas son requisitos mínimos que debe tener en cuenta cualquier proyecto de pricing, pero, también, cada proyecto posee necesidades específicas según el sector y tipo de empresa sea.

A continuación os especificamos cinco necesidades específicas en proyectos de monitorización de precios:

  • OBTENER PRECIOS DESDE DISTINTOS PAÍSES SOBRE UNA MISMA WEB. Para una misma web y un mismo producto, poseen precios diferentes según desde que IP se entre en la misma.
  • OFUSCACIÓN DE PRECIOS. A partir de un seguimiento del precio podemos hacer acciones que nos ayude a mejorar nuestra oferta. Si entendemos el patrón de fijación de precios de la competencia, podemos darle la vuelta a la situación y atacar con una estrategia de choque.
  • POSICIONAMIENTO EN BUSCADORES. El objetivo aquí es saber qué precio poner para aparecer en las primeras posiciones dentro de un buscador de precios.
  • MODELIZACIÓN DE PRECIOS. Generación de modelos predictivos para determinar la evolución del precio de la competencia. Modelización de precios y elasticidad a partir de datos internos para la fijación de precios óptimos. Es posible modelizar el efecto del precio en la demanda (elasticidad) con vista a incrementar los beneficios.
  • CAMBIOS AUTOMÁTICOS DE PRECIOS. En algunos casos, tener acceso al sistema interno de una empresa permite automatizar con ciertas reglas el cambio de los precios propios. Si la competencia está por debajo de “equis” €uros, automáticamente el sistema puede bajar un tanto por ciento menos. Ejemplo: “Bajar 20€ más el precio” si la competencia baja los precios a 25€.
  • INTELIGENCIA COMPETITIVA. Al extraer los datos de una web, no solo extraemos los precios de los productos de venta, sino además podemos saber si hay productos nuevos o productos que se han dejado de vender.

Dispositivo móvil y turismo Inteligente

La realidad aumentada es la combinación del universo físico y el universo virtual a través de un dispositivo tecnológico. El secreto es mezclar la información virtual y la real en un mismo entorno, interactuando en tiempo real y utilizando el formato digital de tres dimensiones (3D).

La realidad  aumentada cambia  la percepción  del  usuario del mundo real y la interacción con él, proporcionando información que no se detecta normalmente por los sentidos.  Por lo que el ajuste de las imágenes dentro del dispositivo tiene que ser exacto. El usuario puede moverse de un lado para otro con él.

Para poder conseguir esta percepción e interacción, se debe utilizar otros dispositivos adicionales que contengan una videocámara  para que capture información del mundo real. También es necesario poseer un sistema de geolocalización para poder:

  • Detectar la ubicación del usuario,
  • Orientar al usuario  en cada momento,
  • Generar las escenas virtuales que se integran con la información del mundo real capturado.

Esta escena aumentada debe presentarse a través de un dispositivo de visualización. Estos sistemas se denominan video-through.

Existe otro tipo de realidad aumentada que consiste en proyectar la escena virtual sobre el entorno real, combinándose ambas en la propia escena real, en este caso se habla de sistemas basados en proyección.

Para los  dispositivos móviles se emplean  dos sistemas, la geolocalización de contenidos y el reconocimiento de objetos.

  • La identificación de la realidad aumentada a través de los marcadores como por ejemplo  los códigos QR.
  • La geolocalización es la capacidad de asignar coordenadas geográficas a diferentes elementos por medio de herramientas informáticas.

Estas propiedades  son importantes para centrarnos en el turismo inteligente. En este sector  los dispositivos móviles son los más utilizados. Por lo que es importante que  la forma de utilizar la realidad aumentada en el turismo se haga con dispositivos móviles.

Algunas particularidades sobre la realidad aumenta para el turismo inteligente:

  1. Facilita la interacción del público con las zonas turísticas.
  2. Atraer a los turistas a visitar las diferentes ciudades.
  3. Guía Turístico. Se puede utilizar en forma de guía para un museo o una exposición, con contenido multimedia e incluso de realidad aumentada para ampliar y completar la experiencia del usuario en el entorno cerrado. En el caso de los parques temáticos o actividades de turismo activo se pueden diseñar aplicaciones que, de la misma forma, completan la experiencia real con contenidos digitales o de realidad aumentada.  Las ventajas de esto son las experiencias intensas, divertidas y emocionales. También, viralidad, innovación y comunicación.
  4. La creación de aplicaciones puede ser un nuevo servicio o producto a ofertar (Por ej. Rutas, Geocaching, entretenimiento, etc).
  5. Promocionar el negocio, comodidad al cliente, mayor público objetivo,  diferenciarse de la competencia  y mejor  servicio al cliente.

Turismo Inteligente y Realidad aumentada

El turismo inteligente, está conectando con las redes sociales para conseguir turistas inteligentes. Con ello, quieren convertir el ocio de una forma activa ya que interactúan con el entorno de forma inmediata, dando importancia a la calidad de la experiencia que se vive.

No solo fomenta el turismo, también genera beneficios y comodidades a los ciudadanos como  puede ser en el transporte,  la seguridad y el medio ambiente, como por ejemplo:

  • Aportando  los datos en tiempo real y el análisis de los atascos, los retrasos y los accidentes.
  • Datos sobre la conexión entre diferentes modos de transporte, de forma que se ahorraría tiempo.
  •  Fomenta el uso del transporte público.
  • La posibilidad de informar sobre una emergencia en tiempo real,  mejorando la atención al cliente.
  • En medio ambiente, monitorizar  la contaminación del aire, las aglomeraciones y las colas.
  • Información sobre la ciudad actualizado respecto a sus restaurantes,  bares, museos, eventos de ocio, etc.

En resumen, generar contenido en tiempo real puede ser una gran ventaja. Es  muy  interesante lo que las tecnologías pueden evolucionar  y adaptarse a los nuevos tiempos, consiguiendo una mejor calidad, mayor conocimiento de las ciudades o destinos turísticos. Permiten, además, nuevas oportunidades de negocio presentándolos de manera muy real  y una vivencia muy intensa. El objetivo fundamental  es satisfacer las necesidades, protegiendo y mejorando las oportunidades del futuro.

3D ITELLIGENT Information Tecnologies