La recopilación de mensajes modular hace que la agregación de contenido sea más rápida y precisa

El uso de pequeños módulos de procesamiento puede reducir significativamente la sobrecarga en los sistemas informáticos con los recursos limitados a los que tienen acceso, cuando, no obstante, se deben procesar grandes cantidades de datos. Investigación realizada por un equipo en Grecia descrita en Revista Internacional de Ingeniería y Tecnología Web muestra cómo se puede utilizar este enfoque para agregar contenido, extraer información, marcar sentimientos y tareas de visualización.

Iraklis Varlamis y Dimitrios Michail del Departamento de Ciencias de la Computación y Telemática de la Universidad de Harokopio en Atenas, y Pavlos Polydoras y Panagiotis Tsantilas de Palo Ltd en Kokkoni, Grecia, demostraron cómo este enfoque modular puede funcionar bien en las redes sociales y la plataforma de análisis de noticias PaloAnalytics. . El equipo muestra cómo la arquitectura propuesta puede resistir fácilmente las presiones de una mayor carga de contenido cuando un problema se vuelve viral en las redes sociales, como cuando ocurre un evento importante. Los micromódulos que reemplazan la arquitectura monolítica de los sistemas informáticos convencionales pueden liberar rápidamente los recursos no utilizados cuando la carga útil del contenido alcanza el flujo normal.

Los científicos señalan que incluso desde los primeros días de los robots web primitivos que se convirtieron en la base de los motores de búsqueda y otras herramientas relacionadas, se consideró que la computación distribuida era la única forma viable de domesticar las enormes cantidades de datos de texto generados incluso hace mucho tiempo. Siguiente. Hoy en día, la escala es casi inimaginable, ya que muchos petabytes de datos deben asimilarse, agregarse, procesarse, indexarse ​​y etiquetarse. Los vastos reinos de la red i medios de comunicación social Los sistemas nos ofrecen una rica base de datos de información y conocimiento si las herramientas se pueden construir para manejar bits y bytes.

Las pruebas del equipo hasta la fecha se han basado en un análisis de 1.500 sitios web, 10.000 blogs, foros, cientos de miles de páginas públicas de Facebook, actualizaciones de Instagram, Twitter y YouTube en seis países europeos y seis idiomas diferentes. Su trabajo muestra dónde se puede mejorar una poderosa herramienta analítica que será escalable y nos permitirá extraer de manera rápida y eficiente esta enorme cantidad de conocimiento.