Flujo de trabajo de reclamación contenciosa utilizando el modelo GPT-4 de OpenAI. El procedimiento comienza con el procesamiento inicial y la incorporación de documentos de astronomía galáctica. La búsqueda de similitud se realiza en la consulta incrustada y se recuperan los fragmentos relevantes de los documentos. Se realiza una compresión contextual adicional para eliminar la información irrelevante del fragmento. Estos textos comprimidos sirven como entrada a la instancia GPT-4 que genera la idea. Esta idea luego es criticada por el segundo modelo GPT-4, y las opiniones son moderadas por el tercer modelo GPT-4. Préstamo: arXiv (2023). DOI: 10.48550/arxiv.2306.11648
Casi en cualquier parte de Internet, parece casi imposible escapar de los artículos de IA. Incluso aquí en UT, hemos publicado algunos. Por lo general, se centran en cómo un grupo de investigación en particular ha utilizado la tecnología para dar sentido a los montones de datos. Pero este tipo de reconocimiento de patrones no es todo para lo que la IA es buena. De hecho, se vuelve bastante capaz de pensar en abstracto. Un lugar donde el pensamiento abstracto puede ser útil es en el desarrollo de nuevas teorías científicas. Con esto en mente, un equipo de científicos de la ESA, Columbia y la Universidad Nacional de Australia (ANU) utilizó inteligencia artificial para formular hipótesis científicas en astronomía.
En concreto, lo han hecho en el campo de la astronomía galáctica, que se especializa en investigaciones relacionadas con la formación y física de las galaxias. Un artículo publicado recientemente sobre arXiv El servidor de preimpresión menciona que eligieron este subcampo debido a su “naturaleza integradora” que requiere “conocimiento de varios subcampos”.
Eso suena exactamente como en lo que la IA ya es buena. Sin embargo, el modelo estándar de lenguaje grande (LLM), como los que se han vuelto más famosos recientemente (ChatGPT, Bard, etc.), no tendría suficiente conocimiento del tema para formar hipótesis razonables en este campo. Incluso puede ser víctima de “alucinaciones”, que algunos investigadores (y periodistas) advierten que son una de las desventajas de interactuar con modelos.
Para evitar este problema, los investigadores dirigidos por Ioana Ciucă y Yuan-Sen Ting de ANU utilizaron un código conocido como interfaz de programación de aplicaciones (API) que estaba escrito en Python, conocido como Langchain. Esta API permite a los usuarios más avanzados manipular LLM como GPT-4, que sirve como la base más reciente para ChatGPT. Para los científicos, cargaron más de 1000 artículos científicos sobre astronomía galáctica en el GPT-4 después de descargarlos del sistema de datos astrofísicos de la NASA.
Uno de los experimentos de los investigadores fue ver cómo la cantidad de artículos accedidos por el modelo afectaba las hipótesis resultantes. Notaron una diferencia significativa entre las hipótesis sugeridas que desarrolló con acceso a solo diez artículos y con acceso a mil.
Pero, ¿cómo evaluaron la validez de las propias hipótesis? Hicieron lo que cualquier científico que se precie haría y reclutaron expertos en el campo. Más precisamente, dos de ellos. Y solo pidieron hipótesis basadas en la originalidad del pensamiento, la capacidad de probar hipótesis y la precisión científica de su base. Los expertos dijeron que incluso con un conjunto de datos limitado de solo diez artículos, las hipótesis sugeridas por Astro-GPT, como llamaron a su modelo, fueron calificadas solo un poco por debajo de un doctorado competente. alumno. Con acceso a los 1000 artículos completos, Astro-GPT se convirtió en “casi un experto”.
El factor crítico para determinar las hipótesis finales que se presentaron a los expertos fue que las hipótesis se refinaron utilizando “incitaciones del adversario”. Si bien esto suena agresivo, simplemente significa que además del programa que desarrolló las hipótesis, otro programa fue entrenado en el mismo conjunto de datos y luego le dio al primer programa retroalimentación sobre sus hipótesis, lo que obligó al programa original a corregir sus errores lógicos y generalmente. producir ideas mucho mejores.
Incluso con críticas negativas, no hay razón para obtener un doctorado en astronomía. los estudiantes a dejar de proponer sus propias ideas únicas en su campo. Sin embargo, este estudio apunta a la capacidad sin explotar de estos LLM. A medida que se usan más ampliamente, los científicos y los legos pueden usarlos cada vez más para generar nuevas y mejores ideas para las pruebas.