SCIOPS 2013: Reproducibilidad en Astronomia

La Agencia Espacial Europea (ESA) junto con el Observatorio Austral Europeo (ESO) han organizado el primer congreso internacional sobre Operaciones Científicas en Astronomía (Science Operations SCIOPS 2013) en el complejo del European Space Astronomy Centre (ESAC) en Villafranca del Castillo, Madrid del 10 al 13 de Septiembre de 2013. El objetivo de SCIOPS 2013 es presentar y discutir diferentes aproximaciones para dar soporte tanto a misiones espaciales como a grandes infraestructuras observacionales en tierra.

Un aspecto importante a considerar son archivos, soporte a la comunidad de astrónomos y publicación de resultados. En este contexto ha tenido lugar una presentación de 20 minutos con el título de Digital Science: Reproducibility and Visibility in Astronomy, en la que se ha expuesto cómo el acceso libre a workflows científicos, datos de entrada, procesos y resultados podría mejorar de forma sustancial la reproducibilidad y visibilidad de la ciencia en Astronomía.

La presentación puede encontrarse en SlideShare

Advertisements
Tagged with: , ,
Posted in Uncategorized

Comienza el desarrollo del AstroPack

En una conferencia telefónica realizada la mañana del 23 de Agosto, entre integrantes del Fidesol y el grupo AMIGA del Instituto de Astrofísica de Andalucía – CSIC, se ha acordado la metodología de trabajo que se seguirá para el desarrollo de la Tarea 3.3 de Astrofísica. Esta tarea pretende por un lado implementar una GUI que permita un fácil acceso, composición e integración de servicios web TAP (Tabular Access Protocol) en el diseño de workflows para el software Taverna Workbench, y además integrar un acceso directo a una colección de workflows publicados en MyExperiment, conocida como AstroTaverna Starter Pack. Este trabajo tomará la forma de una nueva release del plugin AstroTaverna desarrollado hasta ahora en el marco del proyecto EU FP7 Wf4Ever.

Los servicios web TAP permitirán consultas sofisticadas a datos tabulares de archivos de Astrofísica  públicos, utilizando estándares del Observatorio Virtual. El AstroTaverna Starter Pack servirá como ayuda y tutorial del plugin AstroTaverna, mostrando posibles usos del plugin mediante ejemplos.

  • Todo el desarrollo será un branch del actual paquete de AstroTaverna, que en un futuro constituirá una nueva versión.
  • Fidesol elaborará en la wiki del AstroPack en GitHub un documento donde se desglosen las Historias de Usuario detectadas, y los criterios de aceptación que permitirán al IAA comprobar que el desarrollo estará en consonancia con sus requisitos y los tipos de pruebas que serán realizadas. El documento será la base del “documento de requerimientos” según la metodología SCRUM y su creación sera incremental, sprint a sprint.
  • El día 30 de Agosto tendremos una conferencia para tratar las dudas de dicho documento y se priorizarán las Historias de Usuario, con vistas a comenzar el sprint el día 2 de Septiembre.
  • En principio cada sprint será de 3 semanas y finalizará con una reunión donde se hará la validación del trabajo y la preparación del siguiente sprint.
  • Los sprints serán gestionados de la mejor manera posible que permita GitHub, según parece, mediante milestones.
  • Se utilizarán las convenciones de código definidas por los ficheros checkstyle de los proyectos de Taverna.
  • En principio la integración continua se llevará a cabo con Jenkins.
Posted in Tarea 3.3: Astrofísica

Presentación en Cancún para el CEC 2013

Este pasado 20 de Junio expusimos en el CEC 2013 nuestro trabajo: Is there a free lunch for cloud-based evolutionary algorithms? donde presentamos la implementación de un algoritmo evolutivo distribuido utilizando exclusivamente servicios en la nube. Estos servicios son: Heroku una plataforma como servicio muy popular para el desarrollo de aplicaciones web y PiCloud una nueva plataforma para el computo científico que se integra de forma transparente con código escrito en el lenguaje Python.
Los servicios cloud pueden proveer a los investigadores una capacidad de computo de alto desempeño a un bajo costo o incluso gratuitamente. En el trabajo, probamos que tanto provecho podíamos sacar de dichas plataformas considerando tres presupuestos de bajo costo: el gratuito, diez y veinte dolares estadounidenses. Para esto utilizamos una versión cloud de nuestro algoritmo EvoSpace. EvoSpace es un algoritmo pool-based para computo evolutivo, basado en los espacios de tuplas. Se probó con el generador de problemas multimodal P-Peaks obteniendo resultados muy favorables al compararlos con la versión local. Observamos que la configuración gratuita da resultados aceptables, pero el mejor desempeño se obtuvo con la mayor inversión. Creemos que se deben probar otras configuraciones y servicios, pero los resultados obtenidos nos alientan a seguir utilizando los servicios cloud ya que además del buen desempeño su implementación es más sencilla al no tener que configurar y mantener los servidores remotos.
El código fuente de EvoSpace, los datos y scripts de prueba se encuentran dispponibles en el repositorio de GitHub, la presentación en Slideshare:

Posted in Presentaciones

Primera reunión de la tarea 3.3: Astrofísica

Esta mañana nos hemos reunido algunos miembros del proyecto Canube (Grupo AMIGA, GeNeura y Fidesol) en el Instituto de Astrofísica de Andalucía para tratar temas de la Tarea 3.3 (Astrofísica).

En esta tarea se plantea avanzar en el desarrollo del plug-in AstroTaverna, dentro del framework Taverna. Puedes consultar información sobre estos dos sistemas en este post anterior.

También hemos hablado de algunos sistemas que pueden ayudar a la hora del desarrollo, como Jenkins o BuildHive.

Las sub-tareas a desarrollar son:

  • Integrar el AstroTaverna StarterPack directamente en una pestaña de Taverna, lo que permitirá acceder a esta colección de workflows de forma directa, sin necesidad de descubrirlo en la web de My Experiment
  • Crear un cliente de TAP (Table Access Protocol) para AstroTaverna

El primer sprint será familiarizarse con los elementos de Taverna. Hemos creado el repositorio y el equipo de desarrollo en nuestro repositorio público de GitHub donde iremos creando los issues correspondientes.

Tras la reunión hemos asistido a una charla impartida por Lourdes Verdes-Montenegro – investigadora principal del grupo AMIGA – sobre nuevas métricas científicas, cuyo resumen postearemos en este blog en breve.

Tagged with: , ,
Posted in Tarea 3.3: Astrofísica

Ciencia colaborativa con git: resumen del taller

Ayer día 9 de abril, en la OSL tuvo lugar el primer taller de desarrollo colaborativo con Git en la plataforma GitHub. He aquí la presentación:


La presentación se hizo en forma de Hangout transmitido también por streamint a través de YouTuve. Aquí está lo grabado:

CANube tiene su propios repositorios de código en GitHub

Tagged with: , , , , , ,
Posted in Talleres

Talleres de Git

El próximo martes 9, a las 9:00 de la mañana, y también el jueves 11, a las 11:00, tendremos sendos talleres (en realidad, un solo taller repetido dos veces, para facilitar la asistencia) sobre el uso de Git como sistema de control de versiones y de github.com como entrono social de trabajo en red.

Ambos se realizarán en las instalaciones de la Oficina de Software Libre de la Universidad de Granada, situadas en la c/ Real de Cartuja, nº 36-38. c.p. 18071. Granada.

Tagged with: , ,
Posted in Uncategorized

Ciencia digital: reproducibilidad y visibilidad

Gran parte de la ciencia que se realiza es ciencia digital, desde las propuestas de trabajo hasta la publicación final, pasando por los datos y el software utilizado: cada uno de los elementos y acciones que intervienen en la producción científica podría registrarse en soporte electrónico. Este hecho no impide que el resultado final de un experimento sea aún difícil de reproducir. Este procedimiento puede ser largo, tedioso, no fácilmente accesible o comprensible, incluso para el propio autor.

En el campo de la Astronomía disponemos de una rica infraestructura de archivos, datos observacionales y publicaciones. El Virtual Observatory (VO) es una iniciativa de carácter internacional cuyo objetivo es facilitar el acceso a todo tipo de información existente en archivos astronómicos, cuya utilidad aumentará con su visibilidad. Esta infraestructura podría utilizarse de forma mucho más eficiente si disfrutáramos de una mayor visibilidad de la producción científica que evite las reinvenciones y duplicación de esfuerzo. La reproducibilidad es uno de los pilares del método científico, y la extracción de información relevante en el diluvio de datos actual y futuro es clave en Astronomía. 

El grupo AMIGA (integrante del equipo de CANUBE) participa en el proyecto europeo “Wf4Ever: Advanced workflow preservation technologies for enhanced Science” con el fin de posibilitar la preservación de la metodología en repositorios semánticos escalables que faciliten su descubrimiento, acceso, inspección, explotación y distribución. Estos agregados digitales están compuestos por todos aquellos elementos que intervienen en la producción científica, muchos de ellos distribuidos en distintas librerías digitales y archivos. 

La difusión constituye el núcleo de las actividades y objetivos de CANUBE, principalmente la difusión del trabajo científico de los componentes siguiendo los principios de ciencia abierta. En este sentido, CANUBE pretende realizar un esfuerzo importante en la trasmisión a la comunidad científica de los principios de ciencia abierta, reproducibilidad y visibilidad. Los experimentos digitales y workflows científicos desarrollados por el grupo AMIGA serán publicados en la plataforma de acceso  público MyExperiment como ”objetos de investigación” digitales cuyos principales constituyentes son los workflows científicos. Con ello se pretende proporcionar un acceso abierto a una interpretación científica clara del experimento, asegurando no tanto la automatización del experimento, sino su reproducibilidad, re-utilización, evaluación y revisión.

Imagen

Captura de pantalla de un workflow de Taverna durante su ejecución

Tagged with: , ,
Posted in Uncategorized