Tutorial - Global Open Data Index 2015

(traducción en Español seguirá el inglés)

Introduction

Thank you for contributing to the Global Open Data Index, a joint community effort undertaken by contributors around the world, just like you.

Now in its third year, the Global Open Data Index helps quantify and compare the openness of government data around the world. It is both an advocacy tool to promote open data and a research tool to evaluate it. It is important, therefore, that the data submitted to the Index is as accurate as possible.

The following tutorial will help you make your first contributions to the Open Data Index.

Do not be afraid to make mistakes; a global community of contributors past and present are are here to help you out every step of the way in the Open Data index forum :-)

How does the Index work?

The index is built on two units — places, that represent national governments or other official jurisdictions, and datasets. In this year’s Index we have 15 datasets representing different governmental themes. Each datasets has a description followed by a list characteristics. These characteristics describes the dataset and suppose to assist you in finding the right dataset to evaluate. For more information about each dataset, please refer to our methodology page. If you are struggling to find the most suitable dataset in your country, drop a note in the Open Data index forum which is monitored by the Index community, who can often offer you guidance and help. You will also find the Index staff in the forum, so don’t be shy.

Each of these datasets are first evaluated by the contributor with nine different questions. After this process the data is sent for review. This year we have an expert reviewer for each dataset. This means that reviewers will check the submissions from all countries that were submitted under a given dataset (e.g. transport, government spending, elections, etc.).

After the review stage, we plan to send the Index to governments for commenting. This is done to check for errors that might have come up. The final decision regarding a datasets will be in the reviewer hands. After all of the reviews are completed and the datasets are evaluated by their respective governments, a country’s final score will be shown publicly on the Index website.

Contributing a new submission to the Index

In the current Index you can contribute in 3 different ways:

Enter a new submission for 2015: you’ll see an ‘Add’ button under the dataset Update a past submission with new information for 2015: You'll see a colored block that reflects the last year that there has been a recorded score for the place's dataset. Click the block and you'll see options to view or update the data, choose 'Update". Leave a comment: you’ll see a ‘Review’ button under the dataset (we will explain about this later)

Add a new submission when there is no data on a specific dataset in a country or, if there is already data in a category where you have more updated information, you can propose an revision for 2015 (see further down in this tutorial).

The survey website of the 2015 index is - https://global.census.okfn.org/

1. Select a place and a dataset from the homepage.

2. Login either with your Google account or Facebook account. (You don’t need to log in to leave a comment.)

3. Start answering the questions about the dataset.

You’ll be asked a series of questions about the dataset you have located to help determine how it is scored. There is a help text prompt next to each question in the “information” column. A new feature for 2015 is that we’ve built some of the questionnaire logic directly into the interface, which should give you more confidence in your responses.

Below, you will find further tips for each specific question.

Does the data exist? If you choose “yes”, you will be asked to enter the data publisher, a title and a brief description and then you will be guided through the remainder of the questions.

If you choose “no”, your submission will be recorded as such. It is very important to know the data does not exist, so please be sure to indicate so rather than leave the entry blank if you have made an honest effort to look for it but can not locate the dataset.

How do I know if the data exist?

Most governmental data can be found on the national government data portal (such as data.gov.uk). Try to search these portals first. If a country doesn’t have a data portal or the data is not on their portal, look for the data on specific government departmental websites. For example, look for budget data on your national treasury website. If you can’t find the data on a website, email the relevant department and ask them about the dataset and whether it’s online. If email isn’t an option, call the relevant department; sometimes you can get a better response on the phone than on email.
Still can’t find the data or you didn’t get an answer from the government? Try one last time by using your favourite search engine.

Is the data in digital form? Choose ‘yes’ if the data exists in any digital format, even if it can’t be accessed on the Internet. Data can be digital, but not accessible online.

If you choose “no” you’ll notice a couple questions greyed out because if the data isn’t digital, by default it is not online, it is not machine readable, nor is it available in bulk. Move on to the next question.

How do I know if the data is in digital format?

If the data exists, but only on paper, it’s not digital! If you found the data on the Internet, it’s definitely digital, even if it’s just scanned versions of paper documents. Some data might be in digital format on a private government network, but not available publicly on the Internet. If you are aware that the data is digital somewhere (for instance, if a government official tells you so), then mark this one “yes” and add a note about how you acquired that information and any relevant contact details or links.

Is the data publicly available?

Choose “yes” if the data is made available to the public in any format without restrictions.

If you choose “no” you’ll notice a couple questions will ‘disappear’ because that implies that the data is not available for free, is not online, is not openly licensed, nor available in bulk.

How do I know if the data is publicly available?

If you need a password or some other form of permissions to access the data it’s not publicly available. If the data is only available in paper form without any restrictions on the number of copies you can make, it’s publicly available. If there are limits on photocopying, it’s not considered publicly available. If you need to make a freedom of information (FOIA) request to access the data, it is not publicly available. If the data is only available to government officials and not citizens, it is not publicly available.

Is the data available for free?

Choose “yes” if the data is available without any cost.

Choose “no” if there is any cost involved in accessing the data. You’ll notice that the openly licensed question is greyed out because being available at no cost is a key provision of the Open Definition and open licensing.

Is the data available online?

Choose “yes” if the data is available on the Internet and you will be prompted to add the url that links to it.

Choose “no” if the data is not available anywhere on the Internet.

How do I know if the data is available online?

If the data is publicly available (see above) and can be freely accessed on the Internet, it is available online. If the data is available in digital format, but not available on a public website, it is not considered to be available online.

Is the data machine readable?

Choose “yes” if the data is in a format that can be easily processed by a computer.

Choose “no” if the file format can not be easily processed by a computer.

How do I know if the data is in a machine readable format?

The easiest way to answer this question is to look at the dataset’s file type.

As a rule of thumb the following file types are machine readable: .XLS .CSV .JSON .XML The following formats are NOT machine readable: .HTML .PDF .DOC .GIF .JPEG .PPT If your dataset is a different file type and you don’t know if it’s machine readable or not, ask in the Open Data Census forum thread.

Is the data available in bulk?

Choose “yes” if the entire dataset can be downloaded at once.

Choose “no” if you can not access the database in its entirety.

How do I know if the data is available in bulk?

If you aren’t able to download a single file that contains the entirety of the dataset you are looking for, it is not available in bulk. Often times governments will provide access to their data through an online interface. If access is restricted to querying a web form and retrieving a only a subset of results at a time from a very large database, the data is considered to not be available in bulk.

Is the data openly licensed?

Choose “yes” if the data is licensed in a way that conforms to the Open Definition.

Choose “no” if the data is protected under a license that does not conform to the Open Definition.

How can I find the licensing information?

Usually, a license or Terms & Conditions can be found at the bottom of the website (in the footer) or under the site’s “About” section. If the site has a search function or a sitemap, those are good places to look as well. If there is no visible license or the license is simply under the country's name (for example — “Copyrighted under the state of Lebanon”) and there are no terms and condition or any other information on the site, the data is not open and you should answer “no”.

How do I know if the data is openly licensed?

In order for data to be openly licensed, it needs to be free to use, reuse, and free to redistribute. The Open Definition website lists the licenses that are certified open. If Creative Commons (CC) licences are used then the data is generally openly licensed. If the non-commercial CC licenses (the ones with “NC” or “ND” in their names) are used, then the data is NOT considered openly licensed. These are partially open, but not fully open according to The Open Definition. Sometimes countries do not make use of Creative Commons licensing, but the terms and conditions do allow use, re-use and distribution. In that case we suggest you write to the Open Data Census forum thread and get feedback from the community about how to answer this question.

Is the data provided on a timely and up to date?

Choose “yes” if the data is relevant and complete for the year or time period that it claims to represent.

Choose “no” if the data is outdated or otherwise not representative of the stated or a reasonable time period.

How do I know if the data is timely and up to date?

Check the date-stamp on the data (see below if that’s not obvious). It’s 2015, if the data doesn’t seem relevant for the current year, mark a “no”. It’s important to remember that not all datasets need to be updated with the same frequency. Transportation data can be updated on a daily basis while postal codes might not change for many years. Do your best to determine what is reasonable for a given dataset. Does the data align with how your country’s government works in a particular area? If national budgets are determined yearly, there should be yearly data, if they’re determined every two years, then a two year period for the data would be considered timely and up to date.

How to find when the data was published?

If the dataset was found on a government portal, there will most often be a timestamp attached to it. If the data was found on a government site, sometimes the date will be written next to the dataset link or a release date might be listed in some related content (like a press release or news clip). Sometimes the date stamp is within the dataset itself. For example, a tab in a spreadsheet that is named for the date it represents. You can also download the data and find the creation date of the file. This might not represent the right date but give you some useful clues. Use your best judgement and leave thorough comments about your assessment. Lastly, sometimes there are no timestamps at all. In that case, it might be most fair to mark it not timely or up-to-date.

Please join the conversation in the Open Data Index forum if you have any questions or need some help.

Commenting on a submission

The Index allows only one submission per one dataset. However, you can still help by commenting on a current submission and propose changes. Leaving detailed notes in the comment field goes a long way in supporting work on the Index during the review process.

Here’s some tips for leaving good comments:

If you’ve determined that a particular dataset does not exist, let us know where you did look and what factors led you to believe that it doesn’t. If the dataset is available in digital form but not available online, let us know what format the data is available in and provide contact information or further instructions on how one could get a hold of the data. If the dataset is not publicly available, let us know how one could get a hold of the data, if at all. If the data is only available through a freedom of information request (FOIA), give us an indication of what is involved in making that request. If you are unsure whether or not a file type is machine readable or not, mark ‘no’ as an answer and explain your rationale in the comment section. If the dataset is not available in bulk, describe what is available and how to access it, including links. If you are unsure as to whether a license is open or not, answer ‘no’ and indicate why in the comments field. Include information and/or links to licenses or terms of use pages so the reviewer can quickly make a second assessment. Let us know why you think the data is either made available in a timely manner or not. Different places have different legislative and governmental spending cycles so it’s important for us to understand the local context as much as possible before making a judgement.

Tutorial 2015 - Índice Global de Datos Abiertos

Introducción

Gracias por contribuir con el Índice Global de Datos Abiertos, una comunidad de esfuerzos conjuntos, asumidos por contribuidores/ alrededor del mundo, como tú.

Ahora en este tercer año, el Índice Global de Datos Abiertos ayuda a cuantificar y comparar el nivel de apertura de los datos de gobierno alrededor del mundo. Es al mismo tiempo una herramienta de incidencia para promover datos abiertos y una herramienta de investigación para evaluarla. Es importante, por lo tanto, que los datos presentados en el Índice sean lo más exactos posible.

El siguiente tutorial te ayudará a realizar tu primer contribución al Índice de Datos Abiertos.

No tengas miedo de cometer errores; hay una comunidad global de contribuidores, anteriores y actuales, para ayudarte en cada paso del proceso en el Foro del Índice Global de Datos Abiertos :-)

Cómo funciona el Índice?

El índice está construído sobre dos unidades - lugares, que representan gobiernos nacionales u otras jurisdicciones oficiales, y sets de datos. En el Índice de esta año tenemos 15 sets de datos representando diferentes temáticas gubernamentales. Cada set de datos tiene una descripción seguida de una lista de características. Estas características describen los sets de datos y buscan ayudarte a encontrar el set de datos correcto para evaluar. Para más información acerca de cada set de datos, por favor dirígete a nuestra página sobre la metodología. Si tenés problemas para encontrar el set de datos más adecuado en tu país, puedes dejarnos un comentario en el Foro del Índice de Datos Abiertos, el cual es monitoreado por la comunidad del Índice, la cual puede ofrecerte una guía y ayuda. También vas a encontrar al equipo del Índice en el foro, así que no seas tímido.

Cada uno de estos sets de datos son primero evaluado por el contribuidor con 9 preguntas. Luego de este proceso los datos son enviados a revisión. Este año tenemos un evaluador experto para cada set de datos. Esto quiere decir que los evaluadores van a revisar las presentaciones de todos los países que fueron registrados en relación a cierto set de datos (por ejemplo: transporte, gastos de gobierno, elecciones, etc.)

Luego de la etapa de revisión, planeamos enviarle el Índice a los gobiernos para sus comentarios. Esto se realiza para verificar errores que pudieran haber surgido. La decisión final sobre los sets de datos quedará en manos del evaluador. Luego de que todos los evaluadores terminaron y los sets de datos fueron todos revisados por sus respectivos gobiernos, se publicará un puntaje final por país en el sitio web del Índice.

Contribuyendo al Índice con una una nueva presentación

En el Índice actual tú puedes contribuir de tres diferentes maneras:

Ingresar una nueva publicación para 2015: Verás el botón “Add” debajo del set de datos. Actualiza la publicación anterior con la información nueva del 2015: Verás un recuadro de color que indica el último año en el que hubo un puntaje registrado para el lugar del set de datos. Haz click en el recuadro y verás opciones para ver o actualizar los datos, elige “Update” (actualizar). Deja un comentario: Debajo del set de datos verás un botón que dice “Review” (revisar - (explicaremos este punto más adelante).

Agrega una nueva presentación cuando no haya información acerca de un set de datos específico sobre un país o, si ya hay información en una categoría sobre la cual tienes información actualizada, puedes proponer una revisión para 2015 (puedes ver cómo hacerlo más abajo en el tutorial)

1. Selecciona un lugar y un set de datos desde la página de inicio.

2. Regístrate con tu cuenta de Google o Facebook (no necesitas registrarte para dejar un comentario)

3. Comienza a responder las preguntas acerca del set de datos.

Deberás responder una serie de preguntas acerca de los sets de datos que hayas ubicado para así determinar su puntaje. Hay un texto de ayuda que aparece al lado de cada pregunta en la columna “Information” (“Información”). Una nueva función para 2015 es que desarrollamos la lógica del cuestionario directamente en la interfaz, la cual debería darte más confianza a la hora de responder.

A continuación encontrarás más consejos específicos para cada pregunta.

Existe la información? Si eliges “si”, se te pedirá que ingreses los datos de quien haya publicado los datos, un título y una breve descripción; luego serás guiado a lo largo de las demás preguntas.

Si eliges “no”, tu presentación quedará registrada como tal. Es muy importante saber si la datos no existen; por lo tanto asegúrate de indicarlo en vez de dejar el registro vacío, si has hecho honestamente el esfuerzo por buscarlo pero no has encontrado el set de datos.

Cómo sabe si la información existe?

La mayoría de los datos gubernamentales pueden ser encontrados en los sitios o portales nacionales de datos (como por ejemplo: data.gov.uk). Intenta primero buscar este tipo de sitios. Si un país no tiene un portal de datos o los datos no se encuentran en dichos portales, intenta buscarlos en los sitios web de las áreas específicas de los gobiernos. Por ejemplo: busca los datos presupuestarios en el sitio web del Tesoro Nacional. Si no puedes encontrar datos en un sitio web, envía un email al área correspondiente y pregúntales acerca de los sets de datos y si es que están disponibles en línea. Si no hay opciones para mandar email, puedes llamar telefónicamente al área correspondiente; a veces puedes encontrar una mejor respuesta por teléfono que por email. Si aún así no puedes encontrar datos, o no has recibido ningún tipo de respuesta del gobierno, intenta una última vez más usando tu buscador de internet favorito.

Está la información en formato digital? Elige “si” en caso que existan datos en formato digital, aunque no sean accesibles a través de internet. Los datos pueden estar en formato digital pero no accesibles en internet.

Si eliges “no” te darás cuenta que hay unas preguntas en color gris, ya que por defecto, si la información no está en formato digital, tampoco está en internet. Procede a la siguiente pregunta.

Cómo sé si los datos están en formato digital?

Si los datos existen, pero en paper, eso no es digital! Si encuentras los datos en Internet, eso es definitivamente digital, incluso si se trata de una versión escaneada de documentos en papel. Algunos datos pueden estar en formato digital en redes privadas de gobierno, pero no disponibles públicamente en Internet. Si tienes conocimiento que hay datos en formato digital (por ejemplo, te informa un agente de gobierno al respecto), entonces marca esta pregunta con un “si” y agrega un comentario acerca de cómo obtuviste dicha información y cualquier contacto relevante o enlace.

Están los datos disponibles públicamente?

Elige “si” si los datos se encuentran disponibles sin importar el tipo de formato.

Si eliges “no” notarás que ciertas preguntas “desaparecerán” por que eso quiere decir que si los datos no están disponibles en forma gratuita, no están en internet, no tiene licencia abierta, ni disponibles en conjunto.

Cómo sé si los datos están disponibles públicamente?

Si necesitas una contraseña o algún otro tipo de permiso para acceder a los datos, entonces éstos no están disponibles públicamente. Si los datos sólo están disponibles en papel sin ninguna restricción en el número de copias que desees hacer, están disponibles públicamente. Si hay límites para fotocopiar entonces no se consideran disponibles públicamente. Si necesitas realizar un pedido de acceso a la información pública (FOIA) para obtener los datos, entonces no se consideran disponibles públicamente. Si los datos sólo se encuentran disponibles a agentes de gobierno y no a los ciudadanos, entonces no se consideran disponibles públicamente.

Están los datos disponibles en forma gratuita?

Elige “si” en caso que los datos se encuentren disponibles sin costo.

Elige “no” si hay algún costo asociado para obtener los datos. Notarás que la pregunta de licencias abiertas se torna de color gris, ya que estar disponible sin costo es un suministro clave de la definición “Abierto” y de licencias abiertas.

Están los datos abiertos en línea?

Elige “si” en caso que los datos se encuentren disponibles en internet y te será solicitado que ingreses el enlace para acceder.

Elige “no” en caso que los datos no se encuentren disponibles en ningún lugar de internet.

Cómo sé si los datos están disponibles en línea?

Si los datos se encuentran disponible públicamente (ver arriba) y es accesible en forma gratuita, entonces es disponible en línea. Si los datos están disponibles en formato digital pero no disponible en un sitio web público, entonces no es considerada como accesible en línea.

Se pueden leer los datos mediante una computadora?

Elige “si” en caso que los datos se encuentren en un formato el cual pueda procesarse fácilmente con una computadora.

Elige “no” en caso que los datos no si el formato no puede procesarse fácilmente con una computadora.

Cómo sé que los datos están en una formato legible a través de una computadora?

La forma más sencilla para responder esto es mirando al tipo de archivo del set de datos.

Como regla, los siguientes tipos de archivo son legibles con computadora: .XLS .CSV .JSON .XML. Los siguientes formatos NO son legibles con computadora: .HTML .PDF .DOC .GIF .JPEG .PPT Si tu set de datos tiene un formato diferente y no sabes si es legible con computadora consulta en el Foro del Censo de Datos Abiertos Open Data Census forum thread.

Están los datos en disponibles en conjunto?

Elige “si” en caso que el set de datos entero puedan descargarse de una sola vez. Elige “no” en caso que no puedas descargar el el set de datos en su totalidad.

Cómo sé si los datos están disponibles en conjunto?

Si no puedes descargarlo en un sólo archivo que contenga todo el set de datos que estás buscando, entonces no está disponible en conjunto. Muchas veces los gobiernos proveen acceso a sus datos a través de una interfaz en línea. Si el acceso se restringe a una búsqueda mediante un formulario en línea y se obtienen resultados pormenorizados de una gran base de datos, entonces se considera que los datos no se están disponibles en conjunto.

Tienen los datos licencia abierta?

Elige “si” en caso que los datos tengan una licencia dentro de las concebias en la “Definición de Abierto” Open Definition.

Elige “no” en caso que los datos se encuentren protegidos bajo una licencia que no esté concebida dentro de la “Definición de Abierto” (Open Definition).

Cómo puedo encontrar la información sobre el licenciamiento?

Usualmente una licencia o los Términos y Condiciones pueden ser encontrados en el pie del sitio web o en la sección de “Acerca de”. Si el sitio tiene un buscador o un mapa del sitio, éstos son buenos lugares para buscar también. Si no hay una licencia visible o la licencia está bajo el nombre del país (por ejemplo: Derechos de Autor del Estado del Lïbano) y no hay Términos y Condiciones u otra información en el sitio, los datos no son abiertos y debe responderse “no”.

Cómo sé si los datos tienen licencia abierta?

Para saber si los datos tienen licencia abierta, éstos deben ser libres de uso, re-uso y redistribución. El sitio web de “Definición de Abierto” (Open Definition) enumera las licencias abiertas certificadas. Si se utilizan las licencias Creative Commons (CC) los datos son generalmente de licencia abierta. Si se utilizan las licencias no-comerciales de CC (aquellas con “NC” or “ND” en sus nombres), entonces los datos no son considerados abiertos. Éstos son abiertos parcialmente, pero no en forma completa de acuerdo a la “Definición de Abierto” (Open Definition). A veces los países no utilizan las licencias de CC, pero en los términos y condiciones si permiten el uso, re-uso y redistribución de sus datos. En ese caso sugerimos que dejes un comentario en el Foro del Censo de Datos Abiertos Open Data Census forum thread y tomes las respuesta de la comunidad al respecto.

Los datos se proveen en forma oportuna y actualizada?

Elige “si” en caso que los datos sean relevantes y completos para el año y el período que pretenden describir.

Elige “no” en caso que los datos estén desactualizados o que no sean representativos de lo que lo que enuncian o del período de tiempo correspondiente.

Cómo sé si los datos se proveen en forma oportuna y actualizada?

Verifica la fecha de generación de los datos (ve más abajo si no resulta obvio). Es 2015, si los datos no parece relevantes para el año actual, entonces responde “no”. Es importante recordar que no todos los sets de datos necesitan ser actualizados con la misma frecuencia. Datos acerca de Transporte pueden ser actualizados en forma diaria, mientras que los códigos postales pueden no variar por muchos años. Haz tu mejor esfuerzo para determinar que es razonable por cierto tipo de datos. Están los datos alineados respecto a cómo el gobierno de un país funciona en un área en particular? Si el presupuesto nacional es determinado anualmente debería haber por lo tanto datos anuales; si se determinan cada 2 años, entonces un período bi-anual debería ser considerado como “oportuno y actualizado”

Cómo encontrar cuándo los datos fueron publicados?

Si los sets de datos fueron encontrados en un portal de gobierno, seguramente habrá una fecha registrada adjunta. Si los datos fueron encontrados en un sitio web de gobierno, las fechas suelen estar escritas al lado del enlace al set de datos; o una fecha de emisión es enunciada en el contenido relacionado (como una gacetilla de prensa o nota periodística). A veces la fecha de publicación está dentro del mismo set de datos. Por ejemplo, una pestaña en una hoja de cálculo tiene el nombre del período que representa. También puedes descargar los datos y encontrar la fecha de creación en el mismo archivo. Esto puede no representar la fecha correcta pero proveer algo de información útil. Utiliza tu mejor juicio y deja el comentario acerca de tu valoración Por último, a veces no hay fecha de publicación en absoluto. En este caso lo más apropiado sería responder que los datos no son acordes ni actualizados.

Por favor únete a la conversación en el Foro del Índice de Datos Abiertos si tienes alguna pregunta o necesitas ayuda. Comentando una presentación

El Índice permite sólo una presentación por cada set de datos. Sin embargo puedes ayudar comentando una presentación actual y proponiendo cambios. Dejar notas detalladas en la sección de comentarios ayuda profundamente al trabajo del Índice durante el proceso de revisión.

Aquí tienes unos consejos para dejar buenos comentarios:

S has determinado que un set de datos particular no existe, déjanos saber donde has buscado y que factores que te llevaron a determinar que no existe. Si el set de datos está disponible en formato digital pero no disponible en línea, déjanos saber en que formato se encuentra el set de datos y provee la información de contacto o instrucciones de cómo podría una persona acceder a la información. Si el set de datos no está disponible públicamente, déjanos saber cómo podría una persona acceder a los datos, si eso es posible. Si los datos sólo pueden obtenerse mediante un pedido de acceso a la información pública (FOIA), indícanos que se requiere para realizar tal pedido. Si no tienes certeza si el archivo es legible mediante una computadora o no, responde “no” y explica luego cuáles fueron tus consideraciones en la sección de comentarios. Si el set de datos no está disponible en conjunto, describe que es lo que está disponible y cómo acceder a eso, incluyendo los enlaces. Si no tienes certeza si el archivo tiene licencia abierta o no, responde “no” y explica luego por qué en la sección de comentarios. Incluye información y/o enlaces a las licencias o páginas de Términos y Condiciones de uso, para que luego el evaluador pueda rápidamente hacer una segunda revisión. Déjanos saber por que consideras que los datos están disponibles en forma oportuna y actualizada o no. Diferentes lugares tienen diferentes ciclos de gasto legislativos y de gobierno, por lo tanto es importante para nosotros entender el contexto local de la mejor forma posible antes de emitir un juicio.