Backup

Módulo con funciones auxiliares para hacer backups de catálogos.

pydatajson.backup.get_catalog_path(catalog_id, catalogs_dir=u'', fmt=u'json')[fuente]

Genera el path estándar de un catálogo en un filesystem.

pydatajson.backup.get_distribution_dir(catalog_id, dataset_id, distribution_id, catalogs_dir=u'', use_short_path=False)[fuente]

Genera el path estándar de un catálogo en un filesystem.

pydatajson.backup.get_distribution_path(catalog_id, dataset_id, distribution_id, distribution_file_name, catalogs_dir=u'', use_short_path=False)[fuente]

Genera el path estándar de un catálogo en un filesystem.

pydatajson.backup.main(catalogs, include_data=True, use_short_path=True)[fuente]

Permite hacer backups de uno o más catálogos por línea de comandos.

Parámetros:catalogs (str) – Lista de catálogos separados por coma (URLs o paths locales) para hacer backups.
pydatajson.backup.make_catalog_backup(catalog, catalog_id=None, local_catalogs_dir=u'', include_metadata=True, include_data=True, include_datasets=None, include_distribution_formats=[u'CSV', u'XLS'], include_metadata_xlsx=True, use_short_path=False)[fuente]

Realiza una copia local de los datos y metadatos de un catálogo.

Parámetros:
  • catalog (dict or str) – Representación externa/interna de un catálogo. Una representación _externa_ es un path local o una URL remota a un archivo con la metadata de un catálogo, en formato JSON o XLSX. La representación _interna_ de un catálogo es un diccionario.
  • catalog_id (str) – Si se especifica, se usa este identificador para el backup. Si no se especifica, se usa catalog[«identifier»].
  • local_catalogs_dir (str) – Directorio local en el cual se va a crear la carpeta «catalog/…» con todos los catálogos.
  • include_metadata (bool) – Si es verdadero, se generan los archivos data.json y catalog.xlsx.
  • include_data (bool) – Si es verdadero, se descargan todas las distribuciones de todos los catálogos.
  • include_datasets (list) – Si se especifica, se descargan únicamente los datasets indicados. Si no, se descargan todos.
  • include_distribution_formats (list) – Si se especifica, se descargan únicamente las distribuciones de los formatos indicados. Si no, se descargan todas.
  • use_short_path (bool) – No implementado. Si es verdadero, se utiliza una jerarquía de directorios simplificada. Caso contrario, se replica la existente en infra.
Devuelve:

None

pydatajson.backup.make_catalogs_backup(catalogs, local_catalogs_dir=u'', include_metadata=True, include_data=True, include_metadata_xlsx=False, use_short_path=False)[fuente]

Realiza una copia local de los datos y metadatos de un catálogo.

Parámetros:
  • catalogs (list or dict) –

    Lista de catálogos (elementos que pueden ser interpretados por DataJson como catálogos) o diccionario donde las keys se interpretan como los catalog_identifier:

    Cuando es una lista, los ids se toman de catalog_identifer, y se ignoran los catálogos que no tengan catalog_identifier. Cuando se pasa un diccionario, los keys reemplazan a los catalog_identifier (estos no se leeen).

  • catalog_id (str) – Si se especifica, se usa este identificador para el backup. Si no se espedifica, se usa catalog[«identifier»].
  • local_catalogs_dir (str) – Directorio local en el cual se va a crear la carpeta «catalog/…» con todos los catálogos.
  • include_metadata (bool) – Si es verdadero, se generan los archivos data.json y catalog.xlsx.
  • include_data (bool) – Si es verdadero, se descargan todas las distribuciones de todos los catálogos.
Devuelve:

None