Preskoč na obsah

Novinky Novinky

Späť

Ako je na tom participatívna komunita OpenData a jej projekty

 V minulom roku PK OpenData vypracovala a odprezentovala projekty "Pracovná skupina a katalóg verejných datasetov magistrátu" (ďalej len Pracovná skupina) a "Zverejnenie vybraných datasetov na základe požiadaviek komunít PR". Projekty získali na verejnom zvažovaní dňa 8.11.2012 podporu (viď "Priebeh a výsledok procesu participatívneho rozpočtu v Bratislave pre rok 2013"). Ako sme teda na tom s realizáciou týchto projektov k júnu 2013?

Aby bolo možné zverejniť konkrétny jeden dataset, je potrebné najprv zistiť kto je zaň zodpovedný, v akom stave je, v akých IT systémoch v akej forme sa vyskytuje a podobne. Prioritne teda aktivita členov PK teraz smeruje k Pracovnej skupine.

Pracovná skupina má za sebou už dve stretnutia. Podarilo sa dať dokopy zástupcov particípatívnej komunity, zamestancov magistrátu z oddelenia IT a aj zástupcu poslancov mestského zastupiteľstva. Aktuálne sa zoznamujeme so stavom IT infraštruktúry mesta, stavom jednotlivých agiend (zdroje datasetov) a definujeme prvé konkrétne kroky smerujúce k otváraniu/zverejňovaniu datasetov v súlade s princípmi OpenData a vrámci možností mesta.

Vysporiadať sa treba najmä s agendou, ktorá je pre občanov síce zaujímavá ale ktorá zatiaľ nie je vedená plne elektronicky a automatizovane a teda nedá sa ľahko zabezpečiť automatické zverejňovanie a aktualizácie. Príkladom je napr. rozpočet mesta, ktorý sa síce tvorí s pomocou tabuliek v PC, je to však manuálny proces a výstupy nie sú v jednotnej a strojovo spracovateľnej forme. Vrámci Pracovnej skupiny teda navrhujeme doplnenie požiadaviek pre obstarávaný systém správy rozpočtu tak, aby bol "OpenData ready" a poskytoval priamo aj údaje použiteľné pre občanov relevantnými spôsobmi a formátmi.

Zápisy zo stretnutí Pracovnej skupiny sú nateraz neverejné, keďže sa tam preberajú aj citlivé informácie. Zverejniteľné informácie sa však budú objavovať (resp. už objavujú) v blog príspevkoch participatívnej komunity (akým je aj tento). Okrem blogu tiež odporúčam sledovať zápisy z verejných fór a zápisy zo stretnutí participatívnej komunity.

Peter Hanečák, 3.7.2013
Priemerne (0 Hlasy)


O projekte O projekte

Projekt OpenData

Autor/ka: wiki

Ciele projektu

Na základe východiskovej situácie stanovujeme nasledovné ciele pre projekt:

  • zadefinovať formáty a opensource technológiu pomocou ktorej by inštitúcie mohli efektívne poskytovať dáta - vytvoriť pilotnú implementáciu Open Data Node,
  • propagácia myšlienky zdieľania verených informácií medzi občanmi a štátnymi inštitúciami a inštitúciami medzi sebou
  • podpora tretieho sektoru v budovaní riešení nad týmto riešením,
  • vytvoriť prototyp súborného katalógu,
  • vytvoriť prototyp dátového skladu (DWH) určeného na zber, spracovanie a ukladanie metadát o dátach poskytovaných inštitúciami,
  • vybudovať reportovaciu vrstvu nad dátami pre komfortné vytváranie reportov a modelovanie dát pomocou webového grafického rozhrania - Open Data Portál,
  • legislatívne dosiahnuť publikovanie dát generovaných verejným sektorom pod licenciou Creative Commons
  • spropagovať myšlienku využívania opensource riešení v štátnej správe
  • spustiť "supportné centrum" pomáhajúce budúcim používateľom systému integrovať ho s ich systémami
  • zapojiť sa do procesu participatívneho rozpočtu pre Bratislavu

 

Prvá etapa - definícia formátov pre zdieľanie informácií a výber vhodnej OSS technológie

Navrhované riešenie obsahuje open source balík a metodiku nasadenia, poskytujúcu organizácii (ministerstvo, obec, nezisková organizácia, súkromná firma) nástroj na zverejňovanie dát z interných systémov. V prvej fáze sa zabezpečuje publikovanie verejných informácií pomocou otvorených štandardov (napr. verejne dostupné zmluvy, príjmové a nákladové položky, účtovné dáta, vyhlášky atď.)

Každá organizácia si sama zvolí aké dáta bude publikovať a v akých intervaloch ich bude aktualizovať. Veríme, že otvorená komunikácia medzi organizáciami a verejnosťou vytvorí rozumný kompromis medzi uzavretosťou a otvorenosťou informácií.

Momentálne je to práve oblasť katalogizácie knižničných a kultúrnych diel, kde zverejňovanie digitálnych dokumentov dosahuje svoj vrchol. Ak by sme však myšlienku scanu obrazu v galérii zamenili za scan faktúry na mestskom zastupiteľstve, vieme jednoducho aplikovať výsledky výskumu a vývoja z kultúrnej oblasti práve na tématiku Open Data. Preto napríklad z kultúrnej oblasti preberáme zadefinovaný komunikačný štandard Open Archives InitiativeProtocol (OAI-PMH). Tento komunikačný štandard je vhodný pre tzv. read-only zverejňovanie údajov.

Riešenie tiež poskytuje prístup k údajom pre aplikácie tretích strán, aby sa zverejnené Open Data využívali viac a lepšie. Aj v tomto prípade ide o prevzatie overených konceptov z iných sfér (Web 2.0, sociálne siete, ...).

Obdobne je pre dáta vstupujúce do riešenia zadefinované aj otvorené rozhranie určené na vývoj nástrojov na spracovanie tých dát, ktoré používajú špecifické a málo rozšírené formáty.

Týmto spôsobom je možné poskladať riešenie projektu OpenData z existujúcich a overených open source technológií a štandardov a prevádzkovať ho tak  aj v najväčších slovenských organizáciach (ministerstvá, veľké firmy).

Súčasťou riešenia je aj analýza bezpečnosti a vypracovanie doporučení pre nasadenie riešenia v rôznych druhoch organizácií. Referenčná implementácia riešenia bude nasadená vo vybraných subjektoch a následne bude otestovaná a certifikovaná.

Predpokladáme, že sa nám pre potreby riešenia OpenData podarí využiť potenciál existujúceho slovenského open source balíka Custodea, ktorý rieši problematiku digitálneho zverejňovania v kultúrnom sektore.

Architektúra riešenia

Ako to funguje

  • Nainštalovaný balík (open source) aplikácií - Open Data Node - zbiera dokumenty a metadáta o nich, spracúva ich a poskytuje verejnosti, inštitúciám aj ďalším aplikáciám.
  • Dokument sa do Open Data Node môže dostať viacerými spôsobmi:
    • Používateľ vloží dokumenty a vyplní pre ne metadáta cez webové rozhranie.
    • Open Data Node, prostredníctvom Harvestera monitoruje definované zdroje a automaticky zbiera a spracúva (OCR, extrakcia metadát, konverzia, previazanie s registrami atď.) zverejnené dokumenty.
    • Autorizovaní používatelia kontrolujú, komentujú a dávajú prípadné návrhy na opravu či úpravu zozbieraných dokumentov, čím vytvárajú obsah vo vyššej kvalite, s prípadnými anotáciami a doplnenými väzbami (referenciami).
  • Zdrojom dokumentov (a dát vo všeobecnosti) sú všetky zverejnené údaje v rámci informačných systémov inštitúcií a webových stránok - verejná správa, štátna správa, tretí sektor, ale aj vybrané informácie zo súkromných zdrojov. Väčšina v súčasnosti publikovaných faktúr z verejného sektora či príspevkových organizácií je zverejnená v podobe skenovaných faktúr. Tieto sú kandidátom na vyťažovanie pomocou OCR, alebo výstupov z účtovníctva, ktoré vie harvester spracovať priamo.
  • Dôležitým zdrojom informácií sú verejné registre, ako je Obchodný register, registre Štatistického úradu a pod., ktoré umožnia referenčnú integritu zozbieraných dokumentov a ich metadát.
  • Sprístupnenie zozbieraných dát má niekoľko úrovní:
    • poskytovanie pre harvesting (OAI-PMH, FTP, HTTP, ...) ďalšími systémami (napr. aj iné Open Data Node)
    • poskytovanie formou služieb, cez štandardné rozhrania ako sú WebServices, REST a pod. v rôznych formátoch (XML, JSON, ...) pre maximálne zjednodušenie aplikácií tretích strán, ktoré budú chcieť využívať zozbierané Open Data
    • poskytovanie dát a služieb s pridanou hodnotou cez web rozhranie (browsovanie)
    • dávkový export (vybranej podmnožiny) metadát do zvoleného formátu (RDF/XML, SKOS, DublinCore)
  • Prezentácia zozbieraných dát: samotný Open Data Node bude prezentovať v ňom uložené (evidované) dáta niekoľkými spôsobmi:
    • ako jednoduchý zoznam "odkazov" ktoré vyhovujú zadanému filtru (google-like)
    • fazetové browsovanie / filtrovanie (podľa rôznych kategórií - pôvod dokumentu, typ dokumentu, dátum dokumentu atď.)
    • zobrazenie na mape (pre dokumenty ktoré sú previazané na geografickú lokalitu, napr. stavebné povolenie, sídlo firmy atď)
    • zobrazenie na časovej osi (pre dokumenty ktoré obsahujú časový údaj, napr. splatnosť faktúry, dátum podpisu zmluvy)
    • tabuľka s vybranými stĺpcami, vrátane možnosti exportu do formátu CSV (Excel a pod.) alebo XML
  • Portál: zoznam inštitúcií pripojených k iniciatíve treba evidovať v zozname, pre začiatok bude použité jednoduchšie riešenie vo forme Wiki alebo blogu, neskôr je ale potrebné zaviesť formalizovaný adresár
  • Otvorená architektúra: jednotlivé komponenty architektúry, ako aj jednotlivé inštalácie systému (Open Data Node) sú voľne integrovateľné do hierarchie (kaskády, ...), čím sa dosiahne maximálna flexibilita čo do typu a účelu zbieraných dát (segmentové resp. sektorové systémy, napríklad pre zdravotnícke dáta, školstvo, regionálne dáta atď.) a tiež čo do spôsobu (pred-)spracovania vstupných dát - OCR, extrakcia, formáty, veľkosti, validácia, limity.


Ilustrácia zapojenia viacerých Open Data Node do hierarchie