čtvrtek 22. listopadu 2012

Anonymizace versus průkaznost agregovaných dat

Některé problémy člověka prostě předem nenapadnou.
“A related question is how aggregated and derived forms of information (e.g. statistics) should be affected when some of the raw data from which statistics are derived are forgotten. Removing forgotten information from all aggregated or derived forms may present a significant technical challenge. On the other hand, not removing such information from aggregated forms is risky, because it may be possible to infer the forgotten raw information by correlating different aggregated forms.”
Tohle je vážná věc. Citovaný článek reaguje na konflikt mezi zákonnými požadavky (v tomto případě EU, ale to není příliš podstatné) na anonymizaci dat na jedné straně a průkazností agregovaných dat na straně druhé.

Finanční úřad o mně ví, kolik vydělávám, protože má moje daňová přiznání. Agregovaná data všech daňových přiznání (ve městě, kraji, státě...) prozrazují průměrný příjem (a spoustu dalších věcí). Ta agregovaná data z mnoha důvodů potřebujeme, ta individuálně by měla být nedostupná. No tak spočítáme průměry a výchozí data pak smažeme, ne? Ne.

Když nevratně znepřístupníte výchozí individuální data, ztrácejí ta agregovaná legitimitu: nedá se dokázat, zda jsou pravá a spolehlivá. Když neznepřístupníte, bude vždy možná reverzní operace vedoucí k individuálních datům.

Tohle ještě bude obrovský problém. Obě možnosti jsou totiž špatné a mezi nimi se nenachází žádné jednoduché řešení — možná dokonce vůbec žádné řešení. Prozatímní zárukou ochrany soukromí je (vlastně jen) nedostatečnost osobních dat co do kvantity, kvality a koncentrace, tedy klasická security by obscurity. To ale rychle přestává platit, data jsou digitální, dostupná, propojená a je jich hodně.

Jestli s tímhle háčkem někdo dokáže pohnout, budou to muset být matematici, ne zákonodárci.

David Meyer, GigaOM: Why big data could sink Europe's "right to be forgotten"

úterý 13. listopadu 2012

Co nám zůstane, co poztrácíme

Archivy jsou důležitější, než byly kdy dříve, protože všechny údaje, s nimiž naše civilizace pracuje, jsou vlastně pro krátkodobé použití. Jejich životnost je limitována použitými technologiemi, nosiči, přehrávači.

Hudbu jsme mívali na černých deskách, pak na CD, donedávna v MP3 a dnes ji nemáme vůbec nikde, protože přišel streaming. Hudba je kdesi v cloudu. Video jde stejnou cestou. Dokumenty, maily, tabulky; budou ty dnešní k dispozici za deset let? Za dvacet? Kde budou uloženy v jakém formátu, bude k mání software, v němž by šly otevřít? Když vám přinesu osmipalcovou disketu, na níž je soubor s tabulkou ve formátu Lotus 1-2-3 — víte o někom, kdo si bude vědět rady a převede vám to do Excelu?

Aby směl Národní filmový archiv mít svůj mezinárodní statut, musí uchovávat kopie filmů na celuloidu, ne v digitální podobě; ta se nepokládá pro dlouhodobou archivaci za spolehlivou. Je to samozřejmě pracné, zdlouhavé, drahé (filmy se často digitalizují, restaurují na počítači a pak přepisují zpět na filmový pás — a to v době, kdy se v kinech už častěji promítá z disku než z promítačky), ale je to správné a nutné, máme-li mít jistotu dlouhodobého uchování.

Totéž ostatně platí o papírové dokumentaci.  České pozemkové knihy, Desky zemské, sahají zpět až do třináctého století. V roce 1541 ovšem téměř beze zbytku shořely a musely se komplikovaně rekonstruovat. I to je bezmála pět set let. Umíme si představit technologie práce s informací, jaké se budou používat roku 2600? To je naprosto absurdní otázka.

Přepisujeme tedy z jednoho média na druhé a pořád něco ztrácíme, něco zapomeneme, něco pomineme, protože to už není důležité. Informace mizí s měnícími se technologiemi. To je změna oproti dlouhému údobí dějin, kdy se psalo na papír či pergamen. (Ale i ten občas shořel.)

Je tu ale ještě jeden pohled na věc. Skutečně stojí za uchování vše? Každá fotka z dovolené, každá poznámka na Facebooku, každé interní memorandum? S novými technologiemi se zmnohonásobila i naše schopnost produkce informací. Tradiční názor, že archivovat pro budoucnost se má pokud možno vše, je neudržitelný.

Paměť civilizace se vždycky částečně uchovávala a částečně vytrácela. Něco shořelo, něco se ztratilo. Nové je to, že teď sami musíme volit, co zachovat a co ne s plným vědomím důsledků.

středa 7. listopadu 2012

US volby v datech

Prezidentské volby jsou pro média dobrou příležitostí, jak se předvést, co dovedou na poli práce s daty. Takhle například pracuje s infografikou britský Guardian:


V detailu to pak může vypadat takhle:



A takhle The New York Times:


Důležité je, že mapou celých USA to teprve začíná, stačí kliknout a dostanete rozpad dat pro nižší administrativní jednotky:


Data jsou samozřejmě živá, okamžitě se doplňují, jak přicházejí sečtené hlasy. Před deseti lety nemožné, dnes standard, přinejmenším v Americe.

úterý 6. listopadu 2012

Dvě důležité studie o Big Data

V uplynulých dnech byly zveřejněny dvě zajímavé a důležité studie týkající se problematiky Big Data. První z nich vytvořila konzultační firma McKinsey, jmenuje se Big data: The next frontier for innovation, competition, and productivity a popisuje návratnost této nové technologie na příkladech vybraných odvětví.
MGI [McKinsey Global Institute] studied big data in five domains—healthcare in the United States, the public sector in Europe, retail in the United States, and manufacturing and personal-location data globally. Big data can generate value in each. For example, a retailer using big data to the full could increase its operating margin by more than 60 percent.
Druhou studii vydala OECD a zabývá se v ní datovým provozem na internetu. Analyzuje jeho ekonomický dopad a mj. si všímá toho, že celá tato oblast se dovede v podstatě řídit sama:
A survey of 4300 networks, representing 140,000 direct exchanges of traffic, so called peerings, on the Internet, found that 99.5% of “peering agreements” were on a handshake basis, with no written contract and the exchange of data happening with no money changing hands.
Studie OECD Internet Traffic Exchange: Market Developments and Policy Challenges je stejně jako výše zmíněná studie McKinsey ke stažení zdarma a dobře poslouží jako informační zdroj všem vážným zájemcům o Big Data.