WHEN the Sloan Digital Sky Survey started work in 2000, its telescope in New Mexico collected more data in its first few weeks than had been amassed in the entire history of astronomy. Now, a decade later, its archive contains a whopping 140 terabytes of information. A successor, the Large Synoptic Survey Telescope, due to come on stream in Chile in 2016, will acquire that quantity of data every five days.
Such astronomical amounts of information can be found closer to Earth too. Wal-Mart, a retail giant, handles more than 1m customer transactions every hour, feeding databases estimated at more than 2.5 petabytes—the equivalent of 167 times the books in America’s Library of Congress (see article for an explanation of how data are quantified). Facebook, a social-networking website, is home to 40 billion photos. And decoding the human genome involves analysing 3 billion base pairs—which took ten years the first time it was done, in 2003, but can now be achieved in one week.
All these examples tell the same story: that the world contains an unimaginably vast amount of digital information which is getting ever vaster ever more rapidly. This makes it possible to do many things that previously could not be done: spot business trends, prevent diseases, combat crime and so on. Managed well, the data can be used to unlock new sources of economic value, provide fresh insights into science and hold governments to account.
But they are also creating a host of new problems. Despite the abundance of tools to capture, process and share all this information—sensors, computers, mobile phones and the like—it already exceeds the available storage space (see chart 1). Moreover, ensuring data security and protecting privacy is becoming harder as the information multiplies and is shared ever more widely around the world.
Alex Szalay, an astrophysicist at Johns Hopkins University, notes that the proliferation of data is making them increasingly inaccessible. “How to make sense of all these data? People should be worried about how we train the next generation, not just of scientists, but people in government and industry,” he says.
“We are at a different period because of so much information,” says James Cortada of IBM, who has written a couple of dozen books on the history of information in society. Joe Hellerstein, a computer scientist at the University of California in Berkeley, calls it “the industrial revolution of data”. The effect is being felt everywhere, from business to science, from government to the arts. Scientists and computer engineers have coined a new term for the phenomenon: “big data”.
Epistemologically speaking, information is made up of a collection of data and knowledge is made up of different strands of information. But this special report uses “data” and “information” interchangeably because, as it will argue, the two are increasingly difficult to tell apart. Given enough raw data, today’s algorithms and powerful computers can reveal new insights that would previously have remained hidden.
The business of information management—helping organisations to make sense of their proliferating data—is growing by leaps and bounds. In recent years Oracle, IBM, Microsoft and SAP between them have spent more than $15 billion on buying software firms specialising in data management and analytics. This industry is estimated to be worth more than $100 billion and growing at almost 10% a year, roughly twice as fast as the software business as a whole.
Chief information officers (CIOs) have become somewhat more prominent in the executive suite, and a new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data. Hal Varian, Google’s chief economist, predicts that the job of statistician will become the “sexiest” around. Data, he explains, are widely available; what is scarce is the ability to extract wisdom from them.
More of everything
There are many reasons for the information explosion. The most obvious one is technology. As the capabilities of digital devices soar and prices plummet, sensors and gadgets are digitising lots of information that was previously unavailable. And many more people have access to far more powerful tools. For example, there are 4.6 billion mobile-phone subscriptions worldwide (though many people have more than one, so the world’s 6.8 billion people are not quite as well supplied as these figures suggest), and 1 billion-2 billion people use the internet.
Moreover, there are now many more people who interact with information. Between 1990 and 2005 more than 1 billion people worldwide entered the middle class. As they get richer they become more literate, which fuels information growth, notes Mr Cortada. The results are showing up in politics, economics and the law as well. “Revolutions in science have often been preceded by revolutions in measurement,” says Sinan Aral, a business professor at New York University. Just as the microscope transformed biology by exposing germs, and the electron microscope changed physics, all these data are turning the social sciences upside down, he explains. Researchers are now able to understand human behaviour at the population level rather than the individual level.
The amount of digital information increases tenfold every five years. Moore’s law, which the computer industry now takes for granted, says that the processing power and storage capacity of computer chips double or their prices halve roughly every 18 months. The software programs are getting better too. Edward Felten, a computer scientist at Princeton University, reckons that the improvements in the algorithms driving computer applications have played as important a part as Moore’s law for decades.
A vast amount of that information is shared. By 2013 the amount of traffic flowing over the internet annually will reach 667 exabytes, according to Cisco, a maker of communications gear. And the quantity of data continues to grow faster than the ability of the network to carry it all.
People have long groused that they were swamped by information. Back in 1917 the
manager of a Connecticut manufacturing firm complained about the effects of the telephone: “Time is lost, confusion results and money is spent.” Yet what is happening now goes way beyond incremental growth. The quantitative change has begun to make a qualitative difference.
Kiedy Sloan Digital Sky Survey zaczęło pracować w 2000 roku, jego teleskop w Nowym Meksyku zebrał więcej danych podczas pierwszych swoich tygodni, niż było to gromadzone przez całą historię astronomii. Następca, teleskop the Large Synoptic Survey, z powodu robienia postępów w Chile w 2006 roku, nabędzie taką ilość informacji w ciągu pięciu dni.
Takie ilości astronomicznych informacji można też znaleźć bliżej Ziemi. Wal- Mart, detaliczny gigant, radzi sobie z więcej, niż 1 milionem klientów na godzinę, zasilająca baza danych szacuje więcej, niż 2,5 petabajtów- odpowiednio 167 książek w Amerykańskiej Bibliotece Kongresowej. Facebook, towarzyska strona internetowa, przechowuje 40 bilionów zdjęć. A rozszyfrowanie ludzkiego genomu wiąże się z 3 biolionami podstawowych par- które trwały za pierwszym razem 10 lat, w 2003 roku, a teraz może być zrobione w jeden tydzień.
Wszystkie te przykłady mówią o tej samej historii: że świat zawiera niewyobrażalną ilość cyfrowych informacji, których otrzymuje się jeszcze więcej i szybciej. To sprawia, że staje się możliwym robienie rzeczy, które wcześniej nie mogły być zrobione: zauważanie biznesowych trendów, zapobieganie chorobom, zwalczanie przestępczości itd. Dobrze zarządzane, dane mogą być używane do odblokowywania nowych źródeł ekonomicznych wartości, dostarczania nauce kolejnych spostrzeżeń i utrzymywanie rządu do raportowania.
Ale oni stwarzają też ogrom nowych problemów. Pomimo dużej ilości narzędzi do zdobywania, przetwarzania i dzielenia tych wszystkich informacji- czynników, komputerów, telefonów komórkowych, upodobań- przekracza to osiągalną przestrzeń magazynową. Co więcej, zapewnienie gwarancji danych i ochrona prywatności staje się cięższa, gdy informacje mnożą się i są szerzej dzielone na całym świecie.
Alex Szalay, astrofizyk z uniwersytetu Johns Hopkins, zauważa, że rozprzestrzenianie się danych staje się coraz bardziej nieosiągalne. Jak zrozumieć te wszystkie dane? Ludzie powinni bać się o to, jak wyszkolimy następną generację, nie tylko naukowców, ale ludzi w rządzie i przemyśle, mówi.
„Jesteśmy w innym okresie poprzez tak wiele informacji”, mówi James Cortada z IBM, który napisał pare tuzinów książek na temat historii informacji w społeczeństwie. Joe Hellerstein, naukowiec komputerowy z kalifornijskiego uniwersytetu w Berkeley, nazywa to „przemysłową rewolucją danych”. Efekt jest odczuwany wszędzie, od biznesu po naukę, z rządu po sztukę. Naukowcy i inżynierowie komputerowi wymyślili nowe pojęcie dla tego zjawiska: „Duże dane”.
Epistemologicznie mówiąc, informacje są sporządzane ze zbioru danych, a wiedza z różnych elementów informacji. Ale ten specjalny raport używa „dane” i „informacje” zamiennie, ponieważ, jako, że będzie się o to spierać, te dwa słowa są coraz bardziej trudne do powiedzenia osobno. Biorąc pod uwagę dość surowych informacji, dzisiejsze algorytmy i potężne komputery mogą ujawnić nowe spostrzeżenia, które wcześniej pozostawały ukryte.
Biznes zarządzania informacjami- pomagając organizacjom zrozumieć rozprzestrzenianie się danych- rośnie błyskawicznie. W ostatnich latach Oracle, IBM, Microsoft i SAP pomiędzy nich wydano więcej, niż 15 bilionów dolarów na kupno oprogramowania firmom specjalizującym się w zarządzaniu danymi i analityką. Ten przemysł oceniany jest na wartość większą, niż 100 bilionów dolarów i rośnie o prawie 10% rocznie, około dwa razy szybciej niż oprogramowanie firmy jako całość.
Główny naczelnik informacji stał się poniekąd ważniejszy we władzy wykonawczej i wyłonił się nowy rodzaj profesjonalisty, naukowiec danych, który łączy umiejętności programisty komputerowego, statystyka i mówcy/ artysty, aby uzyskać wartościowe informacje ukryte pod górami danych. Hal Varian, naczelny ekonomista Google, przepowiada, że praca statystyka stanie się najseksowniejszą. Dane, tłumaczy, są szeroko dostępne, tym, co jest nieosiągalne jest zdolność do czerpanie mądrości z nich.
Więcej wszystkiego
Jest wiele powodów dla informacyjnej eksplozji. Najbardziej oczywistym jest technologia. Gdy zdolności cyfrowych informacji wzrastają, a cen spadają, czujniki i gadżety dygitalizują wiele informacji, które wcześniej były nieosiągalne. A jeszcze więcej ludzi ma dostęp do dalszych, potężnych narzędzi. Np. jest 4,6 biliona subskrypcji telefonów komórkowych na całym świecie (choć wiele ludzi ma więcej, niż jedną, więc 6,8 biliona ludzi na świecie nie jest należycie zaopatrzona, jak sugerują liczby), a 1- 2 bilionów ludzi używa Internetu.
Co więcej, teraz jest o wiele więcej ludzi, którzy oddziałują na siebie poprzez informacje. Pomiędzy 1990, a 2005 rokiem więcej, niż 1 bilion ludzi na świecie wstąpiło do klasy średniej. Stając się bogatszymi, stawali się bardziej piśmienni, co było przyczyną wzrostu informacji, zauważa pani Cortada. Rezultaty są widoczne w polityce, ekonomii, a także w prawie. „Rewolucja w nauce zawsze była poprzedzana rewolucjami w pomiarze”, mówi Sina Aral, biznesowy profesor z uniwersytetu New York. Jak tylko mikroskop przeobraził biologię poprzez zdemaskowanie zarazków, a mikroskop elektronowy zmienił fizykę, wszystkie te dane zmieniają całkowicie nauki socjalne, wyjaśnia. Teraz naukowcy są zdolni do zrozumienia zachowania ludzkiego raczej z punktu widzenia populacji, niż indywidualnie.
Ilość cyfrowych informacji wzrasta dziesięciokrotnie, co pięć lat. Prawo Moore’ a, które teraz uznaje za oczywiste przemysł komputerowy, mówi, że przetwarzanie siły i pojemność komputera podwaja się lub ich ceny zmniejszają się o połowę, co 18 miesięcy. Oprogramowania też mają się lepiej. Edward Felten, naukowiec komputerowy z uniwersytetu Princeton, uważa, że ulepszenia w stosowanych aplikacjach algorytmów komputerowych odegrały tak samo ważna rolę, jak prawo Moore’a w dekadzie.
Ogromna ilość tych informacji jest dzielona. Do 2013 roku wielkość ruchu przesyłanego przez internent rocznie osiągnie 667 ekstrabejtów, wg Cisco, wytwórcy biegów komunikacyjnych. I ilość danych będzie wzrastać szybciej niż zdolność sieci do ich przenoszenia.
Ludzie długo marudzili, że są zalewani informacjami. Wracając do 1917 roku dyrektor firmy produkcyjnej w Connecticut skarżył się na skutki telefonu. „ Czas przegrał, wyniki zamieszania i pieniądze wyczerpane”. Mimo to, wszystko, co dzieje się teraz idzie poza przyrostowy wzrost. Ilościowa zmiana zaczęła robić jakościową różnicę.