-Dobry wieczór, witajcie wszyscy.
Nazywam się Somini Sengupta i jestem dziennikarzem New York Timesa.
Mam przyjemność opisywania
tego drobnego zagrożenia zwanego globalnym ociepleniem.
Jednak bardzo krótko byłam korespondentem z Doliny Krzemowej,
w czasach gdy Facebook dopiero wychodził na rynek
i staraliśmy się wytłumaczyć naszym czytelnikom
czym były Sponsorowane Historie, jeśli sobie przypomnicie
tamte prehistoryczne czasy.
Ci z was, którzy regularnie pojawiają się w Davos wiedzą,
że mamy tu dość
komfortowe konwersacje
o roli technologii w naszych życiach,
jak ważne jest Big Data dla naszych biznesów
w tych czasach.
Mamy szczęście, że prowadzi nas dziś
dwóch myślicieli,
którzy poprowadzą nas w dyskusji
na mniej komfortowe tematy
o danych i technologii w naszym życiu.
W naszym życiu osobistym, społecznym,
politycznym.
Bardzo się cieszę,
że możemy
gościć Yuvala Harariego,
jesteś historykiem i autorem
kilku niesamowicie popularnych książek,
z których najnowsza
dość bezpośrednio dotyka
roli technologii w naszych życiach. Tristan Harris,
jesteś informatykiem,
pracowałeś jako etyk programowania w Google
przez kilka lat zanim
stworzyłeś Centrum
Ludzkiej Technologii. Witajcie.
Witajcie obaj.
Tristan, powiedziałeś mojej koleżance Nelly Bowles
w 2018, że
nie możesz znieść jak popularny jest Yuval
w Dolinie Krzemowej.
Po prostu nigdy
nie przestają go słuchać, nawet pomimo tego,
że kreśli on raczej
apokaliptyczne wizje ich potęgi.
Powiedziałeś, i tu cytuję,
to niesamowite, że jest tak popularny.
Wszyscy zapraszają go do firm. To samo
można by powiedzieć
o świecie Davos,
globalnych tytanach, którzy tu są.
Chciałabym od ciebie usłyszeć, myślę, że
wczoraj byłeś na 3 czy 4 sesjach poświęconych AI, wypełnionych widownią.
Dziś, z czego bardzo się cieszę, również jest nas dużo.
Chciałabym od ciebie usłyszeć
dlaczego, twoim zdaniem,
twoja myśl jest tak popularna.
Czy część tej myśli,
na przykład ta o hackowaniu ludzkości przez świat technologii,
o przekształcaniu milionów ludzi w klasę bezużyteczną
i zautomatyzowaną gospodarkę, czy część tego przesłania
jest dla nich kuszące?
-Myślę, że częściowo tak.
Po części, lubią się dowartościowywać,
że jesteśmy najważniejszymi ludźmi w historii.
Co robimy... Czyngis-Chan był błachostką
w porównaniu do nas.
Ok, Czyngis-Chan stworzył imperium, czy coś.
Jednak nie zmienił ludzkości.
Przed Czyngisem i po Czyngisie ludzie byli tacy sami.
Jednak Larry i Mark zmienią ludzkość.
Za miliony lat, spojrzymy w przeszłość
i nikt nie będzie pamiętał o Czyngisie, ale będą pamiętać nas.
Jesteśmy
podstawą nowej ewolucji.
Tak się dowartościowują.
Z drugiej strony, myślę,
wielu z nich naprawdę się martwi.
Łudzą się utopiami,
że po prostu zmienią świat na lepsze.
Orientują się, że
coś przegapili w kwestii społeczeństwa ludzkiego,
historii, filozofii.
Wiedzą, że maja ogromną moc
i czują odpowiedzialność.
Myślę, że wielu z nich naprawdę
się obawia
i chcą, do pewnego stopnia,
słuchać
nowych opinii pochodzących
od filozofów, historyków. Co z nimi zrobią,
to inna sprawa. Zwłaszcza
jeśli będzie to wymagać zmianę modelu biznesowego.
Jednak podstawowa chęć wysłuchania
i poczucie odpowiedzialności.
Skąd wiesz, że się martwią.
Czy masz jakąś historię z tym związaną?
Która przekonuje cie, że
widzą zagrożenie
i że wiedzą, że to nie takie proste,
że możliwe że nie tylko zmienią świat na lepsze.
Myślę, że
wybory 2016 były szokiem
dla Doliny Krzemowej.
Słychać z ich słów...
Przyjmują idee,
również od Time Well Spent,
w swoich własnych wizjach
i dyskusjach. Więc myślę, że
istnieje
jakaś kombinacja
praktycznie megalomanii związanej z ogromną władzą
i obawy i pokory przed
brakiem pewności
co zrobić z tą władzą,
ponieważ, ponownie, te naiwne utopie,
że wystarczy połączyć świat
lub dać dostęp do informacji
i wszystko będzie dobrze.
Uświadomili sobie, że to nie takie proste.
Ludzie są znacznie bardziej skomplikowani.
Owszem, możemy połączyć wielu ludzi,
więc prawda
może płynąć znacznie swobodniej
jednak kłamstwa i fikcja również.
Myślę, że jednym z najbardziej naiwnych wierzeń,
nie tylko w Dolinie Krzemowej,
ale na całym świecie od wieków
jest, że w wojnie idei
prawda zawsze wygra.
Jednak z perspektywy historycznej, to nieprawda.
Ludzka moc nie pochodzi z prawdy,
ludzka moc pochodzi ze współpracy.
Zazwyczaj znacznie łatwiej
przekonać ludzi do współpracy
za pomocą fikcyjnych historii
niż prawdy.
E=mc2 nie jest sloganem
w jakiejkolwiek kampanii wyborczej
lub religii.
Więc myślę, że...
To perfekcyjne przejście do mojego pytania do ciebie
o polityczną dezinformację. Myślę, że wiemy dziś,
powstały bardzo dogłębne badania, które pokazują,
że polityczna dezinformacja rozprzestrzenia się
bardzo szybko, bardzo szeroko. Widzieliśmy
to w rzeczywistym świecie od Myanmar,
przez Indie i Brazylię
do USA. Czy możesz wytłumaczyć
jak to działa?
Jak to możliwe, że polityczna dezinformacja
rozprzestrzenia się tak szybko
i co możemy z tym zrobić.
-W pierwszej kwestii,
o tym co technologowie mogą zrobić
z tą władzą, którą powoli sobie uświadamiają.
Myślę, że podstawową kwestią jest, że tak długo jak ich model biznesowy
eksploatuję asymetrię wiedzy o tobie,
że wiedzą o tobie więcej niż ty sam,
po prostu komercjalizują asymetrię
władzy, czyli używają tej asymetrii, żeby eksploatować
twoją psychologię. To podstawowa kwestia, która musi się zmienić.
Jeśli chodzi o rozprzestrzenianie dezinformacji,
badanie MIT o pokazało,
że fake news rozprzestrzenia się 6 razy szybciej niż prawda.
To dość oczywiste,
jeśli wyobrazisz sobie
pejzaż ewolucyjny, w którym masz 2 agentów.
1 agent zawsze będzie mówił prawdziwe rzeczy,
taki mały robot, który cały czas mówi prawdę. Nie robot, osoba.
Aby to zrobić, musi pomyśleć,
co należy powiedzieć, jaka jest właściwa gramatyka,
jakich słów użyć.
Ogranicza się
rzeczy, które może powiedzieć.
Teraz wyobraź sobie innego agenta,
który się tym nie ogranicza.
Powie 66 000 różnych wariantów każdego słowa,
wypróbuje różnych obrazków, różnych kolorów na guzikach.
Spróbuje komentować w różnych językach.
Który z nich wygra?
Nieograniczony aktor.
Wyobraź sobie walkę,
gdzie dwóch ludzi zbiera się do meczu zapasów
i jedna osoba po prostu wyciąga nóż i dźga drugiego.
Nieograniczony aktor wygrywa.
Więc gdy myślę o politycznej dezinformacji,
to tylko prawda, nie można powiedzieć, że to fakt ewolucyjny.
Myślę, żę
oczekujemy od politycznej dezinformacji,
że będą przestrzegać
jakichś norm społecznych, z którymi się wychowaliśmy,
które większość ludzi podziela, że będą ścisłe,
że będą pozytywne i korzystne
i że nie próbujemy
po prostu złamać prawa i manipulować systemem.
Jednak gdy przechodzimy do świata rzeczywistego,
oczekujesz tych samych rzeczy. Oczekujesz, że większość ludzi
będzie wiarygodnych, będzie prawdziwych.
Jednak to nieprawda.
Nasze zaufanie jest błędne.
Źli ludzie pokonują dobrych.
Musimy to przerwać. Najlepszym wyznacznikiem
czy uwierzysz w nową teorię spiskową
jest czy wierzysz już w inną teorię spiskową.
Jako przykład, YouTube rekomendował
15 miliardów teorię spiskową
Alexa Jonesa. Jego filmy.
Znacie Alexa Jonesa? Wojny informacyjne,
Sandy Hook, aktorzy kryzysu,
dzieci i tak dalej.
Jeśli wyobrazisz sobie 15 miliardów razy,
to więcej niż New York Times, Washington Post,
Guardian, BBC, Fox News razem.
To naprawdę kiepska sytuacja.
Czy jest jakiś zestaw norm globalnych,
które możesz sobie wyobrazić,
że powstrzymałyby to rozprzestrzenianie się
dezinformacji? Czy to zadanie dla głupca?
Czy jesteśmy, jak mówi Yuval,
zbudowani do odbierania
fikcji?
Jedna szybka rzecz.
Mamy tę całą naukę
jak działają nasze umysły. Jest coś takiego jak efekt prawdy iluzorycznej,
że im więcej coś powtarzamy,
tym bardziej w to wierzysz, jeśli zapytasz o to potem.
Dlatego jeśli powtarzamy 9/11, Irak, 9/11, Irak
i cały czas zestawiają te 2 słowa ze sobą,
twój umysł
zaczyna traktować te rzeczy jakby były powiązane.
Myślę, że prawdziwym problemem
jest słabość naszego umysłu.
Dla mnie to jak nowa era ludzkiej historii, gdzie trzymamy lustro
i widzimy autentyczne sposoby na jakie nasz umysł jest słaby.
Musimy sobie z tym poradzić.
Mój przyjaciel,
członek zespołu, który dostał
dostęp do pełnego zestawu danych 2016, mówi,
że jeśli sprawisz, że coś będzie trendem, możesz sprawić, że będzie prawdą.
Na Twitterze, jeśli twój temat jest popularny,
po prostu związujesz media. Powiedzmy, że chodzi o
aktorów kryzysu Parkland, #ParklandCrisisActors.
Gdy to zrobisz,
media są związane, albo
powiedzą, że to nieprawda, wiemy, że to teoria spiskowa,
więc to ściągną,
w którym przypadku wyznawcy tej teorii oskarżą ich, że media liberalne
robią jakieś teorie spiskowe, albo zostawią to
i będą rozprzestrzeniać nieprawdę.
Myślę, że musimy sobie uświadomić,
że wszystkim nam to grozi,
wszyscy jesteśmy na to podatni.
Ilu z was ma przyjaciela,
który zapostował artykuł o, powiedzmy, zmianach klimatycznych,
jednak sprzed 2 czy 3 lat,
ale udostępnili to, jakby to właśnie się wydarzyło.
Zdarza się każdemu.
To pewien skrót, co mogą zrobić technologowie.
Mogą dać nam sygnał,
żeby taki błąd się nie dział się
tak często. Poprzez
filtrowanie danych wydawców artykułów. Gdyby to zrobili,
daliby nam możliwość lepszego poprawiania siebie.
Myślę, że błędem jest, że
nie od firm technologicznych zależy budowanie
super AI, doglądającego
i zestrzeliwującego fake news,
ponieważ nie mogą tego zrobić.
Facebook zamknął 2.2 miliardy fejkkont
w przeciągu 3 miesięcy.
Powiem to jeszcze raz, Facebook
ma 2.7 miliarda prawdziwych użytkowników
i zamknęli 2.2 miliardy fejkkont.
Jestem pewien, że nie mylili się.
Nie mogą,
nie mogą dorwać wszystkich,
więc ogólnie musimy budować
kulturowy system odpornościowy,
żeby być tego świadomymi. Dlatego wczoraj byłem w domu Ukrainy
i rozmawiałem.
W krajach takich jak Ukraina, Estonia
lub kraje będące blisko
krajów manipulujących,
wiedzą jak być sceptyczne. Nie chodzi tylko o fake newsy,
ale również o kontrolę zachowań, manipulację emocjami.
-Jeszcze do tego wrócimy, ale chciałam
doprecyzować, czy masz na myśli, że nie ma żadnego rozwiązania inżynieryjnego
na powstrzymanie
politycznej dezinformacji?
Że możemy tylko przeprogramować nasze umysły
jako indywidua.
Gdy mówię to, nie mam na myśli, że firmy nie są odpowiedzialne
za to spustoszenie, które wypuściły na świat.
Wierzę, że są odpowiedzialni.
Nie sądzę jednak, że mają możliwość...
Nie ma takiej możliwości, nie ma magicznego algorytmu,
który wiedziałby jak odróżnić prawdę od fikcji. Wiedzą tylko to, w co klikają ludzie.
Z tego powodu, ta decyzja
pozostaje nam. Podam przykład:
ograniczanie wyborców. Nadchodzi rok wyborów.
Większość ludzi myśli, że aktorzy zagraniczni powstrzymują wyborców.
Okazuje się,
że większość zamieszania w wyborach pochodzi z kraju.
Jeśli spróbuję zamieszać w wyborach,
mógłbym wmówić złą datę wyborów lub powiedzieć, żeby nie głosowali.
Jednak co jeśli powiem po prostu, kolejki są naprawdę długie.
Czy to nieprawda?
Nie jest to problem faktów,
ale sugestia,
subtelny wpływ.
Myślę, że dlatego potrzebujemy
potrzebujemy masowej kampanii szczepień. Mogę powiedzieć o tym więcej.
-Powiem dwie rzeczy.
Fake news i dezinformacja nie są niczym nowym.
Były z nami przez całą historię
i myślę, że w zasadzie kiedyś było znacznie gorzej.
Jeśli spojrzysz na początek XX wieku,
wtedy kraje
takie jak ZSRR ukrywały
śmierć milionów,
dziesiątek milionów ludzi.
Reszta świata o tym nie wiedziała.
Jeśli ludzie donosili, uznawali, że to fake news.
Nie ma celowego głodu na Ukrainie.
Dziś nie możemy ukryć
śmierci milionów ludzi, jak
na początku XX wieku.
Jeśli cofniemy się jeszcze dalej, powiedzmy do wynalazku druku,
ludzie myśleli, że każdy druk jest świetny. Wreszcie ludzie mogli czytać o
Galileuszu, Newtonie i kimkolwiek.
Wiesz jaki był bestseller w XVI wieku?
Instrukcje łowienia czarownic.
Była książka "Młot na czarownice", która
opowiadała jak rozpoznawać czarownice
i jak z nimi postępować. To był wielki bestseller.
Teorie spiskowe.
-Dopóki nie nauczyliśmy kobiet czytać.
Pewnie dlatego już jej nie sprzedajemy.
-To było znacznie popularniejsze niż Galileusz.
Więc fake news nie są
nowym problemem. Nie oznacza to, że powinniśmy o nich zapomnieć.
Po prostu musimy wziąć historyczną perspektywę.
Co jest nowe,
co jest zupełnie nowe, to umiejętność
dopasowywania fake news do osób.
Instrukcji tropienia czarownic
nie dało się dostosować
do każdego jednego odbiorcy.
Jednak możesz dopasować fake news dzisiaj.
Algorytm
poznaje cię osobiście
i bardzo często ludzie, którzy rozprzestrzeniają
te rzeczy, naprawdę są zainteresowanie zniszczeniem
lęku publicznego i podstaw demokracji.
Nie chcą przekazywać konkretnej historii.
Po prostu chcą zniszczyć podstawy społeczeństwa
i umiejętność racjonalnej dyskusji.
Więc znajdą,
powiedzmy, że już jestem
uprzedzony wobec imigrantów. Pokażą mi
fake news o gangu imigrantów,
którzy zgwałcili lokalną kobietę.
Hackują również ciebie i odkrywają,
że nie masz nic do imigrantów,
ale wręcz jesteś uprzedzona wobec prawicowców,
więc pokażą ci zupełnie innego fake newsa,
o gangu neonazistów,
którzy mordują imigrantów.
Łatwo w to uwierzysz, ponieważ już jesteś uprzedzona.
Później spotkam cię w windzie w naszym bloku
i nie będziemy w stanie
przeprowadzić racjonalnej dyskusji
o imigracji.
Więc to coś nowego.
Umiejętność hackowania ludzi
i dopasowywania fake news
do pojedynczych ludzi. Gdy Hitler
przemawiał w niemieckim radio,
mówił do wszystkich.
Jednak dziś możesz mieć zupełnie różne przemowy,
więc naprawdę nową rzeczą jest ta umiejętność hackowania ludzi,
co oznacza
umiejętność poznawania ludzi
lepiej niż oni sami. Jeśli spojrzysz
z wielkiej perspektywy historycznej, cała ludzka historia,
myślę, że jest granica,
która zupełnie zmieni politykę, społeczeństwo, wszystko.
Mianowicie moment,
kiedy zewnętrzny system pozna ludzi
lepiej niż oni sami na poziomie społeczeństwa.
Nie jednej czy dwóch osób,
każdego.
-Masz ten bardzo silny obraz
ręki sięgającej do naszych głów
Wspomniałeś
że uczymy się od każdej wielkiej religii światowej,
że powinniśmy poznać się lepiej.
Wspomniałeś, że kluczowe dla liberalnej demokracji
jest samodzielne podejmowanie decyzji.
Liberalnej przez małe l.
Jednak gdy firma, gdy big data
zna nas lepiej, ja mówisz,
czy to fundamentalnie
podważa
ideę liberalnej demokracji? Czy big data zhackowało liberalną demokrację?
-Tak,
demokracja jest oparta na idei, że wyborca
wie najlepiej. Jeśli ktoś wie lepiej niż wyborca
i może przewidzieć i zmanipulować pragnienia wyborcy,
to koniec demokracji w znanym nam kształcie.
Tak samo jest z kapitalizmem wolnorynkowym.
Jest oparty na idei, że klient ma zawsze rację,
ale co się stanie gdy ktoś
pozna klienta wystarczająco dobrze,
żeby przewidzieć i zmanipulować pragnienia klienta.
To koniec wolnego rynku
w znanym nam kształcie. Jesteśmy bardzo blisko
tego punktu. Może już go przekroczyliśmy
w pewnych obszarach.
Najłatwiej manipulować ludźmi,
którzy wierzą w wolną wolę,
wierzą, że nie da się ich zmanipulować.
Ponownie, ta manipulacja
gra na już istniejących twoich uprzedzeniach.
Dlatego nazywam to hackowaniem.
Komputery hackujesz
znajdując słabości, które już istnieją w programie.
Tak samo jest z ludźmi.
Jeśli chcesz zhackować człowieka, znajdujesz już istniejące
obawy, nienawiść
i budujesz na tym.
Jednak nie można tego zrobić
na poziomie całych społeczeństw.
Aby przetrwać, demokracje
i wolny rynek będą musiały dostosowywać się.
Wracając do
myślenia życzeniowego nad mitologią liberalną,
że nie, ludzie są tymi tajemnymi duszami.
Nikt nigdy nie zrozumie sekretów
ludzkiej duszy, to...
Aż do dziś wiara w to
nikomu nie szkodziła, ale obecnie jest bardzo niebezpieczna,
ponieważ najłatwiej zmanipulować ludzi,
którzy wierzą, że nie da się ich zhackować.
-Powiedziałeś, że w niektórych obszarach ta granica została przekroczona.
Chciałam cię tylko o to zapytać i wrócić do...
Obaj dajecie świetne diagnozy,
jednak jakie jest lekarstwo?
Po pierwsze, w jakich obszarach przekroczyliśmy tę granicę?
-Absolutnie przekroczyliśmy granicę.
Dam tło i przepraszam za to, ale jako dziecko byłem magikiem.
Cały mój światopogląd ukształtował się
poprzez hackowanie ludzkich umysłów. Potem studiowałem w laboratorium Stanforda,
zwanym Laboratorium Technologii Przekonywania
z założycielami Instagrama.
Mamy więc ten pogląd, ponieważ
technologia, która otacza nas każdego dnia
jest stworzona do wpływania na twoje zachowanie. Prosty przykład:
nawet do tego, żebyś spędzał nad nimi więcej czasu.
Najprostszym przykładem pokazywania,
że przekroczyliśmy granicę...
Powiem tylko jedną rzecz.
Jest błąd filozoficznym systemie operacyjnym
Doliny Krzemowej,
mianowicie brak możliwości odróżnienia tego, czego chcemy
od tego, czemu nie możemy się oprzeć.
Według Doliny Krzemowej, jeśli jedziesz autostradą
i widzisz wypadek samochodowy, twoje oczy się tam kierują.
Dolina Krzemowa myśli, och, więc chcesz wypadków?
Nagle twoje życie
zaczyna być wypełnione wypadkami,
ponieważ nie może odróżnić twoich wartości
od twoich słabości.
Nie może ich rozróżnić. To kluczowy błąd filozoficzny.
Jednak historia jest znacznie dłuższa.
Przykładem jak przekroczyliśmy granicę
jest każda okazja, gdy wchodzisz na YouTube i mówisz, że obejrzysz tylko ten filmik
i pójdziesz pracować.
Wrócę do pracy. Włączasz film.
Myślisz, wiem, że zawsze się wciągałem,
ale tym razem będzie inaczej.
Oczywiście potem się wciągasz
na 2 godziny i myślisz, że powinieneś mieć więcej samodyscypliny,
ponieważ sam widzisz, YouTube to tylko biblioteka,
dlaczego się tak wciągnąłeś?
Ty jesteś za to odpowiedzialny.
Fakt, że myślisz, że to twoja odpowiedzialność,
jest skutkiem skutecznych interakcji przekonywania,
że gdy klikasz w filmik YouTube'a, YouTube próbuje wymyślić
jak wybrać perfekcyjną rzecz do pokazania ci zaraz.
Wyobraź sobie więc, żę w serwerach Google'a...
Wiesz, podwodna farma serwerów z ogromnym
superkomputerem i mocą obliczeniową,
ona budzi się, jako wersja ciebie, jak w Avatarze,
i ta lalka jest zbudowana
jako model oparty na wszystkich twoich przeszłych kliknięciach,
lajków, które przekazałeś, filmów, które oglądałeś
i ta lalka zachowuje się jak ty. Ma twoje włosy, ubrania i tak dalej.
Gdy lalka będzie już bardzo dokładna,
mogę oszukać cię z filmem
i mogę oszacować i przewidzieć,
na jak długo dasz się wciągnąć oglądając
teorie spiskowe.
Lub jak długo tu zostaniesz,
jeśli pokażę ci katastrofy samolotowe.
Lub jak krótko tu będziesz,
jeśli pokażę ci wiadomości BBC.
Wiadomości BBC prawdopodobnie nie są dobrym rozwiązaniem.
Już teraz
najpotężniejsze komputery na świecie
są skierowane na twój umysł
i grają w szachy przeciw twojemu umysłowi
i są kilka kroków przed tobą.
Ta asymetria...
Przekroczyliśmy to dawno temu, ale nawet o tym nie rozmawiamy.
Najprostszym tego przykładem jest, jak wiele ludzi
tutaj czuło lub wierzyło, że Facebook
słucha waszego mikrofony,
ponieważ właśnie rozmawialiście z przyjacielem o czymś
i nagle na Facebooku widzisz reklamę dokładnie tego.
Podnieście dłonie, jak wiele.
Rozejrzyjcie się, przynajmniej 60%.
Akurat wiem
już byłego wiceprezesa reklam Facebooka,
który zapewnił mnie, i również dane zewnętrzne pokazują,
że nie robią tego. Nie podsłuchują mikrofonów.
Wierzysz mu?
To coś, co nazywamy zjawiskiem Baader Meinhof,
że postrzegamy, jeśli dwie rzeczy zdarzą się
w krótkim odstępie czasu, muszą być powiązane.
Jak więc są w stanie
robić takie przewidywania?
Prawda jest jeszcze straszniejsza niż podsłuch.
Nie muszą,
ponieważ budzą twojego avatara
i na tej podstawie tworzą przewidywania
o czym mówiłbyś,
a rzeczy, o jakich byś mówił są tak łatwe do przewidzenia,
że już wiemy o czym byś mówił.
Nie będę próbować przewidywać
waszych pytań, wiem, że jesteście nieprzewidywalni, wiem, że
macie świetne pytania, ale zanim do nich przejdziemy,
chciałabym wrócić
do diagnozy. Tak, bardzo przekonująca diagnoza.
Jednak czy jest jakieś lekarstwo?
Regulacje?
Coś innego?
-Tak, jest kilka rzeczy, które możemy zrobić na poziomie indywidualnym i kolektywnym.
Bardzo szybko, na poziomie indywidualnym:
musisz poznać się lepiej,
tak dobrze jak to możliwe, żeby być krok przed nimi.
Przed rządami, korporacjami.
Na różnych ludzi działają różne rzeczy.
Ja medytuję,
ktoś może pójść na terapię, ktoś w góry.
Jeśli to na nich działa...
Cokolwiek działa na ciebie, zrób to. Zainwestuj
czas i wysiłek w to.
Ponieważ to wyścig. Kto pozna cię lepiej?
W momencie,
gdy jakaś korporacja albo rząd pozna cię lepiej
niż ty sam, to koniec.
Więc po pierwsze, możesz biec trochę szybciej
w wyścigu poznawania się.
Jednak długoterminowo to nie pomoże.
W długim okresie musimy też powziąć kolektywne działanie.
Żeby powiedzieć krótko o kilku rzeczach:
ludzie, którzy to robią,
inżynierowie, technologowie,
jako element każdych
studiów, powinni uczyć się etyki.
Powinni uświadomić sobie,
że nie kodują komputerów, ale ludzkie życia.
Kodują społeczeństwo, budują
nowy rodzaj społeczeństwa. Nie mogą uczyć się tylko kodowania.
Muszą uczyć się, już na studiach, nie gdy będzie za późno,
jako nieodłączna część studiów,
etyki, socjologii, filozofii.
Potrzebujemy regulacji.
Regulacji rządowych...
-Takich jak?
-Przede wszystkim, kto jest właścicielem danych.
To powinno być politycznym priorytetem.
Za każdym razem, gdy widzę wybory gdzieś na świecie,
ten temat jest pomijany.
-Więc kwestia posiadania moich osobistych danych...
-Wszystkich danych.
-Wszystkich danych powinna być, twoim zdaniem,
głównym politycznym priorytetem.
-Tak, podobnie jak w poprzednich epokach
wielkie dyskusje toczyły się nad posiadaniem ziemi
albo fabryk i maszyn,
dziś wielka dyskusja powinna skupić się
nad posiadaniem danych. Moich danych. Nie mamy
jeszcze dobrych modeli, musimy rozpocząć
dyskusję i zrobić to bardzo szybko.
I ostatnia kwestia, możemy zaprojektować
bardzo różne rodzaje technologii. Obecnie najlepsze
umysły świata projektują narzędzia AI,
narzędzia inwigilacji, które monitorują jednostki,
w służbie korporacjom i rządom.
Ludzie, którzy nad tym pracują, mogą
zacząć projektować narzędzia, które będą monitorować korporacje i rządy
w służbie jednostkom. Skoro tak lubią
inwigilację, niech spróbują
jej sami, żeby odkryć, na przykład, korupcję w rządzie.
Można to zrobić.
Wciąż mamy duży wybór.
Musimy go dokonać, zanim będzie za późno.
-Jestem lekko sceptyczna.
Żaden informatyk, którego znam, nie wybrałby się na 2 tygodnie do lasu.
Jednak każda matka, jaką znam,
powinna mieć
tę zdolność zaszczepienia się
przeciw hackowaniu.
Podobnie, gdy oczekujesz, że inżynierowie
wytrenują się w etyce,
mają model biznesowy, imperatyw,
że muszą się spotkać, gdy biorą się do pracy.
Myślę, że wciąż jestem lekko...
Wciąż szukam odpowiedzi
poza indywidualną odpowiedzialność.
-To odpowiedzialność instytucji i rządów.
Instytucje takie jak uniwersytety,
jak doktorzy, włączają w swój
tok nauczania etykę,
tak samo powinno być z informatykami.
To ostatecznie odpowiedzialność rządów.
Byliśmy tam już tyle razy,
jak w XIX wieku,
do czasów Charles'a Dickensa i kopalni węgla,
mówili:
"Ale naszym modelem są 8-letnie dzieci
pracujące w kopalniach i wydobywające węgiel.
Jeśli tego nie zrobimy, Niemcy zjedzą nas żywcem."
Ostatecznie wkroczył rząd i powiedział,
że nie mogą wysyłać dzieci do kopalni, należy je wysłać do szkół.
Nie do kopalni. Z perspektywy czasu
ludzie stwierdzili, że to dobry pomysł, ponieważ dzięki temu
mamy lepiej wyedukowaną siłę roboczą i możemy robić wiele lepszych rzeczy.
Więc to oczywiste. Jednak gdybyśmy mieli
Davos w 1818, gdy wszystkie
te wielkie firmy tłumaczyły, że nie,
potrzebujemy dzieci w fabrykach.
-W porządku, tylko o lekarstwie.
-Po pierwsze, chciałbym tylko powiedzieć,
że Yuval ma rację w kwestii danych.
Jako informatyk,
możesz robić coraz lepsze przepowiednie
i wykorzystać wszystkie dane.
Jako przykład, Cambridge Analytica, mamy tu Brittany Kaiser z Cambridge Analytici.
Więc Cambridge Analytica miała dostęp do twoich danych osobistych
i użyła ich, żeby odkryć twoje cechy osobowości.
Twój poziom
inteligencji emocjonalnej, twoją otwartość, samoświadomość, ekstrawertyzm
spolegliwość i neurotyzm.
To twoja osobowość.
W ten sposób zdobywają wiedzę na twój temat twoich słabości,
których nawet ty nie znasz.
W przyszłości nie możemy dopuścić, żeby te dane wpadły w niepowołane ręce.
Jednak jest problem.
Mamy nowe dowody, że tylko patrząc
na wzorce klikania ludzi, na to
w co klikasz na komputerze i jak często klikasz,
możesz przewidzieć
ludzkie cechy osobowości z 80% dokładnością.
Więc to koniec zasłony niewiedzy.
Poznają cię lepiej niż ty sam tylko na podstawie tego gdzie chodzisz i co mówisz
i tak dalej.
Nie twierdzę, że tak będzie zawsze, ale jeśli wyobrazisz sobie moc obliczeniową
rosnącą w takim tempie,
poziom przepowiedni jakie możemy o tobie robić, nawet jeśli nie mamy danych,
lub jeśli się ich pozbędziemy, wciąż będzie rosnąć.
Więc dochodzimy
do problemu, o którym zawsze mówię asymetria władzy.
Gdzie technologia ma asymetryczny dostęp
do wszystkich twoich słabości, kontrolują efekty,
wierzenia i tak dalej. Gdy mamy niesymetryczną władzę,
mamy nazwę na tę relację,
musimy się upewnić, że to nie jest relacja drapieżna ani pasożytnicza i że to
relacja z obopólnymi korzyściami. Jeśli porównamy
symetrię informacji między doktorem a pacjentem,
Pacjenci muszą poddać się doktorowi,
wchodzą w narkozę i leżą nieprzytomni na stole operacyjnym.
Muszą zaufać doktorowi, że ci pomoże,
że nie stwierdzi "świetnie, już go nie ma,
wytnijmy mu nerkę",
że nie będzie pasożytował na
tej asymetrycznej, wrażliwej relacji.
Wyobraźcie sobie psychoterapeutę.
Oni odkrywają najbardziej intymne detale naszej psychiki.
Nie mogą pasożytować na tej relacji
i komercjalizować rzeczy, które im mówię.
-Więc czy jednym rozwiązaniem...
-Byłoby prawo zaufania, gdzie zaufanie gra rolę.
Jeśli porównasz ile informacji zbiera Facebook
a ile psychoterapeuta,
powiedziałbym, i w tych innych obszarach również, że możemy wprowadzić prawo zaufania.
Byłby to po prostu jeden krok naprzód.
Więc w porównaniu do tego ile prawnik wie o swoim kliencie,
ile lekarz wie o swoim pacjencie,
a psychoterapeuta o swoim pacjencie,
gdzie wprowadzamy prawo zaufania, co od razu
powstrzymuje zły model biznesowy,
ponieważ doktor nie może jednocześnie operować w twoim interesie
i maksymalizować dochód akcjonariuszy.
To niekomfortowa diagnoza, gdzie jesteśmy i co musimy zmienić.
-Mikrofony krążą,
czy moglibyście się upewnić, że
wasze pytania są pytaniami.
I proszę, starajcie się, żeby były krótkie. Dziękuję.
Weźmiemy 3 pytania.
Proszę, tam.
-Cześć, jestem Stephanie z DOD.
Tristan, mam pytanie do ciebie, wspomniałeś o
kulturowym systemie odpornościowym. Co to jest?
Dla ciebie.
-Ok, czym jest system odporności kulturowej.
Mamy pytanie z tej strony.
-Cześć, jestem z Harvard Business Review,
z Francji.
Chciałam was zapytać o indywidualną
odpowiedzialność, o której mówił Tristan.
Mówiłeś o szczepieniu, ale z zachowania, jakie opisałeś,
wynika, że grozi nam raczej uzależnienie od technologii.
Zastanawiam się czy lekarstwo
na zapobieżenie temu byłoby mniej
ukierunkowane na szczepionki, a bardziej
na odwyk od tego narkotyku.
Co o tym sądzisz?
-I jedno tam.
-Dziękuję, moje pytanie jest skierowane bardziej w stronę Yuvala
niż Tristana. Z perspektywy Doliny Krzemowej,
nie są odpowiedzialni
i w zasadzie tylko pracują jako firma.
To tylko kolejna firma. Dlaczego oni powinni być odpowiedzialni.
Najlepszym przykładem jest śledztwo Rosji,
gdzie rzekomo CIA, NSA,
jakakolwiek organizacja szpiegowska,
która czerpie korzyści finansowe z trzymania Rosjan w ryzach,
nie mogli tego zrobić, a Facebook powinien to zrobić.
Moje pytanie brzmi: Spośród wszystkich rozwiązań,
tylko regulacje
sprawiają wrażenie czegoś, czego nie mogą uniknąć
i spróbują się temu oprzeć. Jednak czy jest coś jeszcze?
Ponieważ zmiana ludzkich zachowań się nie wydarzy.
Nie możemy zmienić ich zachowań.
A to oni mają wolny rynek i prawo po swojej stronie,
nikt nie może ich zachęcić do zmiany. Więc pytanie brzmi:
Czy jest możliwe coś jeszcze oprócz regulacji?
-Postaram się dać zwięzłe odpowiedzi na te pytania.
Biorąc poza kolejnością, w kwestii uzależnienia,
mamy podcast nazwany "Twoja Niepodzielna Uwaga", gdzie przeprowadzamy wywiady
z ekspertami w tej kwestii, w tym Brittany i kilka innych osób tutaj.
Bardzo chętnie ugościlibyśmy Yuvala.
Przeprowadziliśmy kilka rozmów w kwestii uzależnień
i dowiedzieliśmy się, że lekarstwem na uzależnienie nie jest trzeźwość, ale połączenie.
Ludzie potrzebują łączności z innymi,
z naturą, muszą się z czymś związać.
Głównie ze względu
na brak, niepokój i pustkę, którą odczuwamy w uzależnieniu.
Wyobraźcie sobie świat, że technologii stara się być łatwo dostępnym,
wypełnionym relacjami, czy to na FaceTime,
czy noce kucharskie czy tego typu rzeczy, równie łatwo jak wejść na Wikipedię.
Obecnie współpraca społeczna jest naprawdę trudna,
jest jedną z najtrudniejszych rzeczy na świecie.
Powinna być łatwiejsza. To jedna odpowiedź.
Jeśli chodzi o system odporności kulturowej, jest świetna książka
"The Democratic Surround"
profesora Freda Turnera ze Stanforda.
Pisze on o sposobie w jaki
w latach 40-tych, w USA
powstał Komitet Morale Narodowych
i Instytut analizy propagandy., które zajmowały się
kultywowaniem czegoś, co nazywały osobowością demokratyczną,
w USA.
Nie postrzegały osobowości demokratycznej, demokratycznego myślenia
jako czegoś, co przychodzi za darmo, ale musi być aktywnie kultywowane.
Myślę, że potrzebujemy takiej kultywacji.
Zamiast wolnej woli, potrzebujemy
kultywowanej woli. Owszem, nie ma wolnej woli, ale możemy kultywować
wartości, myślenie, otwartość i tak dalej.
To się udało w latach 40-tych.
Baliśmy się propagandy faszystowskiej skierowanej w naszą populację.
W zasadzie właśnie ze strachu
jak szybko Niemcy, ich filozofia
i wartości
mogą przerodzić się w nazizm. Jak to możliwe?
Więc w reakcji
na takie reakcje umysłu,
stwierdziliśmy, że musimy kultywować jakieś inne, silne rzeczy.
Jakie było ostatnie pytanie?
A, regulacje. Bardzo szybko, zanim przekażę Yuvalowi.
Odpowiedzią są wewnętrzni pracownicy.
Odkryliśmy, że nacisk
pracowników, którzy budzą się i mówią:
"O mój Boże, nie wiedziałem co tu się dzieje.
Chcę pomóc od wewnątrz." Na tym skupia się moja organizacja.
Na zdobywaniu wewnętrznych pracowników, ponieważ to znacznie skuteczniejsze.
Jeśli musisz zapłacić 3 razy więcej, żeby zatrudnić
ludzi, ponieważ już zorientowali się co się dzieje,
studenci nie chcą się u ciebie zatrudniać, jeśli twoi ludzie odchodzą
i musisz ich zatrzymać, to bardzo poważna wartość ekonomiczna.
-Niektórzy powiedzieliby, że to ty jesteś organizacją szpiegowską.
-Inżynierowie całego świata...
Tak, myślę, że schodząc bardzo głęboko,
prawdziwe odpowiedzi pochodzą
od filozofii i polityki.
Możemy nakładać na to jakieś poprawki,
żeby ułatwić nam radzenie sobie z tym konkretnym kryzysem.
Jednak ostatecznie, myślę,
że doświadczamy fundamentalnego
wyzwania humanistycznego światopoglądu,
który zdominował świat, zwłaszcza zachodni,
200 czy 300 lat temu.
Podstawowe założenia tego światopoglądu upadają.
W kwestii indywidualizmu,
indywidualnej agencji, wolnej woli,
naprawdę upadają nie z powodu nowych argumentów filozoficznych,
ale nowych, praktycznych technologii.
Prawdziwe odpowiedzi
będą musiały odnieść się do tych fundamentalnych,
filozoficznych kwestii.
Jeszcze do tego nie dotarliśmy.
Nie wiemy, jakie nowe systemy wartości albo światopoglądy się wyłonią.
Trzeba będzie je
przetłumaczyć poprzez proces polityczny
w nowe polityki.
Ostatecznie, co zrobią jednostki,
do czego poczuwają się firmy,
od tego mamy polityki.
Żeby doprowadzać do tego typu zmian
i poprawek.
-Bardzo mnie uderzyło,
jak i kilku moich kolegów, że
w tym roku w Davos, wcale nie ma
wielu dyskusji na temat
roli technologii w naszym
życiu politycznym w szczególności.
Co to według was znaczy? Sprawia to wrażenie milczenia.
Nie możemy udawać, że nie ma technologii.
Palantir ma swoją salę, Facebook, Amazon, Web Services,
każdy tu jest. Jednak jest
znamienne milczenie
w tym temacie w szerszych dyskusjach
w Davos. Zastanawiam się co...
-Po części
nie wiedzą co z tym zrobić.
Po części
ignorancja to błogosławieństwo.
Znacznie łatwiej kontynuować
starą dyskusję polityczną
niż rozpocząć zupełnie nową.
Dlatego kwestie takie jak terroryzm
lub imigracja przyciągają taką uwagę polityczną.
Nie chodzi o to, że są najważniejsze,
ale dlatego że politycy już wiedzą
jakie pojawiają się poglądy i pytania.
I mają poczucie bezpieczeństwa i znajomości w tym temacie.
Wiem co myślę, wiem co myśli druga strona.
Z tego typu kwestiami,
jaka jest różnica między Republikanami a Demokratami
jeśli chodzi o regulacje AI?
Nie mam pojęcia.
-Tristan, czy ty masz jakieś przemyślenia dlaczego
nie słyszymy, przynajmniej publicznie,
prezesów firm technologicznych, mówiących o swojej roli,
zwłaszcza w roku wyborów?
-Myślę, że biorąc perspektywę na kulturę Davos,
nie sądzę, że...
To jak z technologią, nie chcesz kwestionować
czy technologia jest dobra dla ludzi.
Chcesz powiedzieć, że są złe przypadki,
są zepsute jabłka. Kapitalizm musi być dobry,
to tylko złe wyjątki związane z czymś innym.
Fundamentalną kwestią jest, że mamy neolibaralny,
nieograniczony system rynkowy, który prowokuje takie złe przypadki.
Wydaje mi się, że tego nie chcemy kwestionować w Davos.
W ten sam sposób
w kapitalizmie przemysłowym, martwy wieloryb jest wart więcej niż żywy
i drzewo jest warte więcej jako deski niż jako drzewo,
w modelu ludzkiej uwagi, człowiek
uzależniony, rozproszony, wściekły, spolaryzowany
i niedoinformowany jest wart więcej niż normalny człowiek.
Czy to twoje dziecko, czy obywatel demokracji.
Nie dlatego, że każdy jest zły, po prostu model woli,
w taki sam sposób jak wolałby
cukrzyka, któremu można sprzedać dietę.
To woli system. Nie sądzę, że ludzie w Davos
chcą to przyznać.
Ostatnia rzecz w kwestii technologii,
nasze obawy wokół polityk, które są ważne
i jest to dyskusja polityczna,
jest, że problemy technologii coraz bardziej przyspieszają
do tego stopnia,
że rządy nie mogą nadążyć. Dlatego głównym celem
naszej organizacji jest powrót
do E O Wilsona, który powiedział, że fundamentalnym problemem ludzkości
są umysły paleolityczne, średniowieczne instytucje
i boska technologia.
I wszystkie 3 działają w różnym tempie,
ponieważ umysł paleolityczny powstał 200 000 lat temu
i nie zmienia się w ogóle, instytucje średniowieczne
dostosowują się co 4 czy 5 lat w najlepszym wypadku.
Co 5 lat dostajesz analizy i prognozy PKB.
I mamy też przyspieszającą, boską technologię,
która tworzy nowe procesy, nowe możliwości, ryzyko i problemy
znacznie szybciej.
Jeśli o tym pomyśleć, musimy przyjąć nasze umysły paleolityczne,
ulepszyć nasze instytucje średniowieczne
i spowolnić i posiąść mądrość potrzebną do dzierżenia boskiej technologii.
Tylko tak możemy sobie poradzić.
-Mam mnóstwo pytań, których nie miałam możliwości zadać.
Kończy nam się czas.
Czy mamy jeszcze 5 minut?
Tak, więc weźmiemy jeszcze
jedno pytanie z publiczności.
I wtedy podsumujemy jeszcze jednym moim. Więc bardzo szybko.
Jedno pytanie tam.
-Dziękuję czy możemy wykorzystać
umiejętność hackowania
w kwestiach takich jak zmiany klimatyczne?
Odnoszę wrażenie, że technologia ratowania nas samych jest dość ograniczona.
Co możemy z tym zrobić?
-Właśnie do tego staram się nakłonić Dolinę Krzemową.
Myślę, że odkupienie
za zniszczenie demokracji na całym świecie
jednocześnie i wysłanie nas w średniowiecze...
Mogą odkupić swoje winy
biorąc całą swoją infrastrukturę
i budując... Już zbudowali
globalną sieć infrastruktury społecznej.
Obecnie, w przestrzeni, w której w ogóle odnosi się do zmian klimatycznych,
nie mówiliśmy o tym, ale
50% polecanych filmów na YouTubie
to filmy zaprzeczające globalnemu ociepleniu.
Gdy jesteś na Facebooku,
o ile w ogóle pojawiają się u ciebie kwestie związane z globalnym ociepleniem,
jeśli nie zaprzeczają zmianom klimatycznym,
twierdzą, że jest gorzej niż myślałeś
i nie możesz nic z tym zrobić.
Przekazuje ludziom bezradność
w skali 2.7 miliarda ludzi.
To nie jest produktywne w radzeniu sobie ze zmianami klimatycznymi.
Mogliby zrobić masywną... Wyobraźcie sobie,
że cały ten czas, o ile śledzicie zmiany klimatyczne,
cały ten czas, który spędzacie szukając materiałów o zmianach klimatycznych,
gdybyśmy zastąpili
czas, który spędzacie czytając te same artykuły,
które już kiedyś czytaliście, zastąpili je
działaniami lub chociaż sensownymi opcjami w wyborach.
Na przykład mógłbyś napisać historię o wpływie zmian klimatycznych na twoją farmę
i dać znać ludziom, którzy nie wierzą w zmiany klimatyczne, że to się faktycznie dzieje.
Pracowaliśmy nad listą około 300 rzeczy,
które mogłyby zrobić firmy technologiczne, żeby pomóc z globalnym ociepleniem.
Chciałbym, żeby je zaimplementowały.
-Chciałabym się tylko upewnić, że dobrze cię rozumiem.
Najpotężniejsze umysły naszego pokolenia pracują w Dolinie Krzemowej,
żeby podnieść przychody z reklam, a ty chcesz, żeby pomogli z globalnym ociepleniem?
-Ich katastrofa dotknie
tak samo jak nas.
A czy będą mieli więcej pieniędzy w grobie, nie ma większego znaczenia.
-Chciałam was bardzo szybko zapytać,
czy jest jakaś cząstka nas, naszej egzystencji,
która jest tak
cenna lub tak krucha,
że nie powinniśmy jej oddawać
technologii i big data? Czy jest to może
wybieranie władzy lub
jak wychowujemy nasze dzieci lub kogo kochamy
lub coś innego. Czy jest jakiś aspekt życia,
który powinniśmy zatrzymać dla siebie?
-Myślę, że ogólnie
technologia powinna służyć nam,
a nie my technologii.
Tak powinno być we wszystkich aspektach życia.
Nie sądzę, że powinniśmy dzielić życie na obszary, że "ok, niech technologia
przejmie te obszary, a te
zatrzymamy dla siebie."
Wszystko się ze sobą łączy.
Niektórzy myślą,
że jestem przeciwny technologii lub nienawidzę technologii.
Nie, myślę, że technologia może dokonać cudownych rzeczy dla ludzi.
Spędzam mnóstwo czasu mówiąc o
problemach, ponieważ tak wiele inteligentnych ludzi,
opisujących korzyści, więc potrzebujesz kilku historyków
i filozofów do wskazania zagrożeń.
Jednak technologia nie jest zła.
Poznałem mojego męża online na jednym z pierwszych
portali randkowych dla gejów,
która powstała w 2002 w Izraelu.
To była cudowna rzecz, którą technologia dla mnie zrobiła.
Żyłem w małym, prowincjonalnym mieście
w Izraelu, dość homofobicznym.
Raczej kiepskie miejsce do szukania partnera. I nagle
internet wkracza do gry i mam
wirtualną przestrzeń do poznawania ludzi
i okazało się, że mieszka 400 metrów
od mojego domu, na sąsiedniej ulicy
i codziennie jeździliśmy do szkoły,
uczyliśmy się w innych szkołach, ale w tym samym obszarze,
więc codziennie jeździliśmy tym samym autobusem.
Nigdy się nie spotkaliśmy, a spotkaliśmy się
w internecie.
To cudowna rzecz, którą technologia mi dała.
Nie chodzi więc o
wyrzucenie technologii z jakichś specjalnych obszarów w naszym życiu,
chodzi o to, jak technologia może słyżyć
nam, raczej niż my technologii.
-Masz coś jeszcze, Tristan?
-Myślę, że to było świetne. Dodam tylko,
że z tej samej perspektywy,
technologia sama w sobie nie jest szkodliwa ani zła.
To złe skłonności przy operowaniu zbyt potężną technologią.
Tak jak powiedział Yuval,
portale randkowe w 2001 nie były tak popularne
wśród hackerów, próbujących zmaksymalizować filtry i lajki
i komentarze. Po prostu były książką adresową.
Nie wiem o której stronie dokładnie mówisz,
ale ogólnie, jeśli pamiętasz tamte czasy,
gdy internet jest tylko narzędziem, biblioteką,
jest ogólnie w porządku.
To system aktywnych rekomendacji. Gdy chce czegoś od ciebie,
gdy ma skłonność do personalizowania,
pojawiają się te wszystkie kwestie.
Myślę, że kwestia jest, że
kultura musi być ponad technologią. Jeśli technologia stoi powyżej kultury
i zaczyna decydować, jaka powinna być kultura, jakie są nasze wartości
i czego chcą dzieci, całe pokolenie wyrasta
jako narcyzi skupiający się na ilości followersów.
i czy masz konto z 50 000 followersów,
wówczas technologia przejmuje kontrolę,
wkrada się do umysłów dzieci
i wpycha swoje wartości w twoje dzieci.
Tak być nie może. Kultura musi stać ponad technologią. To najważniejsza rzecz.
-Dziękuję wam obu za
bardzo interesującą dyskusję.
I dziękuję wam wszystkim.
