Die Risiken von KI: „Niemand weiß aktuell, wie man eine KI baut, die nur das macht, was sie machen soll.“

00:00:00: Risiko-Hinweis.

00:00:01: Die Inhalte dieses Podcasts dienen ausschließlich der allgemeinen Information und sind zum einen ohne Gewähr, und zum anderen

00:00:08: keine Empfehlung zum Kauf oder Verkauf bestimmter Finanzinstrumente.

00:00:12: Es handelt sich hierbei nicht

00:00:13: um Anlagevermittlungen, Anlageberatung oder ähnliches.

00:00:17: Ihr entscheidet selbst

00:00:19: was

00:00:19: ihr macht!

00:00:38: Künstliche Intelligenz, aber mal das andere Blick auf dieses Thema.

00:00:42: Wir haben schon häufig darüber gesprochen über Chancen und Investments in dem Bereich.

00:00:46: Wir wollen heute mal darauf blicken.

00:00:48: was sind Risiken oder auch Bedenken beim Thema KI oder anderen Technologien?

00:00:53: Wir haben immer wieder drüber gesprochen, dass ihr teilweise sehr früh in Firmen investiert habt gerade auch im Bereich der generativen AI.

00:00:59: Immer früh dabei wart in vielen Teilen.

00:01:02: Es ist aber auch so wenn man langfristig orientieren möchte.

00:01:04: Man braucht einfach einen ganz zeitlichen Blick auf ein Themenfeld und eben auch die Technologie.

00:01:09: Deswegen gibt es eben auch Risiken.

00:01:11: Und wenn man richtig das alles verstehen möchte muss uns sich mit der Technologie so ein bisschen auseinandersetzen und dazu gehört eben auch Die Abwägung von Chance und Risiko.

00:01:19: Du bist schon seit Jahren dabei, beschäftigst dich schon seit sehr langer Zeit intensiv mit Risiken von AI und auch von anderen Technologien.

00:01:26: Du hast deswegen auch die Global Technology Risk Foundation initiiert.

00:01:30: Vielleicht fangen wir mal damit an.

00:01:31: Worum geht es dir dabei genau?

00:01:32: Und was macht diese Stiftung?

00:01:35: Genau also sie fußt eigentlich auf dem Grundgedanken den ich glaube ist wahrscheinlich sieben acht neun Jahre oder so her hatte dass wir in der Welt immer stärkere Technologien entwickeln, mal einfach weit zurückgreifend irgendwie von der Bombe zur Atombombe.

00:01:52: Aber auch in anderen Bereichen immer mächtigere Technologie entwickeln beispielsweise im Bereich der Biotechnologie und dann natürlich insbesondere auch beim Thema AI wobei es damals eben so ausser als ob das noch ganz ganz weit weg wäre dass AI mal ein wirklich gefährliches Thema und eine wirklich große Gefahr sein konnte.

00:02:15: Und das ist in den letzten Jahren natürlich einfach insbesondere durch die Entwicklungen seit ChatGPT nach Meinung vieler Experten deutlich nach vorne gerückt.

00:02:25: dieses Datum, ich sag mal für mich war irgendwo immer mal klar wenn ich mich sozial engagiere dann wahrscheinlich genau dort wo ich sowieso sehr viel Zeit mit verbringe und das ist am Ende Technologie und habe deshalb die Global Technology Risk Foundation eine gemeinnützige GmbH gegründet, um eben zur Erforschung dieser Risiken beizutragen und in Teams zu investieren die an Strategien arbeiten wie wir diese Risiken mitigieren können.

00:02:53: Und grundsätzlich geht es dabei um alle möglichen Arten von großen typischerweise existenziellen Technologie-Risiken.

00:03:03: jetzt muss man aber sagen dass sicherlich In kurzer Zeit zum wichtigsten aktuellen Thema geworden sind AI-Risiken und sofern sind wir derzeit auch voll

00:03:15: auf

00:03:16: AI- Risiken fokussiert.

00:03:18: Und unterstützen mit der Stiftung oder mit der gemeinnützigen GmbH beispielsweise auch das Team von Kira, deswegen haben wir heute einmal den Gründer von Kera Daniel zu uns geholt um vielleicht einmal seine Perspektive auf das Thema noch zu hören.

00:03:38: Genau, Daniel ist unser Gast.

00:03:40: Herzlich willkommen hier bei uns, Daniel!

00:03:41: Vielen Dank, schön hier zu sein.

00:03:43: Freuen wir uns, dass du da bist.

00:03:44: Noch ganz kurz, Jan hat gerade gesagt, Kira, das ist die Kurzform für das Zentrum für KI Risiken und Auswirkungen.

00:03:51: Vielleicht erzählst du uns mal ganz kurz von weg was macht ihr da genau?

00:03:54: Und seit wann beschäftigst du dich denn mit dem Thema KI überhaupt?

00:03:57: Ich beschäftige mich seit mehreren Jahren mit dem thema KI in zunehmender Intensität würde ich sagen.

00:04:05: erst einmal einfach als Interesse, ohne dass ich einen direkten Bezug dazu hatte.

00:04:09: Dann habe ich in meinem Studium, obwohl ich nicht Computerwissenschaften oder Informatik studiert hab sondern VWL, habe ich mir dabei immer mehr meinen Zugang zu Machine Learning-Kursen und Inhalten gewählt.

00:04:22: Und vor einem guten Jahr im Frühjahr zwanzig dreinzwanzig haben wir dann mit einer kleinen Gruppe von Leuten Kira gegründet des Zentrum für KI Risiken und Auswirkungen eben als unabhängigen Think Tank mit dem Ziel dabei mitzuhelfen, dass wir eben als Gesellschaft diese Veränderungen, die durch fortschreitende Fähigkeiten von KI mit sich kommen, das wir die gut hinkriegen.

00:04:48: Und wie blickst du jetzt auf das Thema Risiken im Bereich AI?

00:04:51: Was sind so die ja die größten Risiken?

00:04:53: kann man es überhaupt so einfach sagen?

00:04:55: Find ich schwierig zu sagen und ich finde auch wichtig dazu zu sagen wir wirklich wahnsinnig große Chancen auch bietet.

00:05:04: Wir haben das Wort Risiken explizit, zum Beispiel im Namen unserer Organisation.

00:05:09: Das heißt aber nicht dass wir finden man sollte nur auf die Risiken schauen sondern ich selbst bin zum Beispiel auch begeisterter Chechipiti Nutzer und nutze alle möglichen KI-Tools Und freue mich auf vieles was da glaube ich früher als viele von uns sich vorstellen können auf viel es was da auf ins zukommen wird und unser Leben vereinfachen wird im Bereich Medizin, Bildung und allen möglichen anderen Bereichen.

00:05:31: Wenn es auf die Risiken geht gibt das glaube ich genauso wie bei den positiven Auswirkungen der ganze Bandbreite.

00:05:38: Ich habe vor kurzem bei so einem Report mitgeschrieben über dem wir vielleicht im Laufe des Gesprächs nochmal genauer sprechen aber da war das Ergebnis auch eben von ganz vielen Fachleuten die da mitgewirkt haben.

00:05:47: in diesem Bereich.

00:05:48: ja es gibt eine große Bandbreit.

00:05:49: einige Risiken sehen wir jetzt schon.

00:05:51: sie sind jetzt schon ein Problem und auch schon seit vielen Jahren ein ungelöstes Problem.

00:05:55: wir kriegen Sie nicht in den Griff zum Beispiel Diskriminierung, Desinformationen, die von KI generiert wird und so weiter.

00:06:02: Und dann gibt es ein paar Risiken, in denen wir gerade vielleicht an der Schwelle dazustehen, dass sie relevant werden und eintreten.

00:06:09: Da geht's zum Beispiel um Terrorismus, Einsatz von KI für Terrorismus

00:06:12: z.B.,

00:06:13: und da gibt es auch noch mal Risiken ,die im Moment nicht realisiert sind aber ziemlich schwere Auswirkungen haben könnten.

00:06:21: und dann gehts in die Richtung.

00:06:23: Zum Beispiel Kontrollverlust oder schwere systemische Auswirkungen, die unser Zusammenleben so richtig schwer beeinträchtigen als Gesellschaft.

00:06:33: Also es ist durchaus ein sehr diffusives Bild.

00:06:35: kann man das wahrscheinlich zusammenfassen?

00:06:36: Das ist alles noch nicht ganz klar.

00:06:38: wie hoch schätzt du denn das Risiko ein dass wirklich was richtig also wirklich existenzielles Schief läuft im Bereich AI?

00:06:45: Schwert zu sagen und es schwankt habe ich... Ist die ehrliche Antwort habe ich festgestellt bei mir.

00:06:51: Es schwankts weil es irgendwie so eine vorhersehbare Geschichte ist, die sich eben in der Zukunft zutragen kann.

00:07:00: Aber wir haben so wenig Anhaltspunkte dafür eigentlich zu sagen, so und so wahrscheinlich ist es jetzt.

00:07:03: das ist die Prozentzahl aber ich glaube es ist groß genug dass man es sehr ernst nehmen sollte.

00:07:10: Und gerade diese Unsicherheit, die wir bei diesem Thema haben Die denke ich sollte uns eigentlich Grund dafür geben In Hab-Achtstellung zu sein und Überlösungen nachzudenken.

00:07:20: Wir wollen ja nicht Unsicherheit sondern wir wollen ja Sicherheit dass alles gut geht und wir keinem großen Risiko ausgesetzt sind.

00:07:27: Gerade ist es aber so, das wenn man sich auch unter Fachleuten umhört und Fachleute befragt, dass es da eine sehr große Unsicherheit gibt und eigentlich die meisten der Leute sagen ganz sicher können wir's nicht ausschließen, dass da irgendein ganz schlimmer Unfall passiert und noch bedenkenswerter Wir können auch nicht genau sagen wann das passieren könnte.

00:07:45: Früher dachten viele Leute, das ist vielleicht in fünfzig oder hundert Jahren mal ein Thema.

00:07:49: Inzwischen sind die Zeithorizonte von vielen der Leuten immer kürzer geworden, zwanzig Jahre manche denken zehn Jahre.

00:07:55: es gibt einige ich habe zuletzt seit ins San Francisco verbracht wo die ganzen Unternehmen sitzen einige dort auch in den Unternehmen die hoch besorgt sind und denken das könnte schon ein paar jahre an der Fall sein.

00:08:06: Jan wie ist es bei dir wenn du dich schon so lange damit beschäftigst?

00:08:09: Und in deiner täglichen Arbeit?

00:08:10: du blickst jetzt ja nicht nur auf die Risiken aber wie weit ist das bei dir im Hinterkopf?

00:08:15: Also mein überwiegender Blick ist natürlich auf die Chancen von AI als Gesellschaft, aber auch insbesondere auf die Investmentchancen.

00:08:26: Und ich glaube auch zum Glück bei weitem überwiegende Wahrscheinlichkeit ist dass AI erst mal ein großer Segen für die Menschheit ist und zur Lösung oder zur Bewältigung von vielen unserer Problemen sehr viel beitragen kann.

00:08:43: Wir hatten da ja schon häufiger mal thematisiert, dass ich glaube gerade Bildung ist extrem gut geeignet dafür das AI dort wirklich innerhalb relativ kurzer Zeit ziemlich viel bewegen kann.

00:08:54: Medizin gehört dazu viele andere Felder gehören dazu.

00:08:57: Das heißt Ich sehe Szenarien wo wir sagen zu einer guten Mehrheit der Szenarium entwickelt sich vieles sehr sehr positiv.

00:09:08: dann gibt's durchaus gemischtes Szenarien an der Stelle und der Grund, warum ich aber alarmiert bin ist einfach das sind gar nicht... also es sind etwas weniger die mittleren.

00:09:18: Die OK-Szenarie.

00:09:19: Also wirklich die Szenarianen wenn ganz gewaltig etwas schief geht.

00:09:24: Und jetzt ist es schwer da eine genaue Wahrscheinlichkeit dran zu hängen.

00:09:28: Aber ich würde sagen meine Intuition lag immer irgendwo dabei dass es ein hoher Einstelliger Prozentsatz oder ein niedriger Zweistelliger Und dass dann ganz gewaltig etwas schiefgeht, das ist irgendwie im Ausmaß von ... ich sag mal die Menschheit wird in ihrem Zusammenleben so massiv und potenzial beeinträchtigt.

00:09:50: Dass vielleicht ein Großteil der Menschheit in einem dramatischen Unfall unkommt oder möglicherweise aufgrund der Vernetzung der ganzen Welt und eben der Macht dieser Technologie vielleicht auch kein Mensch davon mehr übrig bleibt.

00:10:04: Ich finde einfach, das sind Szenarien, die wahrscheinlich oder sehr wahrscheinlich nicht eintreten, die wir aber einfach nicht außer Acht lassen können.

00:10:13: Und wenn wir uns dann überlegen dass es derzeit vielleicht irgendwo eine dreistellige Anzahl also irgendwo ich sag mal hundert bis fünfhundert Menschen gibt, die weltweit vielleicht ihren beruflichen Fokus auf die Erforschung und Bekämpfung dieser großen Risiken legen, dann halte ich das einfach für extrem unterinvestiert, sowohl finanziell wie auch intellektuell.

00:10:41: Und das ist halt einer der Gründe, warum ich sage genau dort möchte ich mich eben auch engagieren weil ich denke dort muss noch viel mehr Ressourcen hingelenkt werden.

00:10:54: an dieser Stelle so Zeithorizont es auch so.

00:10:57: Ich glaube wirklich jeder Experte den man vor zehn Jahren gefragt hätte er hat gesagt Das ist so zwanzig fünfzig bis zwanzigt einhundert Das hat sich so gewaltig die Möglichkeit einer von globalen Zwischenfällen, hat sich soweit nach vorne verschoben.

00:11:12: Dass es relativ beängstigend ist weil auch man sagen kann je mehr die Zeit vorangeschritten ist gerade in den letzten sag mal sechs sieben Jahren umso mehr sind auch die Prognosen nach vorne geglitten und insofern genau das ist einfach ein Thema.

00:11:31: Wir glauben an die großen Chancen von AI sicherlich, aber wir sollten die Risiken nicht vernachlässigen.

00:11:37: Deswegen finde ich es ein extrem wichtiges Thema was in den letzten ein zwei Jahren deutlich mehr an Aufmerksamkeit gewonnen hat ja auch weil letzten Endes auch einen Sam Altmann und andere führende AI Experten darüber aktiv sprechen.

00:11:53: Aber Ich glaube Es Hat immer noch Nicht Die Attention Von Vielen relevanten Stakeholders, insbesondere natürlich auch von Politikern und von weltweiten Zusammenschlüssen.

00:12:05: Auch aus den Business-Eliten die es haben sollte.

00:12:09: Man sieht ja, wie rasant sich die Chancen entwickeln und die Technologie sich entwickelt.

00:12:13: Deswegen dürft's nicht verwundern dass wahrscheinlich auch die Risiken sich mit der Zeit verstärken, je besser die Technik wird.

00:12:21: Daniel, jetzt haben wir gerade schon ein paar Mal drum rumgesprochen.

00:12:24: Wenn man was richtig schief geht und Szenarien ganz kurz angerissen hast du einen Szenario im Kopf.

00:12:29: jetzt ohne zu sehr Schrecken verbreiten zu wollen aber um den Zuhörern vielleicht ein bisschen besser verständlich zu machen?

00:12:34: Was wäre so ein Szenarium wenn richtig etwas schiefgeht?

00:12:37: in dem Bereich KI

00:12:39: gibt viele Szenariens vor denen Leute Sorge haben die sich über diesen sagen wir mal katastrophalen Szenarianen Gedanken machen.

00:12:50: Ich finde es gut greifbar, wenn man sich drei Beobachtungen heraus sucht.

00:12:55: Die glaube ich alle drei stimmen und zusammen macht das besser verständlich warum da Leute vielleicht besorgt sind.

00:13:01: die erste Beobachung ist dass wir in den letzten Jahren einfach eine Beschleunigung der Fähigkeiten gesehen haben von KI und das jetzt zunehmend wahrscheinlich erscheint dass wir bald vielleicht ne KI erreichen in jeder oder fast jeder Hinsicht so kompetent wie Menschen ist.

00:13:19: Oder vielleicht sogar noch viel, viel kompetenter und die Aufgabe nicht nur gleich gut löst sondern viel besser und hundert- oder tausendmal schneller.

00:13:26: also dass wir bald da ein kritisches Level erreicht haben bei den Fähigkeiten das erscheint zumindest zunehmend wahrscheinlich.

00:13:33: Das ist die erste Beobachtung.

00:13:34: dann ist die zweite Beobuchtung das wenn wir eine starke KI haben werden Und das sehen wir auch jetzt schon Dass einfach die Anreize am Markt aber auch die Anreize zwischen starten und Armeen immer stärker werden, so eine starke KI auch autonom einsetzen zu wollen.

00:13:55: Das heißt dann hat man nicht mehr das passive Chatshipitiv vor sich sitzen.

00:13:58: Wenn ich mit Chatshpiti interagiere, dass sitzt ja stumm da macht nichts Und ich frage was?

00:14:03: Dann kommt etwas zurück und dann ist wieder Ruhe.

00:14:05: Sondern es wird ganz starker Anreize geben wenn man schon so eine sehr starke Ki hat Dass man die autonome agieren lässt und der auch immer weitreichendere Befugnisse gibt und Interaktionsmöglichkeit mit der Welt, weil wenn das Konkurrenzunternehmen KI in allen möglichen Bereichen einsetzt dadurch schneller effizienter wird dann möchte man es natürlich selbst auch machen und alles weiter automatisieren.

00:14:26: Und da wird es also ganz, ganz starke Anreize geben und eben auch im militärischen Bereich denke ich.

00:14:31: Die dritte Beobachtung ist dass niemand aktuell weiß wie man eine KI baut die das macht was sie machen soll und nichts anderes.

00:14:44: Und diese drei Beobachtungen zusammen, womöglich bald sehr starke oder den Menschen soll überlegende KI die große Befugnisse hat und autonom mit der Welt interagiert.

00:14:56: Bei dir wird es aber nicht zuverlässig hinkriegen dass sie genau das macht was ihr eigentlich machen soll.

00:15:02: Das ist so der Grund auf einem höheren Level gesprochen warum Leute Sorge haben Dass wir da einfach getrieben von ganz starkem Markt anreizen oder eben kompetitiven Nationalinteressen in der Situation reinschlädern, wo uns wirklich etwas entgleitet und mit einem Ziel ausgestattet wird womöglich.

00:15:21: Dass eigentlich gar kein schlechtes war sondern irgendjemand hat so einer sehr starken KI ein Ziel gegeben.

00:15:28: weiß ich mach mein Unternehmen zum Reichsten der Welt oder meine Armee zur Schlagkräftigkeit in der Welt.

00:15:33: Und wir haben aber dieses dieses Kontrollproblem das technische Problem noch nicht gelöst.

00:15:38: Also eigentlich ist es eben noch nicht zuverlässig so, dass die KI dann ganz genau das auch macht was sie machen sollte.

00:15:43: Und dann haben wir aber womöglich in diesen Szenarien eine KI, die nicht mit dem übereinstimmt, was wir eigentlich wollen von ihr.

00:15:50: Die stärker ist als wieder kompetenter und die eben Zugriffsrechte aufs Internet hat, die sich reinhecken kann in alle möglichen kritischen Systeme tausend und millionenfach Kopien von sich selbst anfertigen und übers Internet verteilen kann, sodass man auch nicht mehr den Ausknopf drücken kann weil es ja keine physische Maschine ist.

00:16:08: Also so in diese Richtungen geht das und dann gibt's viele Verästelung natürlich und das Schwierige bei diesen Szenarien ist dass es natürlich dazu keine Empirie gibt.

00:16:19: also es ist ein Risiko über dem immer mehr Leute Sorge haben das in der Zukunft liegt.

00:16:25: aber wie genauso was passieren würde, wenn es passiert wissen wir nicht.

00:16:31: Ich denke auch das hast du relativ gut auf den Punkt gebracht.

00:16:35: Wenn wir uns aus der Investment Perspektive beispielsweise einmal angucken wie eigentlich die LLMs skalieren dann kann man sagen mit mehr Computing Power werden die aktuell noch unbegrenzt besser.

00:16:51: da ist kein Ende derzeit absehbar.

00:16:55: Mit mehr Daten Und mit zunehmender Parametergröße der Modelle werden diese Modelle auch einfach in beeindruckendem Ausmaß und sehr, sehr schnell sehr viel besser.

00:17:08: Wenn wir davon ausgehen dass das hält jetzt erstmal so an und es gibt quasi etwas wie ein neues mursches Gesetz an dieser Stelle dann ist einfach damit zu rechnen dass diese Modellen in relativ kurzer Zeit sehr stark werden und in sehr, sehr vielen Gebieten den Menschen teilweise eben auch weit aus überlegen sind.

00:17:31: Und das ist ein großes Risiko aus Beispielsweise den Gründen die Daniel genannt hat aber auch beispielsweise aus den Gründe was wenn diese besonders starken Instrumente einfach Terroristen?

00:17:45: oder anderen Menschen mit besonders schlimmen Absichten in die Hände fallen, weil bis jetzt ist es natürlich so.

00:17:52: Jede Waffe noch, die es gab, wurde auch irgendwo genutzt an der Stelle.

00:17:57: und das ist eine der anderen großen Gefahren, die ich sehe dass man vielleicht, ich sag mal im Großen eigentlich dort sehr positive Werkzeuge schafft, die aber so eine Mächtigkeit besitzen, wenn jemand sie für den falschen Zweck benutzt Sie eben auch ein sehr, sehr hohes Zerstörungspotenzial aufweisen.

00:18:19: Und das ist sicherlich auch etwas wo man sagen kann statistisch bei acht Milliarden Menschen auf der Welt es ist leider immer so gewesen dass es einfach Menschen gibt die auch sehr viel Schaden in Kauf nehmen um ihre Ziele zu erreichen.

00:18:37: Ja und tatsächlich sehen das ja auch den Menschen.

00:18:39: so wie ihr befragt habt Daniel für euren Kehrer Report hast du ihn gerade schon mal angesprochen.

00:18:44: Das war im April, und es ist vielleicht auch ein paar Mal angesprochen.

00:18:48: Es entwickelt sich ja sehr rasant.

00:18:50: Und vielleicht würden heute auch einige anders antworten durch diese mehreren Berührungspunkte, die es mittlerweile gibt.

00:18:56: Aber damals haben auch schon fifty-fünfzig Prozent gesagt, dass sie sich fürchten vor KI, die zur Bedrohung für die Menschen wird.

00:19:04: Flächendeckend Überwachung, fifty vier Prozent.

00:19:06: Aber auch das Thema Arbeitsplatzverlust hat ein Drittel ungefähr genannt als Sorge.

00:19:11: Sind da so diese Berührungspunkte, die man hat und die man noch immer wieder hört?

00:19:17: Bürojobs wird es vielleicht nicht mehr geben weil die Unternehmen natürlich ihre Effizienz steigern wollen deswegen solche Aufgaben an die KI übergeben werden.

00:19:24: Ja, das höre ich oft von Leuten Und ich höre auch oft also sozusagen dass was ich anecdotisch mitkriege aus Gesprächen Mit Menschen deckt sich auch nach wie vor auch im Jahr zwanzig vierundzwanzig ziemlich gut mit den Ergebnissen aus dieser Befragung.

00:19:40: Generell ist es eine interessante Diskussion auf einer Weise, dass wir haben Jan und ich ja beide gerade schon erwähnt das wir eigentlich sehr viele wirklich führende Fachleute haben die auch sage ich auch für diesen ganz extremen Risiken warnen und darüber besorgt sind also zum Beispiel die drei am häufigsten zitierten KI Forscher der Welt.

00:20:02: Die sind alle stark besorgt, auch über die katastrophalsten Szenarien und denken das könnte vielleicht nicht mehr lang hin sein bis wir da ein gefährliches Territorium kommen wenige Jahre womöglich.

00:20:14: Und gleichzeitig haben eben viele Leute also Lion wie zum Beispiel in unserer Befragung ein ähnliches Bauchgefühl glaube ich.

00:20:22: und irgendwo dazwischen passiert aber im öffentlichen Raum was komisch ist dass dazu führt es nicht so häufig zumindest noch nicht so häufig, wie man denken würde.

00:20:34: Wie ich vielleicht denken würde über diese Themen gesprochen wird und ich stelle manchmal fest das Leute wenn ich sie befrage ganz offen wie denkst du über KI dass die dann erstmal ein bisschen schüchtern antworten und nicht ganz damit raus wollen weil sie denken na ja dann stehen Sie irgendwie als Schisser oder Spielverderber Oder Angsthasen da und dann frage ich ein bisschen nach.

00:20:56: Und dann kommt eben doch so naja, ich finde es doch auch ein bisschen gruselig oder so.

00:21:01: Also ist eine ganz interessante Situation glaube ich in der wir alle uns befinden dass das viele von uns da merken.

00:21:07: also hier tut sich irgendwie was mit dieser Technologie.

00:21:10: vielleicht verschiebt sich da ein bisschen was?

00:21:12: Und erste Sachen merkt man jetzt schon vielleicht fragen über den eigenen Job Desinformationen klang eben schon mal an, ist glaube ich aktuell eigentlich eines der größten Themen in dem Zusammenhang.

00:21:21: KI die diskriminiert das es seit Jahren Jahrzehnten eigentlich schon ein ungelöstes Problem im Bereich KI und trotz all their capabilities also der Fähigkeiten des Anstiegs der Fährigkeiten jetzt bei GPT-Forts zum Beispiel ist dieses Problem auch immer noch nicht gelöst und ich glaube viele Leute haben dafür ein ganz gutes Gespür dass man diese Technologie im Auge behalten sollte.

00:21:44: Also ich glaube auch in den nächsten Jahren, jetzt mal auf ein bis drei Jahre geguckt.

00:21:51: Da werden wir natürlich mit vielen Problemen zu kämpfen haben wie beispielsweise Wahlmanipulierung, Deepfake generell, Zunahme von irgendwelchen Frodulenten, Anfragen, das heißt irgendwie eine AI versucht mit ihren eigenen Assistenten zu kommunizieren, vielleicht irgendwelche Überweisungen zu tätigen oder sonst was sich einzuhäcken in Systeme.

00:22:14: Das sind natürlich alles Risiken die uns jetzt irgendwo in den nächsten Jahren bevorstehen und die auch teilweise irgendwie schon zu Chaos in der Welt führen können.

00:22:25: dann natürlich das ich sag mal viel diskutierte Thema einfach führt sehr starke Technologie oder sehr Starke KI letztlich dazu, dass am Ende immer weniger Menschen am Wohlstand in der Welt teilhaben.

00:22:38: Oder ist das Gegenteil der Fall?

00:22:39: Weil bisher muss man ja auch sagen es gab ja bereits sehr häufig die Angst davor, dass Technologie am Ende Menschen komplett aus Arbeit verdrängt was bis jetzt dann nie so wirklich eingetreten ist also im Teilbereich.

00:22:53: Aber bis jetzt wurden immer wieder neue andere in der Regel auch spannere Jobs geschaffen.

00:22:59: Und da muss man einfach sagen, dass es glaube ich die Antwort darauf ist noch völlig offen und kann in alle möglichen Richtungen gehen.

00:23:07: Ich glaube das ist auf jeden Fall aber ein Thema mit dem wir als Gesellschaft uns noch viel mehr beschäftigen müssen und wo sicherlich auch erstmal nochmal viel mehr Sensibilisierung und Aufklärung stattfinden soll.

00:23:22: Und ich finde, da muss ich einfach sagen Daniel, da habt ihr bis jetzt mit eurer Arbeit in kurzer Zeit schon ziemlich viel erreicht und genau das ist natürlich auch genau einer der Gründe warum ich sage dass ich euch da gerne unterstütze und dass Organisationen wie eure ja einfach wahrscheinlich noch insgesamt viel mehr Unterstützung erfahren sollten um dieses Problem versuchen zu mitigieren

00:23:51: Klingt jetzt trotzdem nach einem gewissen Dilemma, sag ich mal.

00:23:54: Denn wir haben jetzt darüber gesprochen über die Risiken, die es gibt.

00:23:57: Wir haben gehört das wichtige KI-Forscher und Laien in Anführungszeichen der wirklich sowohl das gleiche Bauchgefühl haben, dieselben Sorgen haben.

00:24:05: Gleichzeitig habe ich auch gesagt man kann da eigentlich gar nicht so richtig vorkasten wie es weitergeht im KI Bereich Wie Daniel?

00:24:12: Kann man denn dann diese Technologie eine Regulierung in Grenzen setzen wenn?

00:24:17: Wer soll zu gut verstehen, um hier die richtigen Grenzen zu setzen?

00:24:19: Wer kann das sein.

00:24:20: Muss es auf Länderebene sein, muss es auf EU-Ebene sein?

00:24:23: Muss es weltweit passieren – wer kann das überhaupt?

00:24:26: Also ich glaube, es herrscht große Einigkeit jetzt unter den Leuten, die sich damit beschäftigen mit diesen Fragen dass es am Ende eine globale Form von Koordinierung braucht dabei wie bei anderen eben kritischen und teilweise gefährlichen Technologien in der Vergangenheit auch.

00:24:47: Wie wir dahin kommen, ist eine offene und schwierige Frage.

00:24:54: KI hat eben dieses auch sehr verlockende und hat das große Potenzial einzelnen Unternehmen oder einzelne Länder vielleicht gute Dienste zu erweisen.

00:25:07: Und es ist attraktiv natürlich für jeden Politiker jede Politikerin zu sagen Wir regulieren hier jetzt erst mal nicht, sondern hier können die KI-Unternehmen herkommen und weiter Vollgas geben.

00:25:18: Das Problem ist das wenn alle das machen diese alle möglichen Risiken über die wir gerade gesprochen haben zunehmen.

00:25:26: Und deswegen gibt es seit ich würde sagen achtzehn Monaten also ungefähr seitdem Chatshipiti rausgekommen ist schon immer mehr Foren und Treffpunkte und Formate auch auf der weltpolitischen Bühne in denen über diese Fragen nachgedacht wird oder, sagen wir mal sich an sie herangetastet wird.

00:25:46: Da gibt es noch nicht viel super Konkretes.

00:25:48: die EU hat als erste große Jurisdiction jetzt ein großes Gesetz auf den Weg gebracht im AI Act.

00:26:00: Es gibt in anderen Ländern auch Bestrebungen und dann gibt das eben seit letztem Jahr zum Beispiel die internationalen KI Sicherheitsgipfel Die AI Safety Summels.

00:26:10: Es gibt auf OECD, auf G-Zwanzig, G-Sieben.

00:26:13: Auch auf UN-Ebene gibt es jetzt alle möglichen Körper und Gremien und Gesprächskreise.

00:26:19: Und jetzt wird die große Frage sein in den nächsten Monaten und Jahren?

00:26:23: Wie gut kriegt man das gebündelt und in eine produktive Richtung fokussiert und eben in etwas übersetzt bei dem alle wichtigen Akteure auch an Bord sind?

00:26:35: Das bedeutet natürlich auch bei dem China und die USA an BORD sind!

00:26:39: Und einige andere Länder auch.

00:26:40: Also das wird schwierig, aber ich glaube viele sind sich eigentlich... Das ist notwendig.

00:26:45: Vor allem klingt es nach einem Zeitaufwand, den man hier eigentlich gar nicht hat bei der rasanten Entwicklung der Technologie.

00:26:49: Jan wie sieht's denn mit der Verantwortung der Unternehmen selbst eigentlich aus?

00:26:53: Sind sie sich bewusst welche Verantwortung Sie teilweise haben?

00:26:56: Ihre Maske ist ja auch so ein bekannter Warner, der forscht an Künstlicher Intelligenz und gleichzeitig sagt eigentlich sollte niemand so viel Macht in der Hand haben!

00:27:04: Ja Ja, ich würde sagen Elon Musk ist ein gutes Beispiel dafür.

00:27:10: Wie jemand der nachweislich technologisch eher einer der besten Visionäre war, der einfach ziemlich treffend die Möglichkeiten beispielsweise im Bereich der Elektromobilität vor anderen erkannt hat, der generell ein sehr gutes technisches und physikalisches Gespür besitzt Er grundsätzlich erstmal sehr, sehr besorgt ist über das mögliche große Vernichtungspotenzial von einer Technologie wie AI.

00:27:44: Das dahingesagt dann es natürlich auf der anderen Seite und er hat ja auch ich sag mal zu diesem ich sage mal sechs Monate Ich sag mal wir stoppen die Entwicklung mal aufgerufen.

00:27:55: Auf der anderen seite muss man da natürlich sagen er hat natürlich auch sehr viel individuelles Interesse diese Technologie dann doch vielleicht lieber am besten selber zu entwickeln.

00:28:06: Und das zeigt eigentlich genau dieses Dilemma auf, jetzt könnte er natürlich argumentieren, er macht es um die Welt vor großen Schaden zu bewahren und so wird immer jeder natürlich argumentierender dieser Technologie entwickelt und möglicherweise ist es auch so.

00:28:22: aber erst mal gibt es einen großen Anreiz und das hatten wir ja gerade beschrieben für jeden diese Technologie, ob sie jetzt Nationalstaaten sind.

00:28:30: Ob es Unternehmen sind?

00:28:31: Diese Technologie erst einmal selber zu entwickeln und dabei auch möglicherweise aggressiver und riskanter vorzugehen um eben diesen Vorsprung zu erlangen.

00:28:45: Und das ist glaube ich einfach dieses sehr komplexe Spannungsfeld in dem wir uns dort bewegen.

00:28:52: Generell glaube ich schon dass einige der, ich sag mal seit Jahren irgendwie gut geführten Unternehmen wie einen Microsoft oder ein Alphabet und vielleicht einige andere Technologieunternehmen mit einem langen Track Accord von relativ guten Entscheidungen.

00:29:16: Vielleicht die sicheren Kandidaten wären auf eine sehr starke AI zu stoßen als irgendwo ein unproven Start-up aus einer geografischen Region mit vielleicht einfach fragwürdigerem Trackercord.

00:29:33: Aber letzten Endes muss man sagen, egal wo diese Super AI entwickelt wird überall besteht ein großes Schadenspotenzial und so finde es eine extrem komplexe Frage auf die es aus meiner Sicht keine ganz leichten Antworten gibt.

00:29:47: Ich glaube, es gibt aber Stoßrichtungen, die wir haben und über die wir jetzt schon nachdenken sollten und an denen deren Vorbereitung man arbeiten kann.

00:29:55: Und das ist natürlich einerseits möglicherweise das Anknüpfen an die physische Welt in dem man nämlich die Ressource Computing Power also Chips einigermaßen gut überwachen und kontrollieren kann und möglicherweise auch es irgendwo in internationalen Koalition hinbekommen kann, dass es dann so etwas wie ein Ausschalter oder sowas gibt.

00:30:18: Am Ende muss man ja sagen die vergleichbarsten Risiken gibt's ja irgendwo dann wahrscheinlich insbesondere in der Atomenergie wo es ja irgendwo weltweite Überwachungsorganisationen gibt und Ansätze das zu kontrollieren.

00:30:33: Das gelingt dann teilweise.

00:30:36: ich glaube auch für anderen Art und Weise ist natürlich ganz wichtig, darin zu forschen.

00:30:40: Wie können wir eigentlich das was in der AI jetzt gerade vorgeht?

00:30:44: wie sie zu ihren Ergebnissen kommt interpretierbarer machen?

00:30:49: Das ist beispielsweise auch ein Thema, was wir mit der GGmbH, wo wir ein technisches Team, das daran arbeitet unterstützen.

00:30:58: Und ich glaube es ist ganz wichtig dass die Arbeit gemacht wird eben unsere Politiker, unsere Medien und unsere Öffentlichkeit auf diese Gefahren erst einmal vorzubereiten und zu sensibilisieren.

00:31:10: Ich glaube nicht dass jetzt dazu führen wird Morgen alle sagen, okay wir müssen das jetzt alle stoppen oder Nisas einführen.

00:31:18: Aber ich glaube es ist wichtig dass diese Grundsensibilisierung da wird damit zu Zeitpunkten wenn in der Zukunft vielleicht noch deutlicher wird was es an Chancen aber auch ein Risiken gibt und vielleicht irgendwo Durch Zwischenfälle, die es dann mal gab, die vielleicht hoffentlich nicht so katastrophal waren wie wir sie jetzt hier beschrieben haben.

00:31:37: Diese Sensibilisierung besteht und dann eben auch ein übergeordnetes Interesse der Menschen daran besteht zu sehr starken Maßnahmen auch zu greifen diese Risiken einzudämmen.

00:31:49: Eine andere Variante könnte natürlich auch darin legen.

00:31:53: aber das ist natürlich auch wieder ein gefährliches Spiel wenn du als erstes die allerstärkste AI entwickelt hast.

00:32:00: Diese könnte und die dann aber so gut entwickelt ist, dass sie safe ist und die besten Intention hat.

00:32:06: Könnte diese möglicherweise alles andere in Schach halten?

00:32:09: Das sind viele theoretische Konstrukte über die nachgedacht wird von vielen sehr schlauen Menschen.

00:32:17: Ich glaube wir müssen an ganz vielen Ansätzen dort arbeiten diese Erforschen glaube ich einfach, dass es wichtig ist das in dieser Phase wo wir jetzt sind.

00:32:28: Einfach insgesamt viel mehr Brainpower und viel mehr Ressourcen in die Erforschung und möglicherweise Mitighierungen dieser Risiken erfolgt.

00:32:38: Insbesondere auch weil AI natürlich ein Katalys sein kann andere große technologische Risiken wie beispielsweise Biotechnologie, wie beispielsweise die Entwicklung von neuen schädlichen Bio-Waffen oder chemischen Waffen oder anderen Themen zu befördern.

00:32:56: Und insofern

00:32:57: gibt es

00:32:58: da einfach weitere Schadenspotenziale.

00:33:00: und ja, die Grundrichtung ist leider je weiter der technologische Fortschritt auf der Erde hervorgekehrt.

00:33:10: das geht natürlich mit sehr vielen Chancen einher.

00:33:13: erst mal deswegen machen wir das aber eben dann auch mit zunehmend großen Risiken.

00:33:19: Das ist letzten Endes ich sage mal etwas wo, glaube ich noch nicht genügend Sensibilisierung bis jetzt in der Welt für besteht.

00:33:30: Und ich finde Jan zwei der Denkrichtungen die du gerade angesprochen hast wenn man über mögliche Lösungs-Szenarien nachdenkt zeigen auch was für schwierige Abwägungen da dann mit einhergehen.

00:33:47: und diesen Überlegung also Du hast kurz erwähnt die Möglichkeit na man könnte vielleicht an der physischen Welt ansetzen und die Computing Power, also die Rechenleistung oder sagen wir Supercomputer einfach ziemlich streng regulieren, die man braucht um so eine KI zu bauen.

00:34:02: Und da gehen natürlich bei vielen Leuten auch zurecht finde ich auch Alarmglocken an und sie sagen oh das klingt nach ziemlich viel Machtkonzentration.

00:34:10: wenn dann sozusagen irgendeine zentrale Stelle überwacht wer hat die rechen Leistungen kann sich überhaupt dieses tolle Tool KI bauen?

00:34:20: ähnliche Alarmleuchten gehen wahrscheinlich bei Leuten an wenn sie hören, ah ja man baut dann einfach die eine super KI als erste die dann alle anderen in Schach hält.

00:34:32: Das bietet natürlich auch richtig viel Raum für ganz andere dystopische Szenarien und ich glaube das macht so ziemlich gut deutlich was da wenn es schlecht läuft für schwierige Entscheidungen auf uns zukommen.

00:34:51: und deshalb finde ich auch, dass es so wichtig ist, dass diese Themen jetzt in die Öffentlichkeit getragen werden.

00:34:57: Und unter demokratisch gewählte Repräsentantinnen und Repräzentanten und das eben mehr über solche Themen nachgedacht wird weil es am Ende wahrscheinlich vielleicht braucht es dann irgendeine Art von erhöhtem Sicherheitsfokus bei bestimmten Arten von KI.

00:35:14: aber dann ist eben wichtig im Zweifel Elon Musk irgendwie die Super KI gebaut hat oder irgendjemand anderes, sondern es ist ein gutes Governance System gibt und alle Leute, die davon betroffen werden eben irgendeine Art von Mitsprache auch haben.

00:35:30: Zumindest wäre das wünschenswert.

00:35:32: Ja ich glaube einfach dass das mit Fortschreiten der Fähigkeiten diese Fragen immer akuter werden.

00:35:39: Und du hast es eben Christoph schon erwähnt Die Unsicherheit macht es so schwierig damit umzugehen.

00:35:45: Das finde ich auch Und deshalb ist eine Sache, die ich oft sage in Gesprächen mit Medien oder Entscheidern und Entscheiderinnen.

00:35:54: Ich glaube, dass die richtige Einstellung eigentlich gegenüber allem was da kommen mag – mit KI ist Demut!

00:36:02: Also es gibt viele Leute, die auf LinkedIn oder Twitter oder in den Medien sich hinstellen und sagen so und so wird's kommen.

00:36:08: Und das müssen wir machen!

00:36:09: Das sind jetzt die drei Schritte und somit haben wir alles gelöst.

00:36:12: Ich glaube, die richtige Einstellung ist Demotiv.

00:36:14: Es gibt so viel, dass wir nicht wissen.

00:36:16: Alles was wir tun können, glaube ich, ist jetzt viel darüber nachdenken, was Szenarien sein können, viel miteinander ins Gespräch kommen und auf mögliche Lösungen arbeiten.

00:36:24: Jetzt seid ihr beide ja auch viel näher dran an diesem Thema als ich und wenn ihr keine Lösung habt, dann kann ich gar keine haben.

00:36:30: Ich finde nur man muss eben auch darauf aufpassen dass man sich bei alter Regulierung nicht der Chancen beschneidet, denn das darf man ja nicht vergessen, dass wir immer wieder sagen müssen es gibt einfach viele Chancene eben auch im Bereich Biotech, dass man viele Behandlungsmöglichkeiten oder schnellere Behandlungen findet

00:36:45: usw.,

00:36:46: also die Rechenkapazität zu begrenzen kann ja auch Chancenen vielleicht über den Tisch fallen lassen

00:36:51: Absolut.

00:36:51: Am Ende ist ja auch unser Aussage oder zumindest meine Sicht die Wahrscheinlichkeit der positiven Szenarien, die überwiegt aus meiner Sicht deutlich und es gibt sowieso keinen wirklich guten Weg jetzt AI zu stoppen hier.

00:37:08: Es wird sowieso nicht funktionieren – zu diesem Zeitpunkt definitiv nicht!

00:37:14: Insofern geht's darum sehr proaktiv mit sowohl den Chancen als auch den Risiken im Blick, das jetzt bestmöglich zu gestalten.

00:37:26: Und ich glaube nur darum kann es jetzt in dieser Phase gehen und je mehr Menschen sowohl die Chancen als auch die Risiken hinreichend verstehen und zu würdigen wissen umso besser letzten Endes die Wahrscheinlichkeit dass wir hinterher bei dem hoffentlich sehr positiven Outcomes landen.

00:37:50: Daniel, abschließend an dich die Frage, rausst du dir eine Prognose zu?

00:37:54: Wenn wir in einem Jahr widersprechen würden gar nicht was dann besprochen wird.

00:37:57: aber wie weit wäre man denn diesen Prozess schon bei der Regulierung?

00:38:01: also ich glaube nicht dass wir in einem Jahr das perfekte umfassende globale Abkommen haben dass das KI Entwicklung weltweit reguliert.

00:38:17: Ich kann mir vorstellen, dass wir in einem Jahr vielleicht noch mal ein verschärftes Bewusstsein haben für Handlungsbedarf der DAIS.

00:38:29: Das wird, glaube ich vor allem davon abhängen wie GPT-Five und die neue Generation der stärksten Modelle aussehen wird wann sie kommen wird wie die perform wird und wie Sie halt wahrgenommen werden von den Leuten.

00:38:43: aber wenn das Ja, das ist glaube ich eine Lehre wahrscheinlich aus den letzten anderthalb Jahren.

00:38:50: Dass Leute eben auch dafür eine gute Intuition haben, dass wenn sie ein neues Tool selbst ausprobieren und benutzen, dass die dann merken hier verschiebt sich jetzt gerade vielleicht was?

00:38:59: Und die letzte Generationen, die ich erst von paar Monaten ausprobiert habe, die konnte all das noch nicht so.

00:39:05: Wo geht's da eigentlich hin?

00:39:07: Also ich denke wir werden weiter sein aber noch nicht am Ziel wenn es sowas wie den finalen Zielpunkt überhaupt gibt bei dem Thema.

00:39:16: Ich kann mir gut vorstellen, dass auch wenn wir in einem der guten Szenarien landen in fünfzehn oder zwanzig oder fünfzwanzig Jahren das ist dann immer noch fortlaufende Herausforderungen mit KI geben wird die wahrscheinlich einfach nie richtig aufhören.

00:39:33: aber womöglich gibt es eine besonders kritische Phase dazwischen durch die wir heildurchkommen sind.

00:39:40: Ja noch an dich abschließend gefragt, wenn wir jetzt also du beschäftigst dich schon sehr lange mit diesen Risiken.

00:39:45: Für viele Hörer war es jetzt vielleicht auch mal ein etwas neuer Ausflug in dem Bereich der Chance-Risikoverhältnis im Bereich AI, weil wir jetzt sehr negativ waren und sehr viele Risiken besprochen haben.

00:39:54: Wie würdest Du das einschätzen für die Anleger?

00:39:58: Also aus Sicht der Anlegar glaube ich In den nächsten Jahren ist das Chance-risiko Verhältnis ja sehr positiv.

00:40:06: Wenn wir jetzt darauf gucken auf die Börse und darauf wie sich führende gut positionierte Tech-Unternehmen entwickeln.

00:40:15: Da glaube ich, das kann man ja auch aus der anderen Perspektive beobachten.

00:40:19: insofern ist sie auch für mich als Investor immer hilfreich wenn wir denken dass AI in der Lage ist so einen gewaltigen Einfluss im negativen wie positiven auf die Welt zu haben Wie könnte es dann sein?

00:40:33: Dass dies nicht zu gewaltigeren Entwicklungen an der Börsee führt?

00:40:37: also Es ist eigentlich undenkbar, dass eine Technologie die Welt so verändern kann.

00:40:44: Aber dies sich dann wenig in Börsenkursen niederschlecht.

00:40:48: Insofern wir sehen ja bereits den Vorgeschmack dessen was dort auf uns zukommen kann.

00:40:53: ich glaube aus einer Investmentperspektive muss man allerdings sagen es ist wirklich der Vorgeschmack deshalb dessen das wir hier sehen.

00:41:05: Auch dort sind wir noch ziemlich am Anfang.

00:41:08: Und ich glaube, auch dort wird sich eben mit fortschreitender Technologie und den Demonstrationen was diese dann alles kann, wird es sehr, sehr gewaltige Bewegungen geben.

00:41:19: Das ist dann sowohl bei einigen Unternehmen positiven als auch auf der disruptiven Seite im negativen.

00:41:27: Auch beispielsweise auf den Case Duolingo referenziert als ein Unternehmen, das wahrscheinlich einen AI Gewinner ist und dass sich auch sehr positiv.

00:41:36: dargestellt und wir haben in vielen Slides, die wir gezeigt haben auch mal Check aufgezeichnet ein anderes Bildungsunternehmen was bis jetzt eher als Verlierer wahrnimmt.

00:41:45: Und der Spread zwischen der Wertentwicklung dieser beiden Unternehmen aufgegangen ist irgendwo etwa wahrscheinlich etwa ten X innerhalb von achtzehn Monaten seit wir das einmal aufgezeigt hatten und ich glaube Das ist etwas dass wir an der Börse auch sehen werden.

00:42:00: Wir werden auch die natürlich irgendwo die Realität widerspiegelt, viel mehr Extremphänomene von sowohl beeindruckenden Kursanstiegen als auch Kursverlusten sehen.

00:42:13: Und das ist insofern ein synergetischer Nebeneffekt dessen sich mit den Risiken zu beschäftigen ist immer das was wiederum an Gedanken dann wiederum zurückfließt in dass was letzten Endes unsere tägliche Arbeit ist und das sind die Investments und das Profitieren von den Chancen.

00:42:32: Und soweit es geht, vermeiden von

00:42:35: Investmentrisiken.".

00:42:37: Und nur wenn man die Risiken kennt, kann man so ein Investmentcase eben richtig einschätzen?

00:42:40: Darum ging es uns in dieser Ausgabe, die auch mit überlänger ausnahmsweise mal stattgefunden hat!

00:42:45: Ich danke euch Daniel und Jan für die Einschätzungen.

00:42:48: Sehr gerne.

00:42:48: Danke

00:42:50: Und liebe Hörer, wie immer der Hinweis.

00:42:52: Gibt es von euch Themenwünsche?

00:42:53: Gibt's Kritik, Hinweise, Fragen oder Feedback?

00:42:56: schickt uns gerne eine E-Mail an beckersminusbetsatfinanceforward.com.

00:43:00: Die E-Meinadresse findet ihr in den Show Notes.

00:43:02: Ihr könnt uns aber auch bei Spotify direkt ein Kommentar zur Folge durchschicken.

00:43:07: und wenn du schon bei Spotify oder dem Podcast Player eurer Wahl seid dann lass uns doch bitte auch eine positive Bewertung da und abonniert uns denn das hilft uns ebenfalls sehr.

00:43:16: Danke euch fürs zuhören bis zum nächsten Mal.

00:43:18: Vielen Dank.

00:43:31: Ciao!