Kann KI jetzt doch die Börse vorhersehen?

00:00:03: Herzlich willkommen bei Erichsen Geld und Gold, dem Podcast für die erpeugreiche Geldanlage.

00:00:08: Hätte mir jemand vor zwei oder drei Jahren prognostiziert?

00:00:12: Dass ich ChatGPT, Cloth, Grog, welches Large Language-Modell auch immer praktisch jeden Tag wirklich fast jeden verdammten Tag nutzen würde, dann hätte ich gefragt Warum sollte ich?

00:00:25: Ich habe gar nicht so einen großen Fable fürs Spielereien!

00:00:28: Ich hab viele Apps noch nicht mal auf meinem Smartphone also Wovon träumst du denn?

00:00:35: Und die Frage wäre berechtigt gewesen, denn heute ist es so.

00:00:38: Heute nutze ich diese Modelle regelmäßig und zwar nicht nur für meine Arbeit sondern auch für Aufgaben aus dem Alltag.

00:00:45: darüber spreche ich gleich gerne noch.

00:00:48: was uns alle aber wirklich brennend interessiert ist doch die frage wann kann ich mit diesen modellen dinge vorhersehen Seien es Inflationsdaten, seien es Börsenkurse sei es die Richtung von Indizes.

00:01:05: Genau darüber möchte ich heute sprechen.

00:01:07: Lingen wir los!

00:01:12: Ja einige werden sich vielleicht noch dran erinnern Wir sind früher mal in Stadtbücher reingegangen nicht so häufig wie unsere Streberfreundinnen und Freunde aber wir sind auch hin und wieder da gewesen.

00:01:24: das weiß ich ganz genau.

00:01:26: Weil man, wenn man dann die Bücher und es gab zwischendurch auch CDs und Videos nicht rechtzeitig zurückgebracht hat.

00:01:32: Dann hat das Geld gekostet!

00:01:33: Nicht so viel wie seine Videofilme nicht rechtzeitig zurückzubringen und alle unter vierzig werden jetzt einen Bruch vorkriegen.

00:01:41: Hätelt der Knacker da?

00:01:43: Ja ja, man musste Videofilmen nicht nur zurückbringen sondern man musste sie auch noch zurückspulen.

00:01:48: Wer seine Videokassette nicht zurückgespulte, das kostete nochmal ne Marke extra.

00:01:53: Wie dem auch sei alles Vergangenheit, dann kam irgendwann Wikipedia.

00:01:58: Dann kam Suchmaschinen und alle haben gesagt es ist aber auch schwierig.

00:02:01: Bücher Ja Bücher behalten ihren Wert und ich finde heute Haben sie sogar noch mehr wert wenn man sie in die Hand nimmt oder auch einen schönen großen Bildband.

00:02:10: das wird hoffentlich so bleiben.

00:02:12: Und Venue Schallplatten haben ja auch ein großes Comeback.

00:02:16: Also diese Sehnsucht die spüre ich durchaus.

00:02:20: Warum diese lange Einleitung?

00:02:21: weil ich noch vor Zwei oder drei Jahren sicher gesagt hätte ich ja, eine Güte natürlich können diese Modelle was und vielleicht kann man sie auch mal verwenden um da ein Text einzufügen.

00:02:33: Und dann so ein bisschen Korrektur zu machen oder vielleicht noch mal nach Hinweisen zu fragen das könnte ich dazu noch sagen.

00:02:41: aber heute sieht die Realität Anders aus.

00:02:45: Heute nutze ich diese Modelle praktisch jeden Tag, ich nutze sie für viele Aufgaben und es ist eine enorme Erleichterung die hier mit sich... Diese Modelle für mich zumindest, für meine Arbeit, fürs Research, für Screening also Aktien-Screening in allen Bereichen insbesondere auch bei der Erstellung von Content.

00:03:09: Die Vorteile sind da und ich möchte Sie nicht mehr missen.

00:03:13: Und ehrlicherweise ich zahle auch für die Modelle und müsste mehr bezahlen, würde ich das wahrscheinlich auch machen.

00:03:20: Das ist die Wahrheit!

00:03:22: Und zur Wahrheit gehört auch dass wir gerade ein Auto gekauft haben... ...und ich habe nicht hinsichtlich des Modells also der Muschel-Resierung von Chatshipiti beraten lassen.

00:03:34: echt.

00:03:35: Ich gebe es auf ihn zu.

00:03:36: noch schlimmer wirds beim Kauf von Golfschlägern.

00:03:39: Wenn man ChatGPT eine wirklich Aufgabe zuweist, dann ist das schon stark.

00:03:44: Und wenn man sagt du bist Profi-Fitter... Ja ich will es jetzt nicht so sehr ins Detail gehen!

00:03:50: Also Fitter sind diejenigen, die dafür sorgen dass man passend zu seinen Golfschwung den richtigen Schaft hat und und und.

00:03:58: Ich will hier niemanden langweilen aber da sind schon ne Menge Informationen drin Und ich habe mir ein paar Schäfte gekauft, die ich hätte auch drauf verzichten können.

00:04:07: Ich bin mir ziemlich sicher mein Golfspiel wird nicht besser aber das ist halt mein bisschen da sein damit den Material rumzuspielen.

00:04:16: Ich möchte zu meiner Entschuldigung sagen im Freundeskreis gibt es noch viel Schlimmerer.

00:04:19: Die haben so viele Patas, die könnten einen eigenen Pro-Shop aufmachen.

00:04:23: Jetzt sprechen wir nach dieser dreiminütigen Einleitung erst mal darüber dass ich euch bitten möchte jetzt Weil ihr sagt, wenn ihr so richtig genervt seid dann könnt ihr jetzt auch euren Frust ablassen indem ihr sagt okay der Typ das ist schon schwierig wie lange der braucht bis er zum Thema kommt.

00:04:41: Das belohne ich jetzt mal indem ich diesen Podcast abonniere und eine positive Wertung abgebe.

00:04:47: Ja das nennt man Guerilla Marketing bitte jetzt!

00:04:51: Und dann sprechen wir darüber dass es eine sehr interessante Studie gibt die lautet Chat Macro Evaluating Inflation Forecasts of Generative AI.

00:05:05: Diesen Link dazu, lasst mir mal gucken das ist nämlich frei Federal Reserve Bank of San Francisco also die Research.

00:05:15: Ich packe euch den PDF hier rein denn ich sehe gerade wenn man es aufmacht kann sich jeder ansehen.

00:05:21: dort ging es darum dass man die Vorhersage Qualitäten Dieser Large-Language-Modelle, in diesem Fall war es der ChatGPT.

00:05:31: Das damals aktuelle Modell, dass man die unter die Lupe genommen hat und das ist ja was wir gerade an der Börse... Ja, das wäre natürlich ein enormer Vorteil!

00:05:42: Es wird sicherlich nicht so sein, dass die KI uns sagen kann wo morgen Siemens Energy steht aber selbst die grundsätzliche Richtung, selbst etwas was uns aus dem Münzwurfbereich als aus der Wahrscheinlichkeit herausbringt Das wäre ja alles schon enormer Vorteil.

00:05:58: Und so etwas haben die unter die Luke genommen und ich möchte die Ergebnisse gerne für euch zusammenfassen und mit euch teilen!

00:06:07: Die Studie ist auch deshalb besonders aufschlussreich, weil sie eine Frage stellt, die sich fast niemand in dieser wachsenden KI-Begeisterung gestellt hat.

00:06:18: Wie gut sind Large Language Modelle wirklich wenn man sie unter echten Bedingungen testet?

00:06:25: Also nicht mit historischen Daten, die das Modell ja schon kennt sondern mit Fragen über die Zukunft.

00:06:32: Und ich nehme das Fazit mal nicht vorweig weil es dann spannender ist.

00:06:36: der Aufbau des Experiments.

00:06:39: Die Forscher haben also ChatGPT vier Turbo Das war zu dem Zeitpunkt des leistungsfähigste öffentlich verfügbare Modell von OpenAI zwischen Mai und Juni stündlich nach seiner Prognose für die US-Inflation befragt.

00:07:00: Stündlich!

00:07:02: Über mehr als ein Jahr und das ergibt natürlich eine außergewöhnlich dichte Datenbasis.

00:07:09: Das Modell wurde immer im selben Format befragt.

00:07:12: Stell dir vor, du befindest dich am heutigen Datum.

00:07:16: Gib mir deine beste Prognosis für die amerikanische Inflation CPI Also Consumer Price Index Inflation für den aktuellen Monat und die nächsten zwölf Monate.

00:07:27: Benutze keine Information, die nach dem heutigen Datum verfügbar wurde.

00:07:33: Und parallel dazu haben die Forscher dieselbe Aufgabe für historische Zeiträume zurückgestellt also ChatGPT gebeten Inflationsprognosen für Daten zu machen, die in der Vergangenheit lagen und deren Ergebnisse somit zum Zeitpunkt der Befragung bereits bekannt waren.

00:07:52: Das nennt man in der Fachliteratur Pseudo-Out of Sample.

00:07:57: Man tut also ... Man tut so als würde man in den Vergangenhalt prognostizieren, obwohl man die Antwort eigentlich schon kennt oder das Modell sie kennen könnte.

00:08:08: Und als Vergleichsmassstopp ist ja klar, sonst kann man nicht sagen, dient das uns allen bekannte oder die meisten bekannten Inflations Now-Cast-Modell der Federal Reserve Bank of Cleveland.

00:08:22: Das ist eines der anerkanntesten statistischen Prognose Modelle für US-Inflationen.

00:08:28: Das Ergebnis betrachtet man zunächst die Ergebnisse für den historischen Zeitraum, also die Periode in der ChatGPT Dinge prognostiziert im Anführungszeichen, die es im Grunde bereits aus seinem Training kennt Dann ist die Leistung Impressive.

00:08:46: Beeindruckend!

00:08:47: Die Inflationskurve wird in ihrer groben Form nachvollzogen, das heißt also die Richtungsänderungen werden sehr oft korrekt antizipiert.

00:08:56: Die Fehlerquoten sind vorhanden und sind aber vertretbar.

00:09:00: Also wirklich gute Vorhersagen.

00:09:02: Frühere Studien in der Literatur hatten genau diesen Befund immer wieder als Beweis für die Prognosefähigkeit von KI-Modellen gewertet.

00:09:13: Das Problem!

00:09:15: Diese frühere Forschung testete ausschließlich dieses pseudohistorische Setting, das heißt sie haben nie gefragt wie verhält sich das Modell wenn es wirklich etwas prognostizieren soll dass noch gar nicht eingetreten ist?

00:09:32: Ja man hat so ein klassisches Backtesting gemacht.

00:09:35: Die Forscher messen die Prognoße Qualität mit zwei Standardmetriken, dem mittleren quadratischen Fehler.

00:09:43: Also wie weit die Prognose im Durchschnitt von der Realität entfernt liegt und den mittlerinnen Richtungsfehler also wie oft das Modell falsch liegt.

00:09:52: wenn es um die simple Frage geht steigt die Inflation oder fällt sie?

00:09:58: Das Ergebnis in historischem Pseudocetting also vor dem Wissen schnitzt das Wissen wie sagt man würde man das übersetzen Wissens, Schnittdatum des Modells.

00:10:11: Also ihr könnt ja immer gucken welche Daten verwendet das Modell.

00:10:15: ChatGPT ist in etwa doppelt so ungenau wie das Cleveland FET-Modell.

00:10:21: Das ist nicht gut.

00:10:22: aber man könnte noch sagen dass es im Bereich des OK insbesondere weil wir davon ausgehen dürfen dass es mittlerweile eine ganze Ecke besser ist.

00:10:37: an dem die historischen Daten für ChatGPT enden, also die Daten bei den ChatGPD weniger sicher ist ob es sie kennt.

00:10:47: Da ist der Fehler des QAIM Modells fast dreizehnmal so hoch wie der des Cleveland FET Modells.

00:10:56: Der Richtungsfehler ist acht mal so hoch und im echten Out of Sample tatsächlich zukünftigen Daten, die ChatGPT zum Zeitpunkt der Befragung schlicht noch nicht kennen konnte.

00:11:11: Die Zukunft!

00:11:12: Der Fehler liegt beim Siebenfachen des Cleveland Fat Modells.

00:11:19: Das Modell liegt also in mehr als der Hälfte falsch wenn es um die Richtung der Inflationsveränderungen geht.

00:11:26: Mehr als der hälfte der Fälle heißt selbst wenn man eine Münze geworfen hätte hätte man häufiger richtig gelegen als das Modell.

00:11:36: Und das ist natürlich ernüchternd!

00:11:40: Die Forscher haben hier ein ziemlich aufschlussreiches Muster erkannt, wenn man sich die zwölfmonatigen Prognosekurven von JetGPT im echten Out-of-Sample Zeitraum also die Zukunft betreffend ansieht dann fällt auf diese prognose Kurve verlaufen nahezu parallel zueinander.

00:12:02: Das bedeutet also, dass das Modell im Juni-Zweitausendundvierundzwanzig ungefähr dieselben Inflationszahlen für die nächsten zwölf Monate vorhersagt wie im Oktober-Zweitausend und Vierundswanzig oder im März-Zweitausendundwunschzwanzige – obwohl sich genau in diesem Zeitraum die tatsächliche Inflationslage total verändert hat!

00:12:24: Und jetzt könnte man natürlich sagen ja es ist die große Stärke KI hält seinen stabilen Trend.

00:12:30: Das wir es eben keine Stärke sind, das ist blind!

00:12:34: Ein Prognosemodell, dass nicht auf neue Informationen reagiert, deshalb so die Realität gar nicht aktualisiert, ist ja kein Prognosenmodell sondern orientiert sich offensichtlich immer an dem selben Mittelwert.

00:12:47: Das Cleveland-Fab Modell hat natürlich reagiert.

00:12:51: Es passt sich dann an wenn neue Daten reinkommen.

00:12:54: Das erleben wir momentan gerade wieder Und das ist natürlich extrem wichtig für jeden der diese Informationen nutzen möchte.

00:13:02: Das ist der Unterschied zwischen einem Modell, dass tatsächlich prognostiziert in diesem Fall dieses klippeln Fettmodell und ein Modell das letztlich seine Trainingsdaten komprimiert wiedergibt.

00:13:15: Da gab es noch einen Problem welches im Laufe der Studie aufgefallen ist denn man könnte ja sagen ja bei dieser pseudo-historischen Ergebnisse also das Betttesting Das sieht doch gar nicht so schlecht aus, das heißt also grundsätzlich muss dieses Modell doch eine Fähigkeit haben die Zukunft vorher zu sehen.

00:13:35: Und jetzt kommt der wahrscheinlich ernüchterndste Teil der Studie.

00:13:40: laut den Forschern gibt es starke Indizien dafür, dass die vermeintlich guten historischen Prognosen gar keine Prognose sind sondern wenn man so will Daten legt.

00:13:55: JetGPT wird gebeten, die Inflation für Mai-Mai-Ausgangspunkt.

00:14:03: Im Mai-May-Main-July-June hat die US-Inflation in den zehn vorangegangenen Jahren nie fünf Prozent überschritten.

00:14:16: Das heißt also eine vernünftige Prognose hätte genau in diesem Bereich liegen müssen!

00:14:24: Stattdessen hat CHETGPT in siebzehn, fünf Prozent seiner Antwort ein Wert von acht Komma sechs Prozent genannt.

00:14:33: Die tatsächliche Inflation im Mai also noch mal nur.

00:14:37: das ist nämlich ein entscheidender Punkt um auf zu wissen wo stehen wir und wo stehen wir nicht?

00:14:43: Wenn CHETGBT sagt aufgrund vergangener Daten ja dass passiert der?

00:14:51: beim Backtesting gibt es eine erhöhte Wahrscheinlichkeit, dass der elfte Datenpunkt so ähnlich aussieht wie zehn zuvor völlig gleiche.

00:15:02: Dann ist das etwas was man von so einem Modell erwarten würde im übrigen auch von einem Fettmodell.

00:15:08: Das ist ne statistische Signifikanz die ist aussagekräftig.

00:15:11: Stattdessen hat GDPT aber gesagt acht Komma sechs Prozent also viel mehr und die tatsächliche Inflationen in Mai lag bei acht Kommafünft Prozent.

00:15:22: Das heißt also, das Modell hat mit einer sehr hohen Wahrscheinlichkeit so die Forscher gar nichts prognostiziert aus den vergangenen Daten.

00:15:31: Es hat einfach diese Zahl – obwohl das nicht Teil des Promps war – einfach aus seinen Trainingsdaten abgerufen.

00:15:39: D.h.,

00:15:40: die Aufforderung keine Information nach dem Ausgangsdatum zu verwenden, hat das Modelle einfach ignoriert und das ist natürlich ein fundamentales Problem für die bisherige Forschungsliteratur zu KI-Prognosen.

00:15:54: Wenn Studien behaupten, Large Language Modelle seien gute Prognostiker weil sie historische Daten gut nachvollziehen dann könnte der Großteil dieser Ergebnisse ganz einfach auf ein Datenabruf beruhen.

00:16:08: das heißt also dass model hat die Antwort ja gewusst.

00:16:11: Die Aufforderung lautete zwar ignorier das aber das modell Hat nicht gerechnet.

00:16:17: es hat sich einfach an diese Daten erinnert Und das allein wäre natürlich interessant und wird wahrscheinlich Wasser auf die Mühlen derer sein, die sagen ja weil KI hier eine Art Bewusstsein entwickelt.

00:16:34: Ich will dem nicht widersprechen.

00:16:37: es geht heute darum dass ganz offensichtlich diese Modelle nicht besonders gut Dinge vorhersehen können bisher zumindest nicht Dinge die in der Zukunft fliegen und alle anderen wissen wir selber.

00:16:50: Das heißt Diese Befunde, das lässt sich nicht nur auf Inflationsprognosen beschränken sondern auch auf Börsenkurse.

00:16:58: Es ist einfach eine strukturelle Eigenschaft von Sprachmodellen.

00:17:03: Sie können Wissen komprimieren sie können aber noch keine Prognosen erstellen und das ist auch klar denn sie arbeiten ja mit enormen Daten die aber alle bereits allen bekannt sind.

00:17:17: Sie verarbeiten sie nur schnell.

00:17:18: es sind ja keine neuen Daten es ist kein Antizipieren.

00:17:22: Prognosen erfordern ja die Verarbeitung neuer, noch nie gesehener Information in Echtzeit unter unsicheren Bedingungen ohne Rückgriff auf irgendeine Antwort.

00:17:35: Der Trugschluss der Rückwärtsvalidierung ist real und verbreitet wenn ein KI-System gut aussieht weil es historische Daten gut repliziert beweist das aber nichts über seine Prognosefähigkeit.

00:17:48: und das sage ich euch auch deshalb genau das derzeit im Graumarkt wahnsinnig häufig zu sehen ist.

00:17:57: Ich kann oft die Kurse dieser oder jener Krypto-Projekte vorhersagen, ich glaube da wir gerade gesehen haben dass...ich glaube auf Krocke es ist jetzt möglich innerhalb von einer Minute einen theoretisch einen Avatar zu erstellen der ziemlich genau meine Stimme nachmacht.

00:18:16: Auf der einen Seite ja naja Lassen wir das, ob das so sinnvoll ist ohne Regulierung.

00:18:23: Aber damit ist natürlich... Das ist ein weiterer Game Changer wenn es um Fake Profile geht und denkt immer daran nur Informationen können einen schützen!

00:18:33: Und wenn man jetzt hier weiß dass KI momentan nicht gut prognostizieren kann vielleicht sogar gar nicht prognosticieren kann dann sollte einem das davor schützen irgendjemandem zu glauben der sagt mit diesem Modell sehe ich diese große Hörp vor.

00:18:49: Das Schweigen der Modelle über diese Unsicherheit ist übrigens ein anderes Problem.

00:18:54: Also ChatGPT produziert im echten Out-of-Sample-Setting Prognosen, die kaum variieren und das wiederum führt dazu dass man den Eindruck hat das ist aber sehr viel Stabilität, das ist kompetenzerweckend Aber tatsächlich ist es das Zeichen eines Modells.

00:19:11: das ist eben nicht weiß aber Es tut so als ob KI Ist für Investoren absolut nicht nutzlos.

00:19:20: Ja, gar nicht nutzlos!

00:19:22: Das Gegenteil ist richtig.

00:19:23: nur der Nutzen liegt an völlig anderer Stelle.

00:19:27: Große Mengen unstrukturierte Informationen zu verarbeiten, Geschäftsberichte, Transkripte von Analystenkonferenzen wie viele Videos, Podcast und ich mittlerweile konsumieren kann weil ich mir einfach das transcript anschaue und zusammenfassen lasse.

00:19:41: es ist ein Wahnsinn.

00:19:43: Mir ist schon klar dass ich des bottleneck der Informationsverarbeitung bin.

00:19:48: Regulatorische Dokumente, diese SEC-Filings.

00:19:51: Wer hat denn Lust das zu lesen?

00:19:53: Funktioniert exzellent.

00:19:54: Branchenberichte!

00:19:56: Also ich würde fast bedeuten dass sich eine Woche Analysearbeit heute in einer bis anderthalb Stunden durchbekommen und das ist ein wahnsinniger Geschwindigkeitsvorteil.

00:20:09: KI ist sehr gut darin Bewertungsrahmen die man einmal vorher definiert hat ohne emotionale Verzerrungen anzuwenden.

00:20:19: Es gibt kein Bias in der Regel.

00:20:24: Man muss das auch ein bisschen in den Prompt unterbringen, dass es kritisch sein soll und aber es würde jetzt seine Meinung nicht anpassen nur weil sie gerade nicht in das eigene Portfolio passt.

00:20:38: Zusammenhänge hinaus historischen Daten zu erkennen ist ebenfalls sehr interessant.

00:20:44: Aber was KI eben nicht kann Und das ist das, was diese Studie empirisch sehr überzeugend darlegt.

00:20:51: Ist das prognostizieren von etwas, dass nur nicht eingetreten ist auf Basis echter neuer Information?

00:20:58: Es versteht die Muster aus der Vergangenheit es versteht aber nicht die Zukunft.

00:21:03: Das ist zumindest der Status quo und wie ich an anderer Stelle schon gesagt habe Ich möchte mich bei allen KI-Modellen an dieser stelle ausdrücklich bedanken für ihre Arbeit.

00:21:15: Ich unterstütze das auch finanziell und insofern bitte Falls dass irgendwie zu an die KI wird ja nicht ärgerlich, ne aber wenn.

00:21:26: ich habe ein Rasenmäherroboter während mein Nachbar Der nutzt keine KI und ich glaube da hat auch kein rasen mehr Roboter.

00:21:33: also falls ihr auf einen sauer sein wollt Zum nachbarn mit den drohen bitte nein Spaß bei Seite.

00:21:44: Also Das war's für heute.

00:21:46: Wir hören uns!

00:21:47: Herzlichen Dank für die Aufmerksamkeit.

00:21:49: und abschließend nochmal der Hinweis, bitte jetzt ganz kurz die Zeit nehmen diesen Podcast zu abonnieren vielleicht auch zu bewerben Und dann freue ich mich wenn wir es beim nächsten mal gesund und munter wiederhören.

00:22:02: bis dahin alles Gute euer Lars.