Ja stimmt, wertlos war echt überzogen. Das revidiere ich gerne. Ich glaube das liegt zum Teil an anderen Diskussionen, die ich darüber habe, um so eine harte Position zu kommunizieren. Ich zahle ja nach wie vor dafür und ich bin auch nicht 100% abgeneigt OpenAI die 200$/Monat in den Rachen zu werfen (ob ich es mache ist eher ein steuerliches Thema), primär wegen der 128k statt 32k Context Window.
Ich glaube ich setze den Nutzen auch sehr in Relation zu echten Kosten. In letzter Zeit gab es ja vor allem Fortschritt indem man die Kosten erhöht hat (GPT-4o eine Instanz, GPT-o1 mehrere Instanzen, deutlich höhere Kosten ohne dass sich die Leistung einer einzelnen Instanz wirklich geändert hat, das Problem wird nur mit Geld und Strom beworfen und das ist schon länger so).
Also mal nur Meinungen:
1. Ja. Das ist tendenziell ein Argument für die 200$/Monat weil wir sonst wieder Probleme mit der Anzahl der Token bekommen, zu mindestens mir fällt es häufig schwer etwas ausreichend einzudampfen. Und hätte ich mehr, wären es vermutlich auch wieder schnell zu wenig.
2. Bei Wissen ein großes Nein finde ich. Das Modell ist ja eigentlich dumb und erzählt dir alles, was gerade in den statistischen Pfad passt. Und hier finde ich die Kontrolle besonders schwer, wenn es Wissen ist, das man noch nicht hat und eigentlich komplett erarbeiten müsste um dann wieder das LLM zu kontrollieren. Bzw. mir ist auch aufgefallen, wie man je nach Formulierung des Prompts falsche oder richtige Antworten bekommen kann. Prompting in Ehren aber das finde ich wirklich inakzeptabel.
3. Wenn Kundenservice heißt, dass ein Mensch unterstützt wird und nicht ersetzt wird und der das gewissenhaft macht, ja. Für Übersetzung denke ich, dass eigene Ansätze besser wären als die General Purpose Dinger, die man jetzt so verwendet. Also das klassische DL/ANN Zeugs, das nur mit Übersetzungen trainiert wird. Aber so hat Google Translate ja auch schon vor 15 Jahren funktioniert meine ich. Content-Generierung halte ich persönlich für ganz schlimm weil es das Internet jetzt schon mit so viel minderwertigem Zeug überspült und ich habe die Sorge, dass das auch irgendwann wieder zu Trainingsmaterial für die LLMs wird (bin auch nicht von synthetischem Trainingsmaterial überzeugt)
4. Ist halt immer die Frage: Was mache ich mit dem Output? Ein negativer Output ist immer gut, ein Gegenbeispiel zu finden ist immer leichter als zu beweisen, dass es kein Gegenbeispiel gibt. Wenn das LLM sagt "Alles okay" dann habe ich ein Problem. Wenn mir ein "Nicht alles okay" reicht, auch easy, dann muss ich nur das kontrollieren. Wenn ich alles wissen will, was nicht okay ist, dann habe ich auch wieder ein Problem. Also gerade bei Recht/Medizin finde ich es schwierig. Ganz einfache Bildvergleiche haben vor langer Zeit schon besser Darmkrebs aus Endoskopie-Aufnahmen erkannt als viele Ärzte. Was machen wir dann bei einer "Alles gut" Info? Einfach darauf vertrauen? Meh, da ist es im Zweifel immer gegen die Technologie. Ein Mensch hat halt auch mehr Freiheiten ein Kind zu überfahren als es ein selbstfahrender Tesla hätte, das ist unser Dilemma.
5. Ich glaube wir brauchen die nächste Technologie. Wir hatten jetzt schon sehr lange Sommer und Winter bei der AI Entwicklung, es kommt etwas Neues, es gibt Fortschritt, alle sind begeistert und es flacht wieder ab. Die LLMs sind sicher besser als alles, was wir davor hatten, aber wir brauchen einfach einen neuen Ansatz, der die Lösungsfindung transparent&nachvollziehbar macht und deutlich weniger Daten/Energie braucht, da sind wir zur Zeit in einer Sackgasse. Für mich persönlich fühlt es sich nicht "gut genug" an.
Mache ich tatsächlich, wenn es mal geht.
Aber nur wenn es abgekapselt ist, bei der Kernarbeit keine Chance. Oder sobald die Themen nicht mehr Mainstream find, kommt schnell Blödsinn raus weil Trainingsdaten fehlen.
"Generiere mir React Component xy" -> geht gut. React ist sehr weit verbreitet, genauso wie Javascript. Ein Component ist abgekapselt.
Aber halt immer nur einen initialen Entwurf für etwas. Kommuniziere ich dann noch weitere Wünsche dann wird es schnell schlecht.
Trainiert mich darauf, mit dem ersten Prompt alles richtig zu bekommen.
