Ich seh das etwas anders als die Kollegen oben. Der Aufwand lohnt sich meiner Erfahrung nach erst ab einer gewissen Kommentarmenge – unter 200-300 echten Kommentaren ist das Ergebnis meistens dünn. Da lieber die Zeit in was anderes stecken.

Wenn du aber wirklich viele hast: Ich hab gute Erfahrungen damit gemacht, die Kommentare nach Themenbereich zu trennen bevor ich sie analysiere. Also nicht einfach alle in einen Topf, sondern zuerst clustern (das kann die KI auch) und dann je Cluster auswerten. Gibt viel präzisere Ergebnisse.

Tool-seitig bin ich bei Claude geblieben weil der mit langen Texten besser umgeht als andere Modelle die ich getestet hab.

Hab das vor einem Monat mal ausprobiert, einfach per Copy-Paste in ChatGPT. Ergebnis war okayisch, aber ich hatte das Gefühl dass viel hängen bleibt wenn der Kontext zu lang wird. Da verliert das Modell manchmal den Faden bei späteren Kommentaren.

Seitdem mach ichs in kleineren Batches wie Michael-Brandt schon sagt. 40-50 Stück maximal pro Durchlauf, dann zusammenfassen lassen. Bisschen mehr Arbeit aber die Qualität ist deutlich besser. Für A/B-Tests zwischen verschiedenen Content-Ansätzen die ich daraus ableite hab ich da auch schon nen Thread zu gesehen hier im Forum.

Guter Hinweis von RechtsFux67 zum Datenschutz – das wird viel zu oft vergessen. Wirklich wichtig.

Zum eigentlichen Thema: Ich mach das seit ca. einem halben Jahr und der größte Mehrwert für mich ist nicht die Themenanalyse sondern das Sentiment. Also: Sind die Kommentare eher frustriert, begeistert, verwirrt? Das sagt mir viel darüber ob mein Content das Versprechen hält das er im Titel macht. Wenn viele Kommentare Verwirrung zeigen obwohl der Artikel lang ist, liegt das Problem meistens in der Struktur, nicht im Umfang.

Ich nutze das hauptsächlich um herauszufinden welche Formulierungen meine Nutzer benutzen – nicht was Keyword-Tools sagen sondern wie echte Menschen das Thema beschreiben. Das fließt dann direkt in Überschriften und Einleitungen ein. Hat meinen Traffic tatsächlich messbar verbessert, glaube ich zumindest. Schwer zu isolieren.

Was ich nicht mache: Die KI-Zusammenfassung blind übernehmen. Immer nochmal selbst drüberschauen.