Hallo zusammen,
ich baue gerade eine größere Affiliate-Site auf und stoße immer häufiger an die API-Limits der verschiedenen Netzwerke. Bei Amazon sind es 1 Request pro Sekunde, bei anderen Partnerprogrammen teilweise noch weniger.
Jetzt im Sommer will ich eigentlich richtig Gas geben und mehrere Projekte parallel hochziehen, aber die API-Beschränkungen bremsen mich total aus. Wenn ich Produktdaten für 500+ Artikel ziehen will, dauert das ewig und teilweise bekomme ich dann noch 429-Fehler.
Habt ihr Erfahrungen mit effizientem API-Management? Nutzt ihr Caching-Strategien oder Queue-Systeme? Oder gibt es vielleicht Drittanbieter-Services, die mehrere APIs bündeln und die Limits besser verwalten?
Bin für jeden Tipp dankbar, denn so komme ich nicht wirklich voran mit meinen Sommerprojekten.
Gruß
Stefan
Hi Stefan,
kenne das Problem gut! Bei größeren Projekten kommst du um ein vernünftiges Queue-System nicht rum. Ich nutze Redis mit einem einfachen PHP-Worker, der die API-Calls zeitgesteuert abarbeitet.
Für Amazon API hab ich gute Erfahrungen mit 0,9 Sekunden Pause zwischen Requests gemacht - gibt etwas Puffer. Wichtig ist auch, die Daten intelligent zu cachen. Produktinfos ändern sich nicht stündlich, da reicht oft ein Update pro Tag.
Bei mehreren Netzwerken parallel würde ich separate Worker laufen lassen, dann blockieren sie sich nicht gegenseitig. Und vergiss nicht die Fehlerbehandlung - bei 429ern exponential backoff verwenden.
Falls du viel Traffic hast, könntest du auch über eine Paid API bei manchen Anbietern nachdenken. Die haben oft höhere Limits.