Hmm, also i7 sagt nicht wirklich viel aus. da liegen schon Welten zwischen den Prozessoren von der Leistung her. Die GTX 650 hat in den Benschmarktests zwar eher bescheiden abgeschnitten, allerdings wird die meiner Meinung nach für solche Berechnungen so gut wie gar nicht verwendet. Kannst ja mal in den Settings OpenGL ganz abschalten und schauen ob sich was an der Geschwindigkeit ändert. 16GB Ram sollten, wenn du nicht gerade den billigsten genommen hast, eigentlich reichen. Ich vermute DDR3, oder?
Was ich allerdings als erstes versuchen würde, die Qualität von X-Frog runterzuregeln und erst beim Rendern die finalen Einstellungen hochdrehen. Kenne X-Frog nicht, allerdings wenn es so ähnlich arbeitet wie die Paint Tools in Maya, dann können Pflanzen zum Arbeiten erstmal als simple Plane bestehend aus einem Polygon im Editor dargestellt werden, beim Rendern aber volle Qualität haben. Bzw. dann Splines anzeigen und die Polygone dann beim Rendern