La meilleure solution NoSQL pour la journalisation
Je travaille sur un projet qui enregistre beaucoup d'informations sur les téléspectateurs à partir d'une plate-forme de streaming en ligne. Le problème aujourd'hui avec la solution MySQL est qu'elle est trop lente à interroger, etc. Même avec la mise à l'échelle et un meilleur réglage des performances, cela fonctionnera maintenant car il y a juste beaucoup de données en temps réel qui écrivent/lisent.
Quelle sera une bonne(la meilleure) solution NoSQL pour moi?
Extra:
- Nous utilisons actuellement également Amazon Web services, où nous stockons nos données.
- Avec l'API Java, et une solution open source est préférable.
- Orienté objet.
3 answers
Pas exactement une solution NoSQL , mais avez-vous regardé Scribe (de Facebook)? Vous pouvez utiliser http://code.google.com/p/scribe-log4j / pour écrire depuis Java
Je passerais un peu de temps à regarder ces options:
Toutes ces solutions ont leurs avantages et leurs inconvénients, mais leur wikis doit fournir suffisamment d'informations pour vous aider à démarrer.
Le premier défi que vous pourriez avoir est de savoir comment collecter une énorme quantité de données de manière fiable avec une facilité de gestion. Il existe une implémentation de collecteur de journaux open source telle que syslog, Fluentd, Scribe , et Flume :)
Le gros problème est de savoir comment stocker et traiter les données. Comme vous l'avez souligné, l'utilisation de la solution NoSQL fonctionne très bien, mais vous devez choisir parmi elles en fonction de votre volume de données.
Au début, vous pouvez utiliserMongoDB pour stocker tous les vos données, mais à un moment donné, vous finissez par utiliser Apache Hadoop pour concevoir une architecture massivement évolutive.
Le point ici est que vous devriez avoir une couche de journalisation distribuée qui fait abstraction du backend de stockage et choisir la bonne solution NoSQL pour le volume de données.
Voici quelques liens pour mettre les journaux Apache dans MongoDB, ou Hadoop HDFS par Fluentd.