IT Wissen @me

Heute hatte ich mal wieder Zeit einen neuen Blog Beitrag zu schreiben. Ich möchte euch mehr über die NoSQL (Not Only SQL) Welt zeigen. Habt ihr euch schon mal gefragt, wie Facebook ihre Big Data speichert ? Wie Amazon ihre Produkte und Einkäufe handelt ? Wie die Google Suche durch mehrere tausend Terrabyte Daten joined – Und im Millisekunden Bereich Ergebnisse liefert ? Mit einer standard relationalen Datenbank ist dies schon lange nicht mehr möglich. Das NoSQL Prinzip ist im Grunde simpel. Diese Datenspeicher benötigen keine festgelegten Tabellenschemata und versuchen, Joins zu vermeiden. Noch dazu skalieren Sie dabei horizontal.

Meine favourite NoSQL Database ist Apache Cassandra. Heute läuft diese Datenbank in mehreren verteilten Facebook Data Centers verteilt in einem Cluster mit über 50000 tausend Servern und ist performant. Der große Vorteil von Apache Cassandra ist

• Eignung für schnelle verteilte und horizontale Skalierung
• keine Single Point of Failures
• Automatische Replikation zwischen Data Centers
• schemafrei oder nur schwache Schemarestriktionen
• Key-Value Stores
• Open Source
• einfache Datenreplikation zur Unterstützung der verteilten Architektur
• direkte REST API – JSON, XML auf Keyspaces (Datenbanken), Column Familys (Tables)

Apache Cassandra hat unterm Strich gegenüber einer relationalen Datenbank like MySQL oder Oracle einen Geschwindigkeitszuwachs von etwa Faktor 1.000 (überprüft auf meinem Server durch 1TB free GEO location data auf einem Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz, 4 Cores und 16 Gigbyte RAM) !

MySQL vs. Cassandra

Was sollen Unternehmen machen, welche einen enormen Datenzuwachs redundant stand halten müssen ? Was sollen Unternehmen machen, welche direkt mehrere Gigabyte/Terrabyte/Petabyte Daten durch analytische Algorithmen und Funktionen analysieren wollen?

Mir würden zu diesem Use Case 3 intelligent Wege einfallen:

• Direktes Data + Type Mapping mit MariaDB (MySQL Nachfolger – down kompatibel) zum Cassandra Cluster
  Die Keyspaces (=Datenbanken in einem NoSQL System) können als Tabelle (View) in SQL gemappt werden und man kann in Real-Time zwischen den Daten joinen und SQL Funktionen anwenden. Verwendung Cassandra als Storage Engine.
• Direkte Analyse der Daten durch Apache Hadoop, Hive mit direktem Zugriff auf das Cassandra Cluster
• Kopierung der Daten in eine relationale Datenbank MySQL, Oracle (nicht wirklich sinnvoll!)

Die schnellste Möglichekeit Cronjobs auszuführen, welche zu einer bestimmten Uhrzeit angetriggert werden sollen ist Crontab. Boardmittel von Linux Debian.

Einfach per Terminal auf Server einloggen und per “crontab -e” die Cronjobs eingeben. –> Fertig.!

Da ich sowieso schon mal mehr wissen wollte, wie IPv6 funktioniert habe ich mir eine kleine Präsentation gebastelt. Vielleicht kann ich diese ja nochmal irgendwo gebrauchen. Ganz unten gibt es die kompletten Slides als PDF zum Download.

[Ganze IPv6 Präsentation & weitere Folien als PDF Download]

Hier die ersten paar Slides eines neuen Projektes von mir namens WonderMessage.com

Kurzbeschreibung:

• „Anonyme Kommunikation auf gleicher Interessensbasis
• „User I schreibt eine „Flaschenpost“ Nachricht per Smartphone/Browser
• „Standortbezogen (GEO-Location)
• „Auto-/Auswahl/Erstellung einer geeigneten Content bezogenen Kategorie
• „Zuweisung Maximale Reichweite z.B. 50 km
• „User II:
• kann eine „Flaschenpost“ Nachricht standortbezogen lesen, beantworten oder schreiben
• „Komplette Darstellung auf einer Landkarte

Die Neue Suchmaschine ab Mitte 2014 heißt Facebook Search (Social Graph Engine). Es kann nach sozialen Kontakten, Orten, Plätze, Gemeinschaften usw. gesucht werden. Außerdem wird Facebook das Ziel einer “Social Buy Strategy”  folgen. Mittlerweile zählt das soziale Netzwerk bereits über eine Milliarde Nutzer weltweit und kann damit eine enorme Reichweite vorweisen. Mit einer transaktionalen Suche könnte Facebook dabei in Konkurrenz zu allen E-Commerce Websites treten. Facebook besitzt mehrere Milliarden potentielle online Kunden. Somit wird Facebook bald einer der größten Konkurrenten zu Ebay und Amazon. Facebook wird im Q1 2013 Partnerschaften mit mehreren Distributoren suchen. Facebook baut aktuell seine Partnerschaft mit Microsoft aus. Deswegen ist Facebook auch von der Google Maps Integration zu einer Bing Maps Integration umgeswitcht. Im so genannten Social Graph wird es möglich sein nach allen Informationen zu suchen, welche wir als User des Social Networks zusammengetragen haben. Dies kann, muss aber kein Vorteil für uns sein.

Schon ein folgender Satz in Facebook Search…

Personen, die gerne Fahrrad fahren und in Germany, Bayern wohnen

…liefert mehrere Millionen Suchergebnisse (Social Connections).

Erste Entwickler Bilder des sozialen Netzwerkes Solife.me sind nun verfügbar.
Solife.me bietet eine völlig neue Art der Kommunikation. (Weitere Informationen dürfen aktuell noch nicht veröffentlicht werden).

Solife’s Vision

Solife.ME – Communication easier and smarter!

• Visual Communication
• Help Functions for Real Life
• Real Time Media Sharing

read more on Solife.me

Here we go on

2013

A NEW SOCIAL NETWORK !

Wer kennt das Problem nicht, man hat sehr viele Daten die per FTP auf den Webserver übertragen werden müssen und das dauert meistens sehr lange. Wer einen eigenen Linux Server besitzt, hat die Möglichkeit einen kleinen Trick zu verwenden. So ist es ganz einfach möglich Dateien/Ordner in Sekunden/Minuten (je nach Größe) zu übertragen. Voraussetzung ist ein SSH Zugang zum FTP Ordner.

1. Verpacken der Daten als .tar Archiv auf dem lokalen Computer z.B. mit 7zip.

2. Per FTP das gerade erstellte .tar Archiv in das Root Verzeichnis hochladen.

3. Mit SSH auf den Linux Server verbinden und folgendes zum Entpacken ausführen:

tar xvf archiv.tar

Nun sollten alle vorher verpackten Daten im Root Verzeichnis verfügbar sein!

Zusammenfassung:

Daten verpacken:

tar cvf archiv.tar archiv

Daten entpacken:

tar xvf archiv.tar

Diese Befehle sind für mich sehr wichtig geworden. *smile*

Heute ist die sichere Übertragung von Daten sehr wichtig. Darum setzen immer mehr Administratoren auf die SSL (Secure Sockets Layer) Verschlüsselung. Solche Zertifikate kann muss man gewöhnlich bei CA Zertifizierungsstellen zum Beispiel thawte.de oder verisign.de erwerben. Doch ein normaler freetime Programmierer kann sich keine Ausgaben von ca. 200 Euro im Monat leisten. Um trotzdem nicht auf eine solche Verschlüsselung verzichten zu müssen, gibt es die Möglichkeit das Zertifikat selbst zu signieren. Der Nachteil daran ist, dass der Browser erst eine Fehlermeldung ausgibt, die erst bestätigt werden muss. Im folgenden habe ich eine Anleitung verfasst, die euch hilft ein Server Zertifikat für eure Webseite zu erstellen.

SSL Key und Signing Request + Zerfitikat

(weiterlesen …)

Seit einer Woche bin ich im Besitz einer eigenen Haustelefonnummer, da ich sonst immer den Festnetzanschluss meiner Eltern mitbenutzt habe. Bin aber natürlich weiterhin über den alten erreichbar. Da wir sowieso vor hatten über das Internet zu telefonieren, und eine zusätzliche Rufnummer nur 0,79 € pro Monat kostet, hab ich mir eine eigene Nummer spendiert. Die komplette Telefonie läuft über Voice over IP (VoIP, Internettelefonie). Hierbei sollte eine ständige Internet Verbindung bestehen und keine Zwangstrennung nach ca. 24h bestehen. Um Internetcalls durführen zu können benötigt man einen SIP Provider. Dieser stellt die Übertragung durch das “Internet” zu einem Internet/Telefongateway her, der den Telefonanruf ins Festnetz durchschaltet.

Mir hat der Provider Easybell.de sehr überzeugt, da dieser.:

• die Rufnummer sehr schnell durchschaltet
• nur ein Tag benötigt wird, bis der Aktivierungscode per Post zugesand wird
• dieser sehr günstige Preise bietet
• man FAX Nachrichten an seine Email weiterleiten kann
• einen kostenloser Anrufbeantworter
• bis 500 Festnetz-Minuten 2,99 €/ Monat, darüber 5,99 € (Flatrate)

(weiterlesen …)