Datenauswertung von grossen Mengen Daten
#1
Hallo zusammen

Ich stehe vor einer Schwierigkeit die mir viel Kopfzerbrechen bereitet.

Ich habe vor mir ein Datensatz, welches sehr gross ist. Sprich über eine Million Zeilen. Da wohl die Maximalanzahl an Zeilen schon verbraucht wurde, wurden die restlichen Daten auf seperate Arbeitsblätter verteilt. Insgesamt hat das File somit 3 Arbeitsblätter. Mich interessiert eigentlich nur 1-2 Spalten. Dachte ich kopier die raus in ein seperates File. Denn jegliche Prozesse dauern somit sehr lange und hängt sich immer auf.

Meine Aufgabe ist nur diese 1-2 Spalten mit einer Liste von mir abzugleichen, ob beide dieselben Inhalte haben. Aber aufgrund der Datenmenge verzögert sich eine an sich einfache Aufgabe. 

Könnt ihr mir helfen wie ich das trotzdem irgendwie effizient schaffen kann ohne dass mein Laptop abstürtzt/Excel sich aufhängt?

Vielen herzlichen Dank.
Top
#2
Hallöchen,

falls Formeln drin sind, stelle die Berechnung im Excel vor dem Öffnen auf manuell.
Kopiere zur Reduzierung nicht gleich die Daten aus einer Datei in eine zweite. Mach eine Kopie der Datei und Lösche in der Kopie die nicht benötigten Daten.

Wen die Daten sinnvoll sortierbar oder gruppierbar sind, dann mach ggf. mehrere Kopien, eine für den Anfangsbuchstaben A, eine für B usw. oder wie auch immer das eintalbar ist und vergleich dann diese Daten miteinander.
.      \\\|///      Hoffe, geholfen zu haben.
       ( ô ô )      Grüße, André aus G in T  
  ooO-(_)-Ooo    (Excel 97-2019+365)
Top
#3
Moin

Ich denke hier bietet sich PQ an.
Kommen die Daten aus einer externen Quelle oder hast du die 1 Mio. Zeilen von Hand eingetippt?
Wir sehen uns!
... Detlef

Meine Beiträge können Ironie oder Sarkasmus enthalten.

Top
#4
Die Daten kommen aus einer externen Quellen. Es wurde aus einer Datenbank ein Excel Auszug generiert.
Top
#5
Dann importiere die Daten aus der Access-Datenbank nach PQ und mache deine Prüfungen dort.
Wir sehen uns!
... Detlef

Meine Beiträge können Ironie oder Sarkasmus enthalten.

Top
#6
Was ist PQ und wie mache ich das?
Top
#7
Google-Suche.
Wir sehen uns!
... Detlef

Meine Beiträge können Ironie oder Sarkasmus enthalten.

Top
#8
Ich habe vor mir ein Datensatz

lautet grammatikalisch richtig

Ich habe vor mir einen Datensatz

und mit den richtigen Wörtern:

Ich habe hier Daten

denn ein Datensatz ist nur ein einzelner Satz (=Record) aus eben diesen Daten.
WIN/MSO schicken angeblich alle 5 Sekunden Deinen Screen heim zu Papa (recall-Klausel). 
Top
#9
LCohen schrieb:Ich habe vor mir ein Datensatz

lautet grammatikalisch richtig

Ich habe vor mir einen Datensatz

und mit den richtigen Wörtern:

Ich habe hier Daten

denn ein Datensatz ist nur ein einzelner Satz (=Record) aus eben diesen Daten.



Na, noch Restalkohol von gestern am Start und Bock gehabt, heute Morgen irgendetwas zu schreiben?
Wenn Du grammatikalische Nachhilfe geben möchtest, dann einfach mal im "Clever-Klugscheiß-Forum" anmelden Smile 
Top
#10
Das mit dem Restalkohol in Deinem LCohen-Zitat kommt nicht von mir. Also bitte richtig zitieren - oder besser gleich lassen, wenn Du der direkt Antwortende bist. Ist dann nämlich überflüssig, weil im Kontext. Und wenn nicht im Kontext: Bitte nie voll koten, ähm: fullquoten.

Klugscheißen ist ein beliebter Ausdruck derer, die es nur ohne klug- können.
WIN/MSO schicken angeblich alle 5 Sekunden Deinen Screen heim zu Papa (recall-Klausel). 
Top


Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste