Hantera saknade data i en Java Data Analysis Application

C, C++, Pascal, Assembly, Raspberry, Java, Matlab, Python, BASIC, SQL, PHP, etc.
ramsew
Inlägg: 12
Blev medlem: 6 mars 2023, 07:00:45

Hantera saknade data i en Java Data Analysis Application

Inlägg av ramsew »

Jag arbetar på en Java-applikation för dataanalys och jag stöter på problem med saknade data i min datauppsättning. Vilka är de bästa metoderna för att effektivt hantera saknad data i ett Java-baserat dataanalysprojekt?

Här är ett förenklat exempel på vad jag försöker göra. Låt oss säga att jag har en CSV-fil som innehåller data och jag använder klassen java.util.Scanner för att läsa den:

Kod: Markera allt

import java.io.File;
import java.io.FileNotFoundException;
import java.util.Scanner;

public class DataAnalysisApp {
    public static void main(String[] args) {
        try {
            File dataFile = new File("data.csv");
            Scanner scanner = new Scanner(dataFile);

            while (scanner.hasNextLine()) {
                String line = scanner.nextLine();
                // Parse and analyze the data
                // ...
            }
            scanner.close();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
    }
}
Hur kan jag effektivt hantera ofullständiga eller saknade dataelement i CSV-filen i den här koden? Ska jag utelämna dessa poster, sätta platshållare i deras ställe eller prova en annan taktik? Jag försökte detta och tittade igenom flera artiklar om dataanalys och Java men kunde inte hitta svaret. Så kan du hjälpa mig att berätta vad de bästa Java-praxis är för att hantera saknad data i ett dataanalyssammanhang? All vägledning eller kodexempel skulle uppskattas mycket!
henkebenke
Inlägg: 514
Blev medlem: 31 maj 2003, 10:42:37
Ort: Helsingborg

Re: Hantera saknade data i en Java Data Analysis Application

Inlägg av henkebenke »

Nu var det 20 år sedan jag kodade Java. Men om du lägger en try där du läser nästa rad och en catch där du gör continue precis efter inuti while-loopen borde väl funka?
X-IL
EF Sponsor
Inlägg: 8181
Blev medlem: 3 december 2008, 07:47:20
Ort: Hallstahammar

Re: Hantera saknade data i en Java Data Analysis Application

Inlägg av X-IL »

Är nog en väldigt(för) generell fråga att svara på. Är data nånting där du kan förvänta dig vissa värden (eller inom vissa intervall) eller är det en kunddatabas där nån glömt att fylla i telefonnummer?
Kan deldata ge nånting värdefullt till applikationen => anpassa parsern att acceptera saknade fält, eventuellt genom att fylla dem med defaultvärden eller om det är rimligare, samma värde som förra datat hade
Kan deldata inte ge nånting => släng bort vid fail från parsningen och gå vidare.

Detta jag skrivit ovan har givetvis inte ett smack med JAVA att göra utan handlar mer om vilken taktik du ska välja. Du måste själv utarbeta ditt urval av giltigt data, det kanske är OK att anta att alla myror har sex ben även om nån glömt fylla i det, men det är troligen inte OK att nån har negativ lön i en analys av lönelistor.
Skriv svar