Set di dati strutturati a rilascio di Wikipedia e Kaggle per aiutare lo sviluppo dell’IA, contropiede

In una mossa in parte mirata a frenare lo scarico delle risorse causato dal raschiatura dei dati AI, la Wikimedia Foundation ha collaborato con noto per i dati di 461.000-per offrire una piattaforma di wikipedia. tramite i post ufficiali del blog da wikimedia enterprise e

L’iniziativa rappresenta uno sforzo per fornire un alternativo più efficiente e sanzionato come Ars Technica segnalato Il 15 aprile, ha contribuito a un aumento di quasi 50% nell’uso della larghezza di Wikimia. src=”https://winbuzzer.com/wp-content/uploads/2025/04/wikimedia-enterprise.jpg”>

Individuando la deformazione del server e l’accessibilità dei dati

La crescita esponenziale di modelli AI che richiede grandi dati ha un po’di pressione sul server come wikipedia . La raschiatura del web non strutturata da parte delle aziende di intelligenza artificiale cede l’infrastruttura di Wikimedia. Fornendo questo set di dati tramite il suo braccio commerciale, Wikimedia Enterprise, la fondazione offre un percorso diretto e leggibile a macchina per il contenuto.

Questo si basa sulla strategia esistente di Wikimedia Enterprise, che include già accordi di fornitura di dati con grandi clienti Google e l’archivio Internet Scienziati che frequentano la piattaforma.

all’interno del set di dati strutturato

proveniente dall’impresa Wikimedia (spiegata ulteriormente nella meta wiki faq ), il datataset si è sistemato in wikipedia contenuti di wikipedible joSon. JSON (notazione oggetto JavaScript) è un formato leggero di inter-scambio di dati che è facile per gli umani leggere e scrivere e facile da analizzare e generare le macchine, rendendolo ben adattato per pipeline ML.

Secondo Pagina del set di dati kaggle , la versione iniziale si concentra su elementi ad alta utilità. Ogni riga JSON rappresenta un articolo completo e include campi dettagliati in wikimedia enterprise dati di revisione , come il nome dell’articolo (titolo), identificativo (id), url, versione redatta e redazione di revisione) Entità principale di Wikidata QID, l’articolo Abstract (sezione Lead), una breve descrizione, collegamenti all’immagine principale, infobox analizzati e sezioni di articolo segmentate. La dimensione del set di dati è inferiore a 30 GB, con la pagina di Kaggle che lo elenca come circa 25 GB Zipp. Invece degli sviluppatori che devono raschiare e analizzare il testo di articoli grezzi, che può essere complesso e incoerente, il set di dati fornisce”dati puliti”, pronti per attività come formazione modello, benchmarking, allineamento e perfezionamento. I dati della Wikimedia Foundation. In linea con i principi di Wikipedia, il contenuto testuale è fornito in licenze aperte-principalmente Creative Commons Attribution-Share-Alike 4.0 (CC di Sa-Sa 4.0) e il Licenza di documentazione gratuita GNU (gfdl), con alcune potenziali eccezioni dettagliate in le condizioni d’uso di Wikimedia .

Queste licenze generalmente consentono il riutilizzo e la modifica fintanto che viene fornita l’attribuzione e qualsiasi opere derivata è condivisa in termini simili. Wikimedia Enterprise invita gli utenti a fornire feedback su questa versione iniziale tramite il set di dati di Kaggle href=”https://meta.wikimedia.org/wiki/talk:wikimedia_enterprise”target=”_ blank”> meta wiki talk page Per aiutare a guidare lo sviluppo futuro e la potenziale inclusione di più elementi di dati.