Showing posts with label Science. Show all posts
Showing posts with label Science. Show all posts

Sunday, April 3, 2016

What Is Data Mapping?

A Data Mapping Specification is a special type of data dictionary that shows how data from one information system maps to data from another information system. Creating a data mapping specification helps you and your project team avoid numerous potential issues, the kind that tend to surface late in development or during user acceptance testing and throw off project schedules, not to mention irritating your stakeholders.

Data Mapping Specifications are particularly valuable in the following types of projects:

1.) Data Migration – When source data is migrated to a new target data repository.
2.) Data Integration – When source data is sent to a target data repository on a regular basis and the two data sources do not share a common data model. The integration can happen hourly, daily, weekly, monthly, or even in real-time as is typically required for a system integration.

These might sound similar, and they are. The primary difference between the two is that after a data migration project is complete, the original source data is no longer used or maintained while after a data integration project is complete, both data sources are maintained.
 

The Key Elements of a Data Mapping Specification

Essentially a data mapping specification will analyze, on a field-by-field basis, how to move data from one system to another.  For example, if I were to orchestrate a data feed from the Bridging the Gap article repository to a search engine, I would want to map key attributes of the article, such as the title, category, and content to the attributes specified by the search engine. This analysis exercise would ensure that each piece of information ended up in the most appropriate place in the target data repository.

To achieve this goal, a Data Mapping Specification contains the following elements:

    List of attributes for the original source of data (often with additional information from the data dictionary)
    A corresponding (or “mapped”) list of attributes for the target data repository (again, with additional information from the data dictionary)
    Translation rules defining any data manipulation that needs to happen as information moves between the two sources, such as setting default values, combining fields, or mapping values

Data Mapping is About Resolving Potential Issues

Creating a Data Mapping Specification requires discovering and resolving potential issues prior to the data mapping being implemented. In data migrations and integrations, any number of differences between how data is stored can cause data to be lost or mis-represented.

For example, it may be that your source data has a text field and your target date repository uses an enumerated list. Without analyzing the data and providing logic for mapping the text values to the allowable list values (or initiating appropriate data clean-up efforts), you are likely to experience unexpected errors during the system migration.


Source: http://www.bridging-the-gap.com/what-is-data-mapping/

Tuesday, December 8, 2015

The World Of Data Science

Data Science is an interdisciplinary field about processes and systems to extract knowledge or insights from data in various forms, either structured or unstructured, which is a continuation of some of the data analysis fields such as statistics, data mining, and predictive analytics, similar to Knowledge Discovery in Databases (KDD).
Overview
Data science employs techniques and theories drawn from many fields within the broad areas of mathematics, statistics, chemometrics, information science, and computer science, including signal processing, probability models, machine learning, statistical learning, data mining, database, data engineering, pattern recognition and learning, visualization, predictive analytics, uncertainty modeling, data warehousing, data compression, computer programming, artificial intelligence, and high performance computing. Methods that scale to Big Data are of particular interest in data science, although the discipline is not generally considered to be restricted to such big data, and big data solutions are often focused on organizing and preprocessing the data instead of analysis. The development of machine learning has enhanced the growth and importance of data science.
Data science utilizes data preparation, statistics, predictive modeling and machine learning to investigate problems in various domains such as agriculture, marketing optimization, fraud detection, risk management, marketing analytics, public policy, etc. It emphasizes the use of general methods such as machine learning that apply without changes to multiple domains. This approach differs from traditional statistics with its emphasis on domain-specific knowledge and solutions. (The rationale is that developing tailored solutions does not scale.)
Data scientists use their data and analytical ability to find and interpret rich data sources; manage large amounts of data despite hardware, software, and bandwidth constraints; merge data sources; ensure consistency of datasets; create visualizations to aid in understanding data; build mathematical models using the data; and present and communicate the data insights/findings. They are often expected to produce answers in days rather than months, work by exploratory analysis and rapid iteration, and to get/present results with dashboards (displays of current values) rather than papers/reports, as statisticians normally do.
Data science affects academic and applied research in many domains, including machine translation, speech recognition, robotics, search engines, digital economy, but also the biological sciences, medical informatics, health care, social sciences and the humanities. It heavily influences economics, business and finance. From the business perspective, data science is an integral part of competitive intelligence, a newly emerging field that encompasses a number of activities, such as data mining and data analysis.
(Source Wikipedia)

Tuesday, July 1, 2014

Continuum (Measurement)..

Continuum theories or models explain variation as involving gradual quantitative transitions without abrupt changes or discontinuities. In contrast, categorical theories or models explain variation using qualitatively different states.

In physics

In physics, for example, the space-time continuum model describes space and time as part of the same continuum rather than as separate entities. A spectrum in physics, such as the electromagnetic spectrum, is often termed as either continuous (with energy at all wavelengths) or discrete (energy at only certain wavelengths).

In contrast, quantum mechanics uses quanta, certain defined amounts (i.e. categorical amounts) which are distinguished from continuous amounts.

In mathematics and philosophy

A good introduction to the philosophical issues involved is John Lane Bell's essay in the Stanford Encyclopedia of Philosophy. A significant divide is provided by the law of excluded middle. It determines the divide between intuitionistic continua such as Brouwer's and Lawvere's, and classical ones such as Stevin's and Robinson's. Bell isolates two distinct historical conceptions of infinitesimal, one by Leibniz and one by Nieuwentijdt, and argues that Leibniz's conception was implemented in Robinson's hyperreal continuum, whereas Nieuwentijdt's, in Lawvere's smooth infinitesimal analysis, characterized by the presence of nilsquare infinitesimals: "It may be said that Leibniz recognized the need for the first, but not the second type of infinitesimal and Nieuwentijdt, vice-versa. It is of interest to note that Leibnizian infinitesimals (differentials) are realized in nonstandard analysis, and nilsquare infinitesimals in smooth infinitesimal analysis".

In social sciences (in general), psychology and psychiatry

In social sciences in general, psychology and psychiatry included, data about differences between individuals, like any data, can be collected and measured using different levels of measurement. Those levels include dichotomous (a person either has a personality trait or not) and non-dichotomous approaches. While the non-dichotomous approach allows for understanding that everyone lies somewhere on a particular personality dimension, the dichotomous (nominal categorical and ordinal) approaches only seek to confirm that a particular person either has or does not have a particular mental disorder.

Expert witnesses particularly are trained to help courts in translating the data into the legal (e.g. 'guilty' vs. 'innocent') dichotomy, which apply to law, sociology and ethics.

Linguistics

In linguistics, the range of dialects spoken over a geographical area that differ slightly between neighboring areas is known as a dialect continuum. A language continuum is a similar description for the merging of neighboring languages without a clear defined boundary. Examples of dialect or language continuums include the varieties of Italian or German; and the Romance languages, Arabic languages, or Bantu languages.

(Source Wikipedia)

Thursday, November 1, 2007

Η γεωμετρία Lobatschewsky!

Είναι πλέον γνωστό από τα μαθητικά μας χρόνια, ότι στους διδιάστατους χώρους που επικρατεί η Ευκλείδια γεωμετρία, αν μία ευθεία είναι παράλληλη προς μία άλλη δοσμένη ευθεία, κάθε σημείο της πρώτης θα απέχει από τη δεύτερη σταθερή απόσταση. Η ιδιότητα όμως αυτή δεν ισχύει στους διδιάστατους χώρους που περιγράφονται από τη γεωμετρία του Lobatschewsky. Στους χώρους αυτούς δύο παράλληλες ευθείες δεν απέχουν σταθερή απόσταση μεταξύ τους, αλλά συγκλίνουν ασυμπτωτικά προς τη μία κατεύθυνσή τους, ενώ προς την άλλη κατεύθυνση η απόσταση μεταξύ των παραλλήλων ευθειών τείνει στο άπειρο. Γενικότερα, αν έχουμε ένα ζεύγος μη παράλληλων ευθειών, αυτές θα αποκλίνουν είτε από τη μία πλευρά ή και από τις δύο. Ολοκληρώνοντας, θα μπορούσαμε να πούμε ότι δύο ευθείες στον δισδιάστατο χώρο της γεωμετρίας Lobatschewsky ή τέμνονται, ή είναι παράλληλες, ή έχουν μία κοινή κάθετη και αποκλίνουν και από τις δύο πλευρές. Ουσιαστικά, η μετάβαση από την Ευκλείδια γεωμετρία στην υπερβολική γεωμετρία του Lobatschewsky επιτυγχάνεται αντικαθιστώντας το αξίωμα της παραλληλίας (αίτημα του Ευκλείδη) με το ακόλουθο αξίωμα: "από σημείο που κείται εκτός ευθείας, μπορούν να αχθούν άπειρες ευθείες που δεν θα την τέμνουν". Παράλληλες καλούνται οι δύο ακραίες των απείρων ευθειών, οι οποίες δεν τέμνουν τη δοθείσα ευθεία. Γι'αυτόν τον λόγο, το αξίωμα διατυπώνεται και ως εξής: "Από σημείο που κείται εκτός ευθείας, μπορούν να αχθούν τουλάχιστον δύο ευθείαι μη τέμνουσαι αυτήν".

Tuesday, October 30, 2007

Νεφελώματα & Διαστρική Ύλη!

Το διάστημα δεν είναι άδειο. Είναι γεμάτο με "διαστρική ύλη", ένα μείγμα αερίων και σκόνης, που μπορεί να συγκεντρωθεί και να δημιουργήσει σύννεφα, γνωστά ως νεφελώματα. Ένα νεφέλωμα μπορεί να περιέχει αρκετή ύλη για τη δημιουργία δεκάδων χιλιάδων αστέρων. Η ταξινόμηση των νεφελωμάτων γίνεται ανάλογα με το πως φαίνονται σ'εμάς. Τα συμπαγή σύννεφα των σκοτεινών νεφελωμάτων, για παράδειγμα, δεν είναι ορατά στον νυχτερινό ουρανό. Μπορούμε όμως να τα διακρίνουμε όταν εμποδίζουν το φως από τους αστέρες ή από τα αέρια που βρίσκονται πίσω τους. Τα νεφελώματα ανάκλασης αντικατοπτρίζουν το φως των αστέρων. Τα νεφελώματα εκπομπής φωτίζονται από την ακτινοβολία μορίων αερίου που διεγείρονται από τους αστέρες που βρίσκονται μέσα στα νεφελώματα.
Τα νεφελώματα είναι βασικοί παράγοντες για τη γέννηση των αστέρων. Η διαδικασία ξεκινάει με τη συστολή σκοτεινών σφαιριδίων μέσα στο νεφέλωμα. Τα σφαιρίδια συστέλλονται μέχρι να καταρρεύσουν υπό την πίεση της ίδιας τους της βαρύτητας, επιταχύνοντας τη γέννηση των αστέρων. Ενώ τα νεφελώματα εκπομπής σχετίζονται με τη γέννηση των αστέρων, τα νεφελώματα αίγλης συμμετέχουν στο θάνατο των αστέρων. Αυτά είναι γνωστά και ως πλανητικά νεφελώματα. Δημιουργούνται από τα αέρια και τη σκόνη που απελευθερώνονται από ορισμένους ετοιμοθάνατους αστέρες - αστέρες που έχουν το μέγεθος του δικού μας Ήλιου. Αυτό σημαίνει ότι θα δούμε ένα πλανητικό νεφέλωμα σε περίπου πέντε δισεκατομμύρια χρόνια, όταν ο κύκλος ζωής του Ήλιου μας φτάσει στο τέλος του.
Από τις εκδόσεις Ισόρροπον. Τι υπάρχει εκεί έξω; Το Σύμπαν μέσα από 180 εκπληκτικές εικόνες. Με πρόλογο του Stephen Hawking!

Tuesday, July 24, 2007

Η ιστορία των μαθηματικών. Richard Mankiewicz!

Πως εξελίχθηκαν τα μαθηματικά διαμέσου των αιώνων? Πως συνδέονται με τα μαθηματικά οι κατακτήσεις και οι αλλαγές στον τρόπο ζωής μας? Πως διαμόρφωσαν οι μαθηματικές ανακαλύψεις την αντίληψή μας για το σύμπαν? Ο Ρίτσαρντ Μάνκιεβιτς αφηγείται την πορεία της σημαντικής αυτής πνευματικής δραστηριότητας μέσα στο πέρασμα του χρόνου και των πολιτισμών. Δείχνει έτσι ότι τα μαθηματικά δεν είναι μόνο το αντικείμενο μίας μικρής ελίτ φιλοσόφων, θεολόγων και επιστημόνων, αλλά διαπερνούν με τον ένα ή τον άλλο τρόπο κάθε ανθρώπινη δραστηριότητα. Το προαιώνιο δέος για τις κινήσεις των ουράνιων σωμάτων, τα μυστηριώδη "ημερολογιακά ραβδιά" των προϊστορικών λαών, οι χάρτες που χρησιμοποιήθηκαν στο εμπόριο, τις εξερευνήσεις και τους πολέμους, οι καινοτομίες στην τεχνολογία και τις εικαστικές τέχνες - όλα μαρτυρούν την παρουσία των μαθηματικών στην καρδιά της ιστορίας. Η διαδρομή αυτή της αέναα εξελισσόμενης επιστήμης σημαδεύεται από έναν θησαυρό εικόνων, που φιλοξενείται υποδειγματικά σ'αυτή την έκδοση: από τα πλούσια διακοσμημένα μεσαιωνικά χειρόγραφα μέχρι την ανατρεπτική τέχνη του Νταλί και του Ντυσάν, από την αυστηρή ομορφιά των βαβυλωνιακών πήλινων πινακίδων μέχρι τη ρευστή πολυπλοκότητα των εικόνων του υπολογιστή. Ο εικαστικός πλούτος συνοδεύεται από ένα ιδιαίτερα κατανοητό κείμενο, που ξεκινάει από τα επιτεύγματα των αρχαίων λαών (από τους Βαβυλώνιους και τους Έλληνες μέχρι τους Άραβες και από τους Κινέζους και τους Ινδούς μέχρι τους Μάγια) για να φτάσει ως την επιστημονική και την ψηφιακή επανάσταση. Στην πορεία δίνει το πορτρέτο μεγάλων μορφών όπως ο Πτολεμαίος, ο Ομάρ Χαγιάμ ή ο Κοπέρνικος, αλλά και λιγότερο γνωστών μαθηματικών όπως ο Καρντάνο, ο Άμπελ ή ο Νας. Η ιστορία των μαθηματικών είναι έτσι ένα αριστουργηματικό αμάλγαμα ιστορίας, βιογραφίας και εκλαϊκευμένης επιστήμης, που φωτίζει έναν απροσδόκητα προσιτό και συναρπαστικό κόσμο.
(Πρόκειται για το ομώνυμο βιβλίο)