Данные взяты от сюда

# стандартный импорт от azure ml
from azureml import Workspace
# эти импорты понадобятся нам позже
from numpy import sort
from matplotlib.pyplot import show

# стандартная загрузка данных
ws = Workspace()
ds = ws.datasets['BP_python_train.csv']
df = ds.to_dataframe()

Для начала стоит изучить наши данные. Что они из себя представляю, какие признаки надо выбрать, какие можно выбросить, с какими надо еще пораобтать (нормализовать, почистить)

df

df.columns

Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp',
       'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],
      dtype='object')

• PassengerId - уникальный индетификатор каждого человека
• Survived - выжил ли человек
• Pclass - класс пассажира
• Name - имя пассажира
• Sex - пол
• Age - возраст
• SibSp - количество родственников на борту
• Parch - количество прямых родственников на борту
• Ticket - номер билета
• Fare - стоимость билета
• Cabin - кабина
• Embarked - порт посадки

Каждая запись эквивалентна одному пассажиру

df.Survived.unique()

array([0, 1])

df.Pclass.unique()

array([3, 1, 2])

df.Sex.unique()

array(['male', 'female'], dtype=object)

df.Age.describe()

count    891.000000
mean      29.361582
std       13.019697
min        0.420000
25%       22.000000
50%       28.000000
75%       35.000000
max       80.000000
Name: Age, dtype: float64

У возраста некоторые значения не заполнены. Посмотрим, сколько значений заполннено

df.PassengerId[df.Age.notnull()].count()

714

Не так много по сравнению с количеством записей. Посмотрим распределение возрастов (потому что графики - это красиво)

df.Age.plot(kind='kde')
show()

Выглядит вполне нормально. Хорошим решением будет заменить отсутствующие значения на медиану

df.SibSp.unique()

array([1, 0, 3, 4, 2, 5, 8])

df.Parch.unique()

array([0, 1, 2, 5, 3, 4, 6])

df.Fare.describe()

count    891.000000
mean      32.204208
std       49.693429
min        0.000000
25%        7.910400
50%       14.454200
75%       31.000000
max      512.329200
Name: Fare, dtype: float64

df[df.Embarked.isnull()]

Всего у двух значений не указан порт

df.PassengerId[df.Cabin.notnull()].count()

204

Лишь 25% кабин заполнено значениями

Итак, почти все значения (кроме Name, PassengerId, Ticket, но о них позже) изучены. Теперь самое время начать обрабатывать данные

df.Age = df.Age.fillna(df.Age.median())

max_embarked = df.groupby("Embarked").count()['PassengerId']
df.Embarked = df.Embarked.fillna(max_embarked[max_embarked == max_embarked.max()].index[0])

Name, PassengerId, Ticket - эти значения являются просто идентификатором и по сути в обучении нам никаки не помогут, поэтому хорошей идеей будет дропнуть их. Заодно дропнем Cabin, из-за малого количества заполненных значений

df = df.drop(["Name", "Ticket", "PassengerId", "Cabin"], axis=1)

df