California Housing Prices Prediction with PySpark

📋 Описание проекта

Проект по машинному обучению для предсказания медианной стоимости домов в Калифорнии на основе данных переписи населения 1990 года. Реализовано с использованием PySpark.

🎯 Цель проекта

Обучить модель линейной регрессии для предсказания медианной стоимости домов (median_house_value) на основе географических, демографических и экономических характеристик жилых массивов.

📊 Данные

Датасет содержит информацию о жилых массивах Калифорнии с следующими признаками:

Географические: longitude, latitude
Демографические: housing_median_age, population, households
Жилищные: total_rooms, total_bedrooms
Экономические: median_income
Категориальные: ocean_proximity (близость к океану)
Целевая переменная: median_house_value

🛠️ Технологии

Python 3.11
PySpark 3.x
Jupyter Notebook

📈 Методы и подходы

Предобработка данных:

Обработка пропущенных значений (замена медианным значением)
Проверка на дубликаты
Индексация категориальных признаков
One-Hot Encoding для категориальных переменных
Standard Scaling числовых признаков

Моделирование:

Обучение двух моделей линейной регрессии:
- Модель 1: со всеми признаками (включая категориальные)
- Модель 2: только с числовыми признаками

📊 Результаты

Модель с категориальными признаками:

RMSE: 69,384.91
MAE: 50,370.51
R²: 0.631

Модель без категориальных признаков:

RMSE: 70,323.11
MAE: 51,401.07
R²: 0.621

🎯 Выводы

Модель, использующая категориальные признаки (близость к океану), показала лучшие результаты по всем метрикам, что подтверждает важность этого признака для предсказания стоимости жилья в Калифорнии.