Trí tuệ nhân tạo cho vật lý thiên văn trong kỷ nguyên dữ liệu lớn

[HL_Xen]

Tuần sau mình sẽ học 1 khóa về "Trí tuệ nhân tạo cho vật lý thiên văn trong kỷ nguyên dữ liệu lớn" ở Đài Thiên văn Paris. 1 nửa thời lượng là lý thuyết, 1 nửa là thực hành. Anh chị em nào hứng thú thì có thể tham gia thảo luận và thực hành với mình Chỉ cần biết lập trình Python và máy có Linux là ok :-bd

Đây là tài liệu khóa học:
https://github.com/mhuertascompany/deeplearning4astronomy
https://github.com/aboucaud/deeplearning4astro_labs_2019

Trước hết phải thiết lập sẵn môi trường:

1. Clone tài liệu trên github về

git clone https://github.com/aboucaud/deeplearning4astro_labs_2019.git
cd deeplearning4astro_labs_2019

2. Cài đặt

- Khuyến khích dùng conda tránh xung đột với cài đặt python hiện tại:

conda install -y -c conda conda-env     # Đầu tiên cài conda-env
conda env create                        # Dùng environment.yml để tạo môi trường 'dl4astro19' 
source activate dl4astro19       # Kích hoạt môi trường ảo

- Không có conda (tốt nhất là dùng môi trường ảo):

python -m pip install -r requirements.txt

3. Chỉ dành cho máy có Nvidia GPU (ko dành cho Mac)

- Kiểm tra xem máy đã có driver nvidia chưa bằng cách chạy thử nvidia-smi trong terminal. Nếu chưa có thì cài ở đây [https://www.nvidia.com/Download/index.aspx?lang=en-us]. Cần truy cập root và model của GPU.

- Trong môi trường ảo chạy:

conda install tensorflow-gpu cudatoolkit=9.0

 

[HL_Xen]

Lý thuyết buổi 1:

Giới thiệu về khóa học:
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/practical_info.pdf

Phần I. Giới thiệu về Học máy "cổ điển":
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/classical_ML.pdf

Lý thuyết buổi 2:

Phần II. Mạng neuron "nông":
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/ANNs.pdf

Phần III. Mạng neuron chập:
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/CNNs_1.pdf

Thực hành: Hình thái các thiên hà SDSS

Mục tiêu của bài thực hành là dùng cả học máy "cổ điển" và học sâu (CNN) để phân loại các thiên hà SDSS thành elip (loại sớm) và xoắn ốc (loại muộn). Chúng ta cũng có thể thử phân loại chi tiết hơn.

Thiết lập môi trường:

• Thực hiện các bước 1, 2 (+3 nếu có GPU) ở phần trước nếu chưa làm
• Chạy môi trường ảo:

source activate dl4astro19

• Chuyển đến thư mục:

cd deeplearning4astro_labs_2019/morphology

• Cài Pillow nếu cần:

conda install -c intel pillow

• Mở jupyter notebook:

jupyter notebook&

Dữ liệu:

• Tập huấn luyện là bảng phân loại trực quan chi tiết ~14.000 thiên hà SDSS của Nair&Abraham2010.

Cột TType cho giá trị phân loại trực quan như sau: -5--> E -3 to -2 --> S0 0 --> S0/a 1 --> Sa 2 --> Sab 3 --> Sb 4 --> Sbc 5 --> Sc 7 --> Sd 8 --> Im v.v...

• Đối với phương pháp "nông", chúng ta sẽ sử dụng số liệu trong catalog đã cho, bao gồm các tham số cấu trúc (kích thước v.v...), màu sắc, SFR (tốc độ hình thành sao) và các đặc tính khác.

Jupyter notebook:
https://github.com/aboucaud/deeplearning4astro_labs_2019/blob/master/labs/morphology/morph_classical_ML.ipynb

Thuật toán ở đây là Rừng Ngẫu nhiên (Random Forest) và Mạng Neuron Nhân tạo (Artificial Neuron Network), dùng thư viện scikit-learn:

• Đối với phương pháp "sâu", đầu vào là ảnh jpeg, tải về tại đây và giải nén trong folder morphology. Tên file trùng với ID trong catalog.

Jupyter notebook:
https://github.com/aboucaud/deeplearning4astro_labs_2019/blob/master/labs/morphology/Nair_Sab_deep.ipynb

Thuật toán ở đây là Mạng Neuron Chập (Convolutional Neural Network) chứa vài lớp dùng thư viện Keras.

 

[HL_Xen]

Lý thuyết buổi 3:

Phần III. Mạng neuron chập (tiếp)
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/CNNs_2.pdf

Lý thuyết buổi 4:

Phần IV: Sơ lược về Học không giám sát
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/unsupervised.pdf

Các mô hình sinh mẫu:
https://github.com/mhuertascompany/deeplearning4astronomy/blob/master/slides/generative.pdf

Thực hành: Phân tách thiên hà

Mục tiêu của bài thực hành là tạo ra các mô hình học sâu nhằm phân tách các thiên hà chồng lấp trong ảnh, đầu tiên là phát hiện và sau đó là hồi quy hình ảnh.

1. Kích hoạt môi trường

conda activate dlastro19

2. Cài đặt bộ công cụ

cd labs/deblending
pip install .

3. Tải dữ liệu:

python download_data.py        # bộ dữ liệu "mini" ~ 60 MB
python download_data.py full   # bộ dữ liệu hoàn chỉnh ~ 4 GB

Bộ dữ liệu mini chỉ để chạy thử xem có lỗi hay không. Máy phải có GPU mới chạy nổi bộ dữ liệu hoàn chình.

4. Tạo mô hình như tệp alex_testfcnn.py (tên tệp có 2 phần cách nhau bởi dấu "_").

5. Chạy mô hình:

python main_detection.py alex_testfcnn.py

Jupyter notebook minh họa:
https://github.com/aboucaud/deeplearning4astro_labs_2019/blob/master/labs/deblending/deblending_starting_kit.ipynb

Trong trường hợp máy không có GPU, có thể sử dụng Colaboratory của Google:

1. Mở Google Colaboratory:
https://colab.research.google.com/

2. Vào tab "Github", nhập notebook dưới đây rồi ấn nút "Search" bên cạnh:
https://github.com/aboucaud/deeplearning4astro_labs_2019/blob/colab/labs/deblending/deblending_starting_kit.ipynb

3. Vào menu "Runtime" > "Change runtime type", trong mục "Hardware accelerator" chọn "GPU".

4. Sửa lại phần "Data" và "Load data" như sau để chạy dữ liệu hoàn chỉnh:

#main(output_dir='data', full=False)                
main(output_dir='data', delete=True, full=True)

datadir = "data"
#suffix = "_mini"
suffix = ""

X_train = np.load(os.path.join(datadir, f"train_blends{suffix}.npy"), mmap_mode='r')
Y_train = np.load(os.path.join(datadir, f"train_target_masks{suffix}.npy"), mmap_mode='r')
Y_train = Y_train[:,1,...]

X_test = np.load(os.path.join(datadir, f"test_blends{suffix}.npy"), mmap_mode='r')
Y_test = np.load(os.path.join(datadir, f"test_target_masks{suffix}.npy"), mmap_mode='r')
Y_test = Y_test[:,1,...]

5. Chạy notebook