Trí tuệ nhân tạo cho vật lý thiên văn trong kỷ nguyên dữ liệu lớn
+ Trả lời bài viết
Hiện kết quả từ 1 tới 3 của 3

Chủ đề: Trí tuệ nhân tạo cho vật lý thiên văn trong kỷ nguyên dữ liệu lớn

  1. #1
    Phó nhóm Kiến thức Avatar của HL_Xen
    Tham gia ngày
    Jul 2010
    Bài gửi
    1.269

    Cấp: 45 [?]
    Kinh Nghiệm: 4.462.005
    Lên cấp cần: 5.107.448

    Thanks
    866
    Thanked 1.525 Times in 511 Posts

    Trí tuệ nhân tạo cho vật lý thiên văn trong kỷ nguyên dữ liệu lớn

    Tuần sau mình sẽ học 1 khóa về "Trí tuệ nhân tạo cho vật lý thiên văn trong kỷ nguyên dữ liệu lớn" ở Đài Thiên văn Paris. 1 nửa thời lượng là lý thuyết, 1 nửa là thực hành. Anh chị em nào hứng thú thì có thể tham gia thảo luận và thực hành với mình Chỉ cần biết lập trình Python và máy có Linux là ok



    Đây là tài liệu khóa học:
    https://github.com/mhuertascompany/d...ning4astronomy
    https://github.com/aboucaud/deeplear...stro_labs_2019

    Trước hết phải thiết lập sẵn môi trường:

    1. Clone tài liệu trên github về

    Mã:
    git clone https://github.com/aboucaud/deeplearning4astro_labs_2019.git
    cd deeplearning4astro_labs_2019
    2. Cài đặt

    - Khuyến khích dùng conda tránh xung đột với cài đặt python hiện tại:

    Mã:
    conda install -y -c conda conda-env     # Đầu tiên cài conda-env
    conda env create                        # Dùng environment.yml để tạo môi trường 'dl4astro19' 
    source activate dl4astro19       # Kích hoạt môi trường ảo
    - Không có conda (tốt nhất là dùng môi trường ảo):

    Mã:
    python -m pip install -r requirements.txt
    3. Chỉ dành cho máy có Nvidia GPU (ko dành cho Mac)

    - Kiểm tra xem máy đã có driver nvidia chưa bằng cách chạy thử nvidia-smi trong terminal. Nếu chưa có thì cài ở đây [https://www.nvidia.com/Download/index.aspx?lang=en-us]. Cần truy cập root và model của GPU.

    - Trong môi trường ảo chạy:

    Mã:
    conda install tensorflow-gpu cudatoolkit=9.0
    Lần sửa cuối bởi HL_Xen; 08-04-2019 lúc 05:25 PM

  2. Đã cảm ơn HL_Xen cho bài viết:

    vodoitienboi (28-03-2019)

  3. #2
    Phó nhóm Kiến thức Avatar của HL_Xen
    Tham gia ngày
    Jul 2010
    Bài gửi
    1.269

    Cấp: 45 [?]
    Kinh Nghiệm: 4.462.005
    Lên cấp cần: 5.107.448

    Thanks
    866
    Thanked 1.525 Times in 511 Posts
    Lý thuyết buổi 1:

    Giới thiệu về khóa học:
    https://github.com/mhuertascompany/d...tical_info.pdf

    Phần I. Giới thiệu về Học máy "cổ điển":
    https://github.com/mhuertascompany/d...assical_ML.pdf

    Lý thuyết buổi 2:

    Phần II. Mạng neuron "nông":
    https://github.com/mhuertascompany/d...lides/ANNs.pdf

    Phần III. Mạng neuron chập:
    https://github.com/mhuertascompany/d...des/CNNs_1.pdf

    Thực hành: Hình thái các thiên hà SDSS

    Mục tiêu của bài thực hành là dùng cả học máy "cổ điển" và học sâu (CNN) để phân loại các thiên hà SDSS thành elip (loại sớm) và xoắn ốc (loại muộn). Chúng ta cũng có thể thử phân loại chi tiết hơn.

    Thiết lập môi trường:

    • Thực hiện các bước 1, 2 (+3 nếu có GPU) ở phần trước nếu chưa làm
    • Chạy môi trường ảo:
    Mã:
    source activate dl4astro19
    • Chuyển đến thư mục:
    Mã:
    cd deeplearning4astro_labs_2019/morphology
    • Cài Pillow nếu cần:
    Mã:
    conda install -c intel pillow
    • Mở jupyter notebook:
    Mã:
    jupyter notebook&
    Dữ liệu:

    • Tập huấn luyện là bảng phân loại trực quan chi tiết ~14.000 thiên hà SDSS của Nair&Abraham2010.

    Cột TType cho giá trị phân loại trực quan như sau: -5--> E -3 to -2 --> S0 0 --> S0/a 1 --> Sa 2 --> Sab 3 --> Sb 4 --> Sbc 5 --> Sc 7 --> Sd 8 --> Im v.v...

    • Đối với phương pháp "nông", chúng ta sẽ sử dụng số liệu trong catalog đã cho, bao gồm các tham số cấu trúc (kích thước v.v...), màu sắc, SFR (tốc độ hình thành sao) và các đặc tính khác.

    Jupyter notebook:
    https://github.com/aboucaud/deeplear...sical_ML.ipynb

    Thuật toán ở đây là Rừng Ngẫu nhiên (Random Forest) và Mạng Neuron Nhân tạo (Artificial Neuron Network), dùng thư viện scikit-learn:

    • Đối với phương pháp "sâu", đầu vào là ảnh jpeg, tải về tại đây và giải nén trong folder morphology. Tên file trùng với ID trong catalog.

    Jupyter notebook:
    https://github.com/aboucaud/deeplear...Sab_deep.ipynb

    Thuật toán ở đây là Mạng Neuron Chập (Convolutional Neural Network) chứa vài lớp dùng thư viện Keras.
    Lần sửa cuối bởi HL_Xen; 01-04-2019 lúc 07:55 PM

  4. Đã cảm ơn HL_Xen cho bài viết:

    vodoitienboi (28-03-2019)

  5. #3
    Phó nhóm Kiến thức Avatar của HL_Xen
    Tham gia ngày
    Jul 2010
    Bài gửi
    1.269

    Cấp: 45 [?]
    Kinh Nghiệm: 4.462.005
    Lên cấp cần: 5.107.448

    Thanks
    866
    Thanked 1.525 Times in 511 Posts
    Lý thuyết buổi 3:

    Phần III. Mạng neuron chập (tiếp)
    https://github.com/mhuertascompany/d...des/CNNs_2.pdf

    Lý thuyết buổi 4:

    Phần IV: Sơ lược về Học không giám sát
    https://github.com/mhuertascompany/d...supervised.pdf

    Các mô hình sinh mẫu:
    https://github.com/mhuertascompany/d...generative.pdf

    Thực hành: Phân tách thiên hà

    Mục tiêu của bài thực hành là tạo ra các mô hình học sâu nhằm phân tách các thiên hà chồng lấp trong ảnh, đầu tiên là phát hiện và sau đó là hồi quy hình ảnh.

    1. Kích hoạt môi trường

    Mã:
    conda activate dlastro19
    2. Cài đặt bộ công cụ

    Mã:
    cd labs/deblending
    pip install .
    3. Tải dữ liệu:

    Mã:
    python download_data.py        # bộ dữ liệu "mini" ~ 60 MB
    python download_data.py full   # bộ dữ liệu hoàn chỉnh ~ 4 GB
    Bộ dữ liệu mini chỉ để chạy thử xem có lỗi hay không. Máy phải có GPU mới chạy nổi bộ dữ liệu hoàn chình.

    4. Tạo mô hình như tệp alex_testfcnn.py (tên tệp có 2 phần cách nhau bởi dấu "_").

    5. Chạy mô hình:

    Mã:
    python main_detection.py alex_testfcnn.py
    Jupyter notebook minh họa:
    https://github.com/aboucaud/deeplear...ting_kit.ipynb

    Trong trường hợp máy không có GPU, có thể sử dụng Colaboratory của Google:

    1. Mở Google Colaboratory:
    https://colab.research.google.com/

    2. Vào tab "Github", nhập notebook dưới đây rồi ấn nút "Search" bên cạnh:
    https://github.com/aboucaud/deeplear...ting_kit.ipynb

    3. Vào menu "Runtime" > "Change runtime type", trong mục "Hardware accelerator" chọn "GPU".

    4. Sửa lại phần "Data" và "Load data" như sau để chạy dữ liệu hoàn chỉnh:

    Mã:
    #main(output_dir='data', full=False)                
    main(output_dir='data', delete=True, full=True)
    Mã:
    datadir = "data"
    #suffix = "_mini"
    suffix = ""
    Mã:
    X_train = np.load(os.path.join(datadir, f"train_blends{suffix}.npy"), mmap_mode='r')
    Y_train = np.load(os.path.join(datadir, f"train_target_masks{suffix}.npy"), mmap_mode='r')
    Y_train = Y_train[:,1,...]
    
    X_test = np.load(os.path.join(datadir, f"test_blends{suffix}.npy"), mmap_mode='r')
    Y_test = np.load(os.path.join(datadir, f"test_target_masks{suffix}.npy"), mmap_mode='r')
    Y_test = Y_test[:,1,...]
    5. Chạy notebook
    Lần sửa cuối bởi HL_Xen; 01-04-2019 lúc 09:21 PM

+ Trả lời bài viết

Facebook comment

Quyền viết bài

  • Bạn không thể gửi chủ đề mới
  • Bạn không thể gửi trả lời
  • Bạn không thể gửi file đính kèm
  • Bạn không thể sửa bài viết của mình