수리통계 분석 코딩 실습

✔️ 캐나다 연수 프로젝트 [process][introduction] - [main idea] - [Constraint] 1. introduction이 연구는 패널 데이터의 다변량 분석에 대한 새로운 접근법을 제안한다. 특히 Wishart-Gamma Random Effect 모형을 도입하여 설명변수 외의 임의효과를 부여하여 모형의 flexibility를 높이는 동시에 빈도 청구와 같은 다변량 간의 종속 구조를 고려했다. 또, 이러한 새로운 모형 가정은 기존의 모형에서 명시적인 형태(예: 확률 밀도 함수 등)를 도출하기 어려웠던 한계를 극복했다는 점에서 중요한 의의를 지닌다.   1-1. 다변량 임의 모형 예시 기존의 잘 알려진 다변량 동적 임의 효과 모형 가정으로는 Poisson-lognormal(PLN..

✔️ 한-캐 이공계 대학원 연수 프로그램을 알아보자!  [process][공모소개] - [응모방법]  저도 이 프로그램을 통해 캐나다 몬트리올의 콘코디아 대학에서 연구를 진행했으니 궁금한 점 남겨주시면 아는 선에서 답변드리겠습니다! [1] 공모소개 1. 프로그램 소개한-캐 이공계 대학원 연수 프로그램이란?이공계 대학원생들의 해외 연구 경험 및 학업 증진을 위해, 캐나다 대학교와 연계하여, 캐나다 대학교에서 최소 12주- 최대 24주 거주하며 연구할 수 있는 프로그램 📌 참고 사항 최소 12주 프로그램을 연수해야하지만 최대 25%는 한국에서 연수가 가능하므로 만일 12주 연수 예정이라면 3주를 한국에서 연수한 뒤 남은 9주를 캐나다에 거주하며 연수할 수 있습니다. ➡️ 2024년 지원 기준 해당 내용은 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

✔️ 불량 여부 예측에 사용되는 cost-sensitivity 모델을 알아보자! [process][배경] - [사용 방법] - [학습 코드]  1. 배경 목적: 불균형 데이터 셋에 대한 학습 편향을 개선 불량 여부를 판별하는 모델의 경우 불량을 1로 분류하여 대다수의 데이터 셋이 0에 치중되어 있는 imbalanced model의 형태입니다.이때, 하나의 클래스(0)이 과도하게 많을 경우 모두 0으로 예측하여도 예측 성능이 나쁘지 않기 때문에 불량 제품도 정상으로 판단하는 오류를 범하게 됩니다.  다시 말해, confusion matrix에서 FN을 무시하고 학습을 진행하는 결과를 초래합니다. 이를 해결하기 위해선, 데이터셋의 크기를 고려해, FN의 위험도를 크게 주어 학습하도록 합니다.  먼저, 불량 ..

맵지도 레이아웃을 변경해보자![process][레이아웃 변경] - [최종결과] 1. 레이아웃 변경 행정동 단위의 시각화를 링크 를 통해 연결했다. 그런데, 그림이 너무 조잡하고 한눈에 보이지 않으므로, 레이아웃을 변경해보고자 한다. 우선 배경이 없으면 좋겠고 흰색으로 따고 싶으니까 배경을 없애기 위해서[맵] - [백그라운드 레이어] 를 클릭한다. 그 후 투명도를 100으로 두어, 행정동 단위 표현 이외의 영역을 제거한다.  파란색이 맘에 들지 않으므로, 색상을 흰색으로 변경해 배경색을 바꿔준다.  글자를 표기하기 위해 [레이블]에 [Adm_NM]열 을 올려주고,  글자뒤에 회색 백그라운드를 제거하기 위해[색상] -[후광] -[없음]을 클릭한다.   2. 최종 결과아래처럼 각 행정동이 잘 표기되어 있음을 ..

태블로를 활용해 행정동을 표시해보자![process][행정동 파일 연동] - [맵지도] 1. 행정동 파일 연동 맵 지도를 태블로에 연동하기 위해선 좌표계가 담긴 공간 좌표 파일을 다운 받아태블로에서 공간 파일로 열어줘야 한다.  "행정동"의 파일이 있는 좌표 파일을 다운 받는 것도 힘들었다.. 나는 [디지털트윈국토] 홈페이지에서 공간정보 다운로드에 행정동을 검색해 행정동 shp파일을 다운받았다.접속하면 오른쪽과 같은 화면이 뜨는데, shp파일과 해당 파일에 들어있는 코드 설명을 보기 위해 xlsx 파일도 같이 다운받았다.   2. 맵지도 그런데, 해당 파일을 그대로 태블로에 가져와서 공간 파일로 열려고 하면,문제는 한글 인코딩이 깨진다.. 진짜 이거 해결하느라 너무 힘들었다.. [태블로 공간파일] - [..

천안시 반려동물 올바른 펫티켓 정착을 위한 LM 활용 민원 개선 방안 제시  [process][공모전 소개] - [분석 방법] - [결론] 참여 인원: 박민지, 유해정, 최해원분석 기간: 2024.8.5 ~ 2024.8.25맡은 역할: 크롤링, 데이터 정제, 감정분석, 시각화 1. 공모전 소개 천안시 빅데이터 분석이란,5가지의 지정주제와 자유주제로 나뉘어 천안시 발전을 위한 데이터 분석 및 정책 제안을 목표로 하는 공모전입니다. 1차 제출기한은 7월 초부터 8월 25일로, 발표 ppt분석 보고서개인정보 동의서코드, 시각화 등  을 제출해야 합니다. 중요한 건 발표 ppt와 보고서를 1차 심사전에 모두 제출해야하므로, 기한 내에 제출할 수 있도록 유의해야합니다.  2. 분석 방법 [1] 분석 주제 선정 저..

✔️ 네이버를 통한 호텔예약 크롤링 방법1. 네이버 예약 홈페이지를 선택한 이유예약 홈페이지의 사이트가 여타 사이트와 유사하며 다른 예약 사이트의 가격도 접속이 가능함. 무엇보다, 크롬을 통한 크롤링이 안정적으로 접근이 가능해 선택 2. 현재 구현 내용[1] 여행장소, 여행 일정(시작,끝), 성인 인원수를 포함해 검색 가능 [2] 각 호텔의 구체적인 정보를 접속할 수 있는 url 추출 후 json 파일로 저장  [+] 추가 사항 0) 네이버 호텔의 경우 url 접근이 단순함 -> url 변수명 변경을 통한 검색은?  1) 어린이 명수 추가에 대한 검색 - 어린이의 경우 네이버 호텔예약 사이트는 연령대 선택을 추가로 클릭해야하므로, 해당 내용을 포함해서 검색되도록 크롤링 코드를 추가해야함.  2) 검색 목..

1. 호텔스 컴바인 1. 화면 켜짐의 버퍼링호텔스 컴바인 화면을 키면 [동의합니다] 창이 나오는데, 이 창의 팝업 끄기가 제대로 될 때가 있고 안될때가 있음 -> 원인을 모르겠음[1] chromedriver 업데이트의 문제인가 ? -> driver.install() chromedriver.manager를 사용해도 같은 문제 반복[2] chromedriver 직접 설치 -> 여전히 같은 문제 반복 ➡️ 다만 알아낸 것은 버퍼가 떴을 때 ctrl + q를 누른 뒤 약간의 시간이 지난 후 다시 돌리면 제대로 정상작동함을 확인함.  2. 주소 검색시 팝업창을 이용한 fake-img 접근 팝업창을 띄워 접근을 해야 주소가 올바르게 접속이 되는데, 이런 접속이 불가능함. * javascript를 이용한 팝업 트리거..