문어발식건설회사의머릿돌

사용한 라이브러리 requests, bs4, Konlpy, matplotlib, wordcloud, counter 실행한 페이지 >나무위키 베스트 라이브 1. 실행할 페이지 스크래핑 2.Konlpy Okt()를 통해 형태소 분할하기 3.분할한 형태소 자료 가공하기 4. 워드 클라우드 만들기 1. 실행할 페이지 스크래핑 > 나무위키 베스트 라이브의 페이지 1부터 49까지 스크래핑을 해보겠습니다. 먼저 스크래핑을 시행할 페이지로 이동해서 게시판의 주소 구조와 개발자 도구를 이용해 html구조를 살핍니다. 게시판의 주소는 arca.live/b/live?p=2 지금 페이지가 2페이지니까 페이지는 p값으로 이동한다는 것을 알았습니다. 그리고 html 구조를 보면 class명이 title ion-ios-photos..

1. column 이름 변경 *x.upper() **df.columns.dtr.replace ***rename 2. row 변경 - df.loc[] 오늘은 columns의 이름 rows를 변경해보겠습니다. 먼저 데이터프레임을 짜줍니다. 1. column 이름 변경 그리고 df.columns를 이용하면 columns들이 잡혀나옵니다. 그리고 그 안에는 columns의 이름인 name age address가 들어있는 것을 알 수 있습니다. 잡아온 columns들의 내용을 바꿔주겠습니다. 형식은 df.columns 안에 들어 있듯이 같은 형태로 합니다. df.columns = ['이름','나이','주소'] 이렇게 실행을 해주면 column들의 이름이 바뀌어 있는 것을 확인 할 수 있습니다. *영어로 colum..

1. 생략된 row나 column 모두 표시하기 2. 데이터 형을 확인하고 숫자형 자료형으로 변경하기 df.dtypes, pd.to_numeric 3. 필터 생성하여 검색하기 4. 정렬하기와 인덱스 지정하기 df_sort_by_values, df.set_index 지금까지 알아보았던 것들을 복습도 할겸 371rows와 13개의 column을 가지고 있는 코로나 관련 공공데이터를 가지고 왔습니다. 1. 생략된 row나 column 모두 표시하기 df 에 넣어서 출력했더니 너무 길어서 중간에 생략을 했습니다. 이렇게 생략된 자료를 보기 위해서는 pd.set_option('display.max_rows',371)을 사용해 줍니다. * column의 수가 많아 생략이 되었다면 pd.set_option('disp..

Pandas를 사용하여 데이터 안에서 원하는 조건에 맞는 데이터를 찾을 수 있는 필터를 작성하는 법에 대해 알아보겠습니다. 우선 people를 pandas를 사용하여 DataFrame을 짜 줍니다. 그러면 위의 표 형식으로 출력이 됩니다. 그럼 여기서 나이가 24인 row를 찾으려면 필터를 작성해 줘야합니다. 1. 필터 작성하기 (1)필터로 쓸 변수의 이름을 'filt'로 정하겠습니다. *파이썬에는 내장 함수로 filter가 있습니다. 그래서 filter를 직접 변수로 쓰지 마시고 다른 이름들을 사용해 주시면 더 좋습니다. (2)그리고 필터를 작성해줍니다. 데이터프레임의 이름이 df 이므로 df 안에 'age' 속성이 '24'인 row를 찾아야 합니다. df['age'] == '24' 라고 표현할 수 있..

일 마치고 한두시간 앉아서 공부할 곳이 필요했습니다. 카페에 두시간 있자고 5000원 하는 커피 한잔 시키려 하니 좀 돈도 아깝고, 커피도 너무 많이 먹는 것 아닌가 해서 다른 공간을 찾아 보니 근처에 구겐하임 스터디 카페라는 곳이 있더군요. 1. 가격 2. 분위기 3. 총평 가격은 기본적으로 한시간에 1500원을 기준으로 시간을 더하면 조금씩 시간당 요금이 낮아지는 구조로 한달 12만원에 300시간권은 27만원을 하는 식으로 요금이 책정됩니다. 요금이 그렇게 싸지는 않지만 하루에 한 두시간 있을 생각이면 까페에 가는 것보다 아니면 독서실에 한달 자리를 끊는 것보다는 이 곳을 이용하는 것이 괜찮겠지요. 아래에 성서계대점의 가격표를 올려두겠습니다. 다른 곳의 가격체계도 여기서 크게 벗어나지 않을 것입니다...

☆parsing에 대한 노하우가 조금 쌓인 후에 보니 엉성하기 짝이 없는 글입니다. 그나마 발전한 이 페이지로 이동해주셔서 보시면 감사하겠습니다.☆ https://operstu1.tistory.com/87 어느 정도 노하우가 쌓인 xml 공공데이터 parsing과 CSV 저장 * 필요한 라이브러리 1. 파싱하기 전에 반드시 해야 할것 1)미리보기를 통한 데이터형태 파악하기 2)참고문서 다운받기 2. 파싱시작하기 1) 라이브러리 불러오기 2) 요청 명세를 보고 u operstu1.tistory.com ♧다만, 원시적인 방법을 사용한 만큼 처음이신분이라면 이글이 더 쉬울수 있습니다.♧ 오늘은 파이썬을 이용하여 xml로 된 공공데이터안의 데이터를 불러와 보겠습니다. *사용한 라이브러리 : requests, b..

pandas에서 CSV 파일을 불러들이면 가장 앞에 index부분이 0부터 시작하는 숫자로 지정되며, 그 column의 이름이 지정되지 않습니다. 그렇기에 앞서 살펴본 loc으로 하는 검색에 불편함이 생길 수 있습니다. 오늘은 초기 지정되는 index column을 표 내부의 내용으로 바꿔서 loc로 하는 검색이 원활해 질 수 있는 set_index()에 대해 살펴보겠습니다. 초기에 dic 자료형인 people를 DataFrame으로 df를 만들면 위에서 보는 바와 같이 가장 앞에 인덱스 값이 0,1,2로 나오며 이 곳의 name은 지정되지 않습니다. 이 인덱스를 address값으로 바꿔보겠습니다. 방법은 간단합니다. df.set_index('adress') 를 실행해 주면 됩니다. 그리고 다시 df를 ..

메뉴를 누르면 상호작용을 하게 코드를 짰다고 생각했지만 상호작용을 하지 않는 분들을 위한 팁입니다. 저도 swing 과제를 하면서 이 문제에 부닥쳤습니다. 교과서에 나온 것처럼 e.getActionCommand와 switch문을 써봤지만 아무리 메뉴를 눌러도 꿈쩍도 않습니다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 private void createMenu() { JMenuBar mb = new JMenuBar(); JMenu screenMenu = new JMenu("만든분"); screenMenu.addActionListener(new MenuActionListener()); JMenu add = new JMenu("단어 추가"); ..

dictionary 자료형의 형태는 표의 형태와 비슷합니다. dictionary 자료형의 모습은 이렇게 중괄호 안에 Key 값 : value 값으로 나눠져 있습니다. 마치 자바의 해쉬맵과 흡사한 구조입니다. dictionary 자료형은 key 값에 여러 value 값을 list로 지정할 수 있습니다. 이런식으로 name 이라는 key 값에 김똘칠, 박달달, 홍복길 이라는 value 값을 넣을 수 있습니다. name을 column에 넣고, 김똘칠, 박달달, 홍복길을 그 값으로 넣을 수 있습니다. name 김똘복 박달달 홍복길 pandas 의 데이터프레임에 dic형 자료 people를 넣으면 pandas에서 표로 만들어 줍니다. (1) column안의 값 찾기 df['column의 이름'] df['addre..

Pandas를 사용하기에는 Jupyter notebook을 사용하는 것이 좋습니다. 바로바로 시각화된 자료를 쉽고 깔끔하게 볼 수 있기 때문입니다. 1. Pandas 설치하기 pip을 사용하여 pandas를 설치할수 있습니다. pip install pandas 2. csv 파일 불러오기 *공공 데이터 중 충청북도_날씨 현황을 예제로 사용했습니다. (1) pandas를 사용하기에 앞서 pandas를 pd로 import 해 옵니다. import pandas as pd (2) df 라는 변수에 csv 파일 안의 내용을 저장해 봅시다. df = pd.read_csv('충청북도_날씨 현황_20200930.csv') *한글로 된 CSV 파일을 불러올 때 는 제대로 불러오지 못하는 현상이 발생할 수 있습니다. 이럴때..