今天上課複習了,用python執行MYSQL創立表格、增查刪減
一樣是抓CSV檔,整理資料繪圖
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
退訓的念頭還在
今天上課複習了,用python執行MYSQL創立表格、增查刪減
一樣是抓CSV檔,整理資料繪圖
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
退訓的念頭還在
在上(增)查刪減之前,老師知道了我們python進度後
索性內容就做了應用變化,所以沒有具體的程式碼與講義能無腦操作
但對於我來說,舊東西還不熟一次好幾個步驟,我跟不上
人的記憶力正常:7+-2,也就是4~11個單位
隨身碟插在電腦上忘了帶回來...
在MYSQL上創建空白表格,因為要輸入值所以設定變數類型,如INT、STR、NULL等
然後用python讀取CSV檔後,將雜訊改成我們要的譬如... 換成0,搞剛的連接SQL後匯入MYSQL
不開MYSQL,而是在python執行MYSQL指令。老師也直接複習用抓來的資料繪製分析圖
今天學了美觀的數據圖表套件seaborn
還有python安裝套件PyMySQL連接MYSQL
看了股市常用的箱型圖、熱力圖...能調整的參數很多
pandas 是 python 資料分析中資料前處理的神器
1. 資料 NA 值統計
2. 去除 NA 值
3. 資料自動填補 NA 值的操作
4. 時間序列解析度操作
5. 資料分割選擇與合併
x = np.arange(0,5,0.1)
y = np.square(x)
解釋:
np.arange(start, stop, step) 是 NumPy 用來產生一個等間距的數列的函數。
start = 0:從 0 開始。
stop = 5:到 5 結束(不包含 5)。
step = 0.1:間距為 0.1。
所以這行會產生一個從 0 到 4.9 的數列
x = [0.0, 0.1, 0.2, 0.3, ..., 4.9]
總共會有 50 個元素。
np.square() 是 NumPy 中對每個元素進行平方的函數。
drinks.groupby('continent')
.spirit_servings.mean()
.sort_values(ascending=False)
.rename('spirit_servings_mean')
對資料表進行資料分組、計算平均值、排序並重新命名欄位。查詢洲別平均消耗的啤酒量
程式,終於下到又臭又長了
Python資料數據視覺化應用
01:12 01. 折れ線グラフ
03:27 02. 散布図
04:53 03. ヒストグラム
08:33 04. 棒グラフ
09:18 05. タイトルとラベル
10:29 06. 軸範囲
11:46 07. 対数軸
12:55 08. 凡例
15:45 09. マーカの種類・サイズ変更
17:35 10. 注釈
21:10 11. 目盛り
22:47 12. グリッド線
23:09 13. 複数グラフの表示
25:43 14. ヒートマップ
27:13 15. 3次元グラフ
30:28 16. 円グラフ
32:06 17. GUIウィジェット。
autopct='%.1f%%') # %.1f%% 表示顯示小數點一位的浮點數,後方加上百分比符號
自動計算百分比 ,預設無,可使用函式產生和組合。
%matplotlib inline 這行主要讓你可以在Jupyter Notebook 上畫圖表
今天教GitHub及外掛圖形化介面Gitkarken
連python以外的課都跟不太上了腦中浮現退訓的念頭
怎麼樣比較跟得上?就是教學的螢幕跟操作的螢幕分開。
分享螢幕的設備有問題所以就算有區網我們還是得連到外網google meeting
螢幕就夠小了(19吋?)還要塞視訊介面,看老師用小螢幕表演10分鐘
然後換你操作,我記不住阿又沒有錄像能回放
資料庫不外乎增查刪減,至今教的都是不動原檔資料,
查的部分就算有用到運算。之後要開始教增減刪,
SQL如何與python連動
職訓課程的迷惘 別的網友上Java職訓班的心得日記,
「應該學習到晚上9點、走在看不到盡頭與未來的路」
Git 分布式版本控制系統,
提供了強大的合併工具,可以輕鬆解決多人協作時的代碼衝突。這使得團隊可以同時在多個特性或修復上進行開發,而不會影響主線(如master或main)。
協作和合併: 由於 Git 是分布式的,開發者可以自由地在本地版本庫進行修改,而後將修改推送到遠程版本庫。
高效的性能: Git 能夠處理大規模的專案,並且對大多數操作進行了優化,這使得它在處理代碼庫時非常快速。
資料完整性: Git 使用 SHA-1 哈希來檢查每個提交和版本的完整性,保證資料在傳輸過程中不會被篡改。
分支管理: Git 提供了強大的分支功能,允許開發者輕鬆創建、切換和合併分支。
常見的 Git 操作
圖形化介面 gitk --all &
初始化倉庫:git init:
在當前目錄下創建一個新的 Git 版本庫。
克隆倉庫:git clone <repository-url>:
從遠端倉庫複製一個 Git 倉庫到本地。
查看狀態:git status:
查看當前工作目錄和暫存區的狀態,顯示哪些文件已經修改但尚未提交。
提交變更:git add <file>:
將更改的文件添加到暫存區,準備提交。
git commit -m "message":
將暫存區的變更提交到本地版本庫。
查看歷史紀錄:git log:
查看提交的歷史紀錄。
分支管理:
git branch:列出當前的所有分支。
git checkout -b <branch-name>:創建並切換到一個新的分支。
git merge <branch-name>:將指定分支的更改合併到當前分支。
推送和拉取:
git push:將本地的變更推送到遠端倉庫。
git pull:從遠端倉庫拉取並合併最新的變更到本地。
🔹Vi 是什麼?
Vi 是一個功能強大的文本編輯器,常用於 Unix 和 Linux 系統,適合用來編輯 配置文件、程式碼等。
雖然學習曲線較陡,但熟練後可以極高效率地操作。
🔹Vi 的三種模式
模式名稱 進入方式 功能說明
普通模式(Normal Mode) Vi 啟動後預設模式 用來導航、刪除、複製、貼上等
插入模式(Insert Mode) 在普通模式下按 i(光標前插入)、a(光標後插入)等 用來輸入文字
命令模式(Command Mode) 在普通模式下按 : 用來儲存、退出、執行命令等
🔹Vi 的基本操作流程
1.開啟文件:vi filename
2.進入插入模式以編輯內容:按 i
3.編輯完成後按 Esc 回到普通模式
4.進行以下操作之一:
操作說明 指令
保存並退出(有修改) :wq
退出(無修改) :q
強制退出(不保存) :q!
只保存(不退出) :w
來到這種轉職班,至少會感受到同學的鬥志
十年前我參加的大同委訓班,可以說根本沒篩選
今天跟比較早到的同學聊天,他說睡眠時間不夠時我感到納悶
因為他在做自己的專案,初學者的我們會的不多,他就靠chatGPT拼拼湊湊走自己的路
我最近都很想打瞌睡,目前的內容離開發程式很遙遠。
資工系8個學期,但只有3個多月的我們學習時間僅僅是一個期中考
我自己都說,這裡只是一個起跑點
python課越來越沒興趣,感覺就是在清洗資料各種整理運算,但沒有EXCEL的圖形介面能用
我對程式開發比較有興趣。倒也不是說我對大數據沒興趣,因為以人類的認知來說
其實再小的物質都是由很大的數量物質所組成,數量的差異能帶來感受,了解世界
館前路的聯成補習班地點沒話說而且有助教
可是我比較喜歡大同大學的環境座位寬敞很多
老師比較會用黑板,還有影音檔能複習
import pandas as pd
df1=df.fillna(df.mean()) # 用該欄的平均值來填充空值
df1=df.dropna(axis = 0) # 刪除包含空值的行
4/13是我生日的日子,但也沒什麼好玩&值得開心
這天選擇帶職訓的課本複習&預習
4/14星期一的課是SQL,老師帶匯入SQL檔案的地方不熟不順所以稍微複習照課本的說明試了一下
雖不完全相同,但有助於我打通
今天上課將數值的地方講完了,然後提到了這個經典的議題
為什麼在電腦上0.1+0.2 !=0.3
這算是SQL最複雜的語法,
SELECT是不會改動到資料庫的作業指令
從contry這個sheet,找出Name欄位裡由兩個單字組成的國家
兩個單字之間會有空白,只要符合這個條件就不會是0
使用函數LEFT把這個國家從空白處-1能提取到
這個國家第一個單字的所有英文字母,查詢結果就是左下角那些單字
會EXCEL的話今天的課,沒什麼難點就是要記怎麼用程式碼操作
基礎查詢、運算式與函式上完了
今天上的是用pandas做資料處理與分析
如排序sort
篩選filter
遮罩mask
刪漏值dropna
補漏值fillna
今天課程繼續講Numpy,Pandas,以矩陣的方式做處理
原來這兩個套件,含在一開始安裝的Anaconda
如果不是批量處理CSV資料開啟關閉查閱修改很麻煩
不像圖形化介面,點一點就OK,要打程式碼輸入指令
EXCEL只有二維行跟列,但Numpy可以是好幾維的矩陣,
資料套用Numpy後,可做高速大量處理
Pandas則是能將數據視覺化
體驗過就知道為什麼會用微軟office
但就算是EXCEL也只有1,048,576 列乘以16,384 欄
撈資料處理大數據時,是不夠用的