ref: https://ably.com/blog/no-we-dont-use-kubernetes
八月第一篇,就來個有趣的文章,來看看 ably 這間 SaaS 公司為什麼沒有使用 Kubernetes,不但當前沒有使用,甚至短期未來內都不會想要使用
更是直接的說如果你有興趣來加入團隊,千萬不要把將 Kubernetes 導入到團隊中是一個可能發生的事情。
我個人覺得這篇文章滿好的,因為是認真的去比較導入 Kubernetes 帶來的改變,而這些改變對團隊來說到底是可接受還是不可接受
而不是所謂的人云亦云,人家要我也要,人家不要我也不要...
文章分成兩部分,前述介紹當前 Ably 的環境架構是什麼,而半部分則是很技術的去探討如果導入 Kubernetes 帶來的好處與壞處是什麼
最終權衡比較之下,會發現導入 Kubernetes 沒有帶來實質上的好處。
文章開頭先簡述了一下 Kubernetes 這幾年的風潮,從最初 Google Borg 的開發開始談起,作者特別提到當初 Borg 的用法可是將一堆實體機器給搭建出一個 Private Cloud 的叢集給團隊使用,
而目前 Kubernetes 更多的用法則是搭建於 Public Cloud 上面的虛擬機器中,透過將 Kubernetes 部署到這些不同的 Cloud Provider 似乎帶來了介面統一的結果,對於 DevOps 人員來說
不同 Cloud Provider 如今看起來都是 Kubernetes 的樣貌。
Ably 目前到底怎麼部署應用程式
Ably 主要使用 AWS 作為其 Cloud Provider,並且於 EC2 機器上使用 docker/container 來部署團隊中的應用程式。
作者團隊中沒有使用任何已知的 Orchestration 服務來管理多節點上的 docker/container,取而代之的則是每個 VM 開機後則會根據 autoscaling group 的機制來判斷
每個機器應該要部署哪種 container/docker。
對於 Ably 來說,團隊中沒有任何 scheduler 相關的服務來調度各種服務,這意味每個 VM 就代表一種服務,所以將 VM 上的服務從 Core 轉換成 frontend 這種行為不會發生。
今天需要針對需求轉換服務時就以 VM 為基準來整批換掉即可。
每個節點上面都會有一個輕量的監控服務,用來確保運作的 Container 如果掛掉後可以被重啟,甚至如果當前運行的版本不符合需求時也能夠將該服務給停止。
流量方面,因為每個 Autoscaling Group 就代表一個服務,所以直接使用 NLB 與 Target Group 來將流量導入該 Autoscaling Group 即可。
至於容器與容器之間的內部流量(譬如 k8s service 等)作者認為也不是太大問題,畢竟每個機器本身都會被 VPC 賦予一個 IP 地址,所以使用上沒有什麼太大的問題。
接下來作者從幾個層次去探討當前設計與使用 Kubernetes 帶來的改變,分別有 (原文很多,這邊摘要不然文章會太長)
題外話,由於 Ably 的 Infra Team 數量有限,所以要考慮 K8s 只會考慮 K8s Service,如 EKS。
1. Resource Management
Ably:
a. 根據服務的需求來決定每個服務要用到的 VM 等級
b. 不需要去煩惱如何處理將多個小服務給部署到一個適合的大 VM 中
c. 作者稱這種行為其實就是 AWS 官方強調的 Right Sizing, 譬如只能跑兩個 Thread 的服務不需要 16vCPUs, 久久寫一次硬碟的服務也不需要一個 90,000 IOPS 的 SSD
d. 選擇一個正確的元件來搭建一個符合服務的 VM 讓團隊可以控制成本同時也減少額外的管理負擔
K8s:
a. 必須要使用一個比較強大等級的 EC2 VM,畢竟上面要透過 Container 部署很多服務
b. 針對那些需要小資源的服務來說,透過這種方式能夠盡可能的榨乾機器的資源,整體效能使用率會更好
c. 但是針對資源量沒有很辦法明確定義的服務則是會盡可能地去吃掉系統上的資源,這種被稱為 nosy neighbors 的常見問題已經不是首次出現了, Cloud Provider 本身就需要針對 VM 這類型的服務去思考如何處理資源使用,而 Cloud Provider 都有十年以上的經驗再處理這一塊
而所有 Kubernetes 的使用者則必須要自己去處理這些。
d. 一個可能的作法則是一個 VM 部署一個服務,不過這個做法跟團隊目前的作法已經完全一致,所以就資源管理這一塊,團隊看不到使用 Kubernetes 的優勢。
2. Autoscaling
Ably:
a. EC2 VM 本身可以藉由 Autoscaling Group 來動態調整需求
b. 有時候也是會手動的去調整 EC2 的數量,基本上手動跟自動是互相輔佐的
c. 團隊提供的是 SaaS 服務,所以其收費是針對客戶實際上用多少服務來收,如果開了過多 EC2 VM,則很多不要的花費與開銷都是團隊要自行吸收
d. 團隊需要一個盡可能有效率的方式能夠即使遇到流量暴衝時也能夠保證良好的服務的機制
K8s:
a. 可以透過不少方式來動態調整 Container 的數量,
b. 甚至可以透過 Cluster autoscaler 來針對節點進行調整,根據需求關閉節點或是產生更多節點
c. 動態關閉節點的有個問題是關閉節點時通常會選擇盡可能閒置的節點,但是閒置並不代表沒有任何服務部署再
上面,因此該節點上的 Container 都要先被轉移到其餘節點接者該目標節點才可以被正式關閉。這部分的邏輯作者認為相對複雜
d. 整體來說,k8s 有兩個動態調整的部分,動態節點與動態服務,而現有的架構只有一個動態節點。所以使用 k8s 則會讓問題變得更多更複雜。
3. Traffic Ingress
Ably:
a. Traffic Ingress 基本上每個 cloud provider 都提供了很好的解決方案,基本上團隊只要能夠維持每個服務與背後的機器的關係圖,網路流量基本上都沒有什麼需要團隊管理的。
b. 使用者會透過直接存取 NLB 或是透過 CloudFront 的方式來存取團隊內的服務
K8s:
a. EKS 本身可以透過 AWS VPC CNI 使得每個 Container 都獲得 VPC 內的 IP,這些 IP 都可以讓 VPC 內的其他服務直接存取
b. 透過 AWS LB Controller,這些 Container 可以跟 AWS LB 直接整合,讓封包到達 LoadBalancer 後直接轉發到對應的 Container
c. 整體架構並不會比團隊目前架構複雜
d. 唯一缺點大概就是這個解決方案是完全 AWS 綁定,所以想要透過 k8s 來打造一個跨 Cloud Provider 的統一介面可能就會遇到不好轉移的問題。
4. DevOps
Ably:
a. 開發團隊可以透過簡單的設定檔案來調整部署軟體的版本,後續相關機制就會將 VM 給替換掉,然後網路流量也會自然的導向新版服務
K8s:
a. 開發團隊改使用 Kubernetes 的格式來達到一樣的效果,雖然背後運作的方式不同但是最終都可以對開發團隊帶來一樣的效果。
上次四個分析基本上就是,使用 k8s 沒有帶來任何突破性的好處,但是 k8s 本身還有其他的功能,所以接下來作者想看看 k8s 是否能夠從其他方面帶來好處
Multi-Cloud Readiness
作者引用兩篇文章的內容作為開頭,「除非經過評估,否則任何團隊都應該要有一個跨 Cloud-Provider 的策略」
作者表明自己團隊的產品就是那個經過評估後斷言不需要跨 Cloud Provider 策略的團隊,同時目前沒有往這個方向去追求的打算。
同時作者也不認為 K8s 是一個能夠有效達成這個任務的工具。舉例來說,光 Storage 每家的做法都不同,而 K8s 沒有辦法完全將這些差異性給抽象畫,這意味者開發者終究還是要針對這些細節去處理。
Hybrid Cloud Readiness
管理混合雲(Public Cloud + Private Cloud based on Bare-Metal servers)是作者認為一個很合理使用 K8s 的理由,畢竟這種用法就跟當初 Google Borg 用法一致,是經過驗證可行的。
所以 Ably 如果有計畫要維護自己的資料中心時,底層就會考慮使用 Kubernetes 來管理服務。畢竟這時候沒有任何 Cloud Provider 提供任何好像的功能。
不過 Ably 目前沒有任何計畫,所以這個優點也沒有辦法幫助到團隊
Infrastructure as Code
團隊已經大量使用 Terraform, CloudFormation 來達成 IaC,所以透過 k8s YAML 來維護各種架構不是一個必要且真的好用的方式。
Access to a large and active community
另外一個很多人鼓吹 K8S 的好處就是有龐大的使用者社群,社群內有各種問題分享與探討。
作者認為
a. AWS 的使用者社群數量是高於 Kubernetes
b. 很多情況下,一個迭代太快速的產品其實也不一定對團隊有太大的幫助。
c. 很多人都使用 k8s,但是真正理解 k8s 的人微乎其微,所以想要透過社群來幫忙解決問題其實比你想像的還要難,畢竟裡面的問題太雜,很多時候根本很難找到一個真正有效的答案。
Added Costs of Kubernetes
為了轉移到 K8s, 團隊需要一個全新的 team 來維護 k8s 叢集以及使用到的所有基本服務。舉例來說,EKS, VPN CNI, AWS LB 帶來的網路好處並不是啟動 EKS 就會有的,
還必須要安裝相關的 Controller 並且進行設定,這些都是額外的維運成本。
如果找其他的服務供應商來管理 Kubernetes,這意味公司就要花費更多的$$來處理,所以對團隊來說,金錢與工作量都會提高,不同的解決方式只是這兩個指標的比例不同而已。
結論:
1. Ably 覺得 Kubernetes 做得很好,但是團隊目前沒有任何計畫去使用它,至少目前這階段沒有看到任何實質好處
2. 仔細評估後會發現,導入 k8s 其實也會帶出不少管理上的問題,反而並沒有減輕本來的負擔
同時也有1部Youtube影片,追蹤數超過23萬的網紅2分之一強,也在其Youtube影片中提到,最新【2分之一強】節目收看►►https://www.youtube.com/playlist?list=PLyi-Ztspx3ak8Y5MFFSlMiUi4hSAUjVCl 來賓:小禎、謝忻、王凱蒂 外國型男:舞陽、賀少俠、賈斯汀、夢多、馬丁、古龍、古迪安 電視首播:20150910 台灣是眾所...
「vpc是什麼」的推薦目錄:
- 關於vpc是什麼 在 矽谷牛的耕田筆記 Facebook 的最佳解答
- 關於vpc是什麼 在 矽谷牛的耕田筆記 Facebook 的最佳解答
- 關於vpc是什麼 在 金英俊Mc金老師 Facebook 的最佳解答
- 關於vpc是什麼 在 2分之一強 Youtube 的精選貼文
- 關於vpc是什麼 在 AWS CSA Associate 學習筆記- VPC(Virtual Private Cloud ... 的評價
- 關於vpc是什麼 在 目前共識是心室期外收縮VPC佔1天心跳數10到15百分比以上 的評價
- 關於vpc是什麼 在 AWS教學- VPC架構介紹(Subnet, IGW, NAT, SG, NACL) 的評價
vpc是什麼 在 矽谷牛的耕田筆記 Facebook 的最佳解答
關鍵字: GKE, cluster autoscaler, HPA, Alias IP VPC (VPC Native)
影響: 部署卡住,節點與 Pod 都沒有辦法自動擴展
自作團隊使用 GKE 作為其 Kubernetes 平台,某天收到回報發現有些 Pod 部署上卡住沒有起來,過往只有幾分鐘的部署時間當下花了將近一個小時還沒有辦法順利起來。基於過往的部署經驗,通常都會是 ConfigMap, Secret 或是錯誤的 nodeSelector 才會導致這些情況,但是這次的情況不太一樣,
因為有一半左右的 Pod 可以正確起來,有一半的則是都停留於 pending 狀態,這些狀況不太像是上述原因造成的。
作者透過 describe 去檢查後發現當下叢集內 256 個節點中沒有半個節點可以使用,而這些節點又是依賴 GKE Cluster Autoscaler 來管理,因此作者轉往這邊去尋找相關蛛絲馬跡,最後發現到 IP 用完的錯誤訊息。
作者表示無法想像為什麼 65536 個 IP 會被使用,簡單估算一下團隊內使用的數量大概就是千位等級而已,距離六萬還是一段遙遠的距離。
根據 GKE 的文件,每個節點預設都可以部署 110 的Pod,因此假設 63356 個 IP 可以用, 65536/110 ~= 595 ,這意味 Cluster autoscaler 至少要可以分配 595 個節點,而不是當前的 256 個節點而已。最後查到另外一份 GCP 文件表示, kubernetes (GKE) 會針對可用 Pod 的數量去分配兩倍空間的 subnet,這部分主要作為一個緩衝區,來面對Pod反覆的移除與加入。
透過這樣的計算, GCP 要分配至少兩倍的 subnet,所以本來 110 個 Pod,就要分配至少 220 個IP,而 220 對應到 subnet 上最近接的量就是/24, 也就是256個
因此 65536/256 =256 就得到為什麼最後只能有 256 個節點。
文末也列出了一些可能性解法,有興趣的可以參考
https://deploy.live/blog/when-gke-ran-out-of-ip-addresses/
vpc是什麼 在 金英俊Mc金老師 Facebook 的最佳解答
關於上週新聞事件
以下是當事人的自白書
麻煩各位朋友幫忙分享
不管你是酸民、粉絲、朋友、還是來看熱鬧都沒關係
有社團丟社團,有群組丟群組
至今我被肉搜、網路霸凌
到現在,到今天都還有人私密我
哪邊冷嘲熱諷、謾罵
===============
故事版本可能有很多個,都不能說完全是錯的,輕率選邊站很危險,加入網路上的指責、挖苦、叫罵,也毫無建設性。尤其法律系的同學們,請記得你們的角色是要幫別人解決問題、消弭紛爭的,不要讓自己成為問題與紛爭的一部份。~宗旻老師
如果今天是您的孩子,在學校遭遇到同樣的事,你會如何處理???
從開學第一週到第八週,每個星期三早上8:10開始上的這堂課,在7:30的時候,明明只有幾個人在教室裡,但是每張桌上卻都擺上了一本書,一支雨傘,甚至幾張紙,前面四五排,通通占好占滿,管你幾點來,通通不准坐,只有他們的自己人可以坐,不管自己人幾點到!自己人8:30才到,自己人九點才到,最晚有人十點下課還沒到,座位只能空著,一樣大家不准坐!
這一大群人,又分為好幾組人馬,教室右邊這位彭同學,除了第一排,(可能)占好占滿右邊三四排,二三排或二三四排,教室左邊這兩位男生,(肯定,本人親口證實)固定占兩排六個位子,所以就算大家7:30就到教室,教室裡只有這幾個人,這幾個人就在那顧著不准別人坐,這樣持續了四週,我實在忍不住,把彭同學的小六法丟開,坐在他占的位子上,她氣得說要告我?第五週我一樣7:30到,換去左邊丟開李同學拿來占位的雨傘,他拿著六法全書,很大聲的一邊甩著他的小六法一邊對我咆哮,占位子是怎樣?違反了哪一條?老師都說可以了,不然是要怎樣?當時他的兩個小弟陳同學與王同學,一起站在旁邊笑,我只回了一句~怎樣,就默默地坐下,接著他帶著其中一個小弟王同學,坐到我左邊,他坐在王同學的左邊,一邊笑,一邊搖桌子,坐我正前方的陳同學,轉過身來,三人故意聊天聊很大聲,一邊說我也不敢怎樣,很沒用,哈哈哈,伴隨著大笑聲,李同學與王同學一邊繼續搖著和我三人連在一起的桌子,我只能默默的坐在位子上,看著我搖來搖去的刑事訴訟法(上冊十版)!
第五週我把問題口頭跟老師報告,老師回,口說無憑,請我7:30跟7:50,各拍一張教室實際的狀況給他看,於是才有第二次跟第三次分別在第六週第七週給老師的信件,不過教室裡的狀況依然沒有改變,乖乖坐到後面就沒事,因為前面是他們的地盤,只有他們自己人可以坐!第六週第七週,我乖乖坐到後面等老師處理,就不會被他們兇了!
我也有繳錢,我也是正常管道用考試分數進來,我7:30到教室,明明教室裡有很多空位,但是這些人霸佔著不准你坐,你坐就說要告你,不然就是帶著小弟要跟你輸贏,問你想怎樣?這樣持續了七週,跟學校反映了也沒用,請問如果你的小孩在學校,遇到這樣的狀況,你會如何處理???
第八週我忍不住,請金先生陪同去學校,問李同學之前是在兇什麼?憑什麼不給我坐?我很兇,我承認,我做了不好的示範,但是在他持續霸凌我七個禮拜,而且之前也很兇地跟我說不然要怎樣,帶著兩個小弟要跟我輸贏,我怎麼知道他看到金先生來就軟了,坐在那裏裝可憐,還有人偷跑去後面錄影,後面我就被肉搜上新聞了,這些占位子的人很多,把整件事情講成我脾氣暴躁,無故帶人去學校霸凌小孩,李同學帶他兩個小弟來兇我的時候,我沒有錄影,我講一句他們就講十句,我發一篇,他們就發十篇,所以我也不回應了,面對網路一片罵聲,我自己默默檢討,反省,盡量假裝沒看到,我確實不該對他們那麼兇,我也想跟他們修補關係,盡力做補償,甚至我也真心覺得,教室裡至少有十多個同學,他們也一樣七點五十,七點四十,甚至七點三十就進到教室,他們一樣走到前面看著滿滿的空位被霸占著不能坐,他們都可以默默地走去後面坐,他們都可以忍,我卻不行,我真的應該好好反省!
對於整件事情,我自認自己也有錯誤,因此在協調會上,也誠心地跟對方道歉,但是在學校開完協調會的時候,這幾個同學獅子大開口,要求九萬的和解金,要我們賠他們三人李同學五萬,陳同學二萬,王同學二萬共九萬才願意和解,我請老師幫忙協調是否能降一些,以五萬達成和解,他們也不願意!
如果你的孩子,你的弟妹在學校被霸凌了七週,也跟學校反映了三週,狀況依然沒有改善,第八週你去學校,罵了那個霸凌你孩子的人,被錄影拍下說你欺負小孩,恐嚇小孩,叫你賠他九萬,他才要跟你和解,你能接受嗎?
你也願意跟我一樣,向對方道歉,請求他原諒,能不能用五萬和解,但是對方還不肯,一個子都不能少?
李同學,你們真的很噁心,你帶小弟來兇我時是一個嘴臉,看到金先生時又變成乖寶寶了,也許你發現有人在後面錄影吧!?等到要談和解時,又一副雌牙裂嘴,一毛錢都不能少,說得口沫橫飛,但是你知道嗎~一開完協調會,我就拿到你親口說出你有先帶小弟來兇我的事實經過,你從第二週開始就每週三,早早就來霸佔那六個位子的自白,以及你把別班的同學,當時唯一一位別班的同學,彭同學霸占很多位子的事實說出,我有錄下完整的會議全程錄音,我已經可以還原整件事情的真相,不會再被你們亂帶風向,胡說八道,能還給自己一點點公道!如果你是我,你會怎麼做?
但是,協調會後,我做的第一件事,是在國軍英雄館前,拜託我的班導劉台強老師,再跟你們商量一下,我個人願意花五萬跟你們和解,請你們可不可以不要要求那麼高,九萬,一個子都不能少,我是真心覺得我對你們兇也有不對,即使是你先霸凌我,即使你們狂帶風向,不讓我有解釋的機會,就算今天我殺人了,法官也會聽聽我怎麼說吧?即使你們讓我被肉搜,讓我的老婆小孩被威脅,我都願意選擇原諒,花點錢,給你一點補償,但是你們真的太貪心又太壞心了,九萬,一個子都不能少!我是不是很像白癡?我是不是很像白癡?我是不是很像白癡?我還傻傻的希望,以後不能當朋友,也不用當仇人,我願意花五萬元,把整件事情扛下,選擇對你們傷害最小的方式,不是立刻上網公布你們的惡行惡狀,如果你是我,你願意這樣做嗎?
所幸學校有開這個協調會,還好學校有全程錄音,也還好你在開協調會的時候,有對於整件事情,長期霸占位子的部分,以及你們有在第五週因為座位先兇我的部分,毫不遮掩,還理直氣壯地說出來,不然所有人看完影片,都只會覺得是我們去學校霸凌你們,其實我已經被霸凌到受不了,到了第八週實在沒路走,找你們吵吵不贏,跟學校反映學校沒改善,實在受不了,才會起來反抗的,
補充說明,彭同學從頭到尾都不承認有多占位子,所以用可能,以免他又說要告我,第一時間看到照片,他先在靠北文化跟狄卡,跟他的朋友們,發動一波他真倒楣,他只是剛好路過在那休息就被說成是占位子,但是在看到第二張7:50他仍然坐在那個位子上的照片,旁邊仍然是一堆占位子的東西,他們整群人又出來帶風向,換了不同的講法,到了開協調會那天,再次改變說詞,其實是教室左邊的人來占的,可是當天早上有到教室的同學只有四位,分別是左邊兩個男生,他們固定占左邊六個位子,和教室右邊坐在他前面,下樓去吃早餐的男生,他沒有多占過位子,最後就是這位女生彭同學了,我問彭同學,為何那些沒進教室的人可以把彭同學附近前後左右的位子占好占滿?他們都還沒來上學是如何辦到的?他竟然回,現在找到是誰占座位其實不重要了,反正不是他占的,他會再跟季軒老師說,這些人還沒進到學校,又能進來教室占好占滿的同學,是如何辦到的???
所幸最後在第二場協調會,李同學在理直氣壯地描述他兇我的事實經過時,一時太興奮,一時太興奮,一時太興奮,脫口說出~
我雖然有多占位,但是沒有像別班有幾個,一次占真的蠻多的!
我雖然有多占位,但是沒有像別班有幾個,一次占真的蠻多的!
我雖然有多占位,但是沒有像別班有幾個,一次占真的蠻多的!
幫助我們還原了事實真相,當時教室別班的,跟李同學不同班的,只有我跟你彭同學,我沒多占過一個位子,李同學指認出來的,就是彭同學你啊!
以上所言,若有不實,願意負法律責任,協調會當天在場的老師有王季軒老師及黃宗旻老師以及我最敬愛的班導師台強老師和助教老師,除了季軒老師有離開一下下,其餘老師都有全程參,並且全程錄音,如果有任何質疑,都可以拿錄音帶出來比對,以利還原事實真相.為了自保,我也錄了一份!歡迎求證!
最後我想說的是,雖然影片上我們很兇,但是我們一樣譴責暴力,因為是你先帶兩個小弟兇我,所以我們只有把你跟你的兩個小弟兇回去,你明知道我們一來就說要爭取我原本就可以自由選擇座位的權利,就算樓下有一百個人,也是要一起來幫我爭取我原本就應該合法擁有自由選擇座位的權力,是在恐嚇你什麼?你不要長期霸佔坐位,長期霸凌全班,需要因此感到恐慌嗎?就算樓下有一百個人,對於其他沒有霸佔坐位同學,他們會因此感到害怕嗎?
想坐前面就早點來,想要化好妝,慢慢來,萬一前面沒座位,就去坐後面,這不是普世價值嗎?連這麼簡單的事,都要老師訂一大篇座位規則,真的很可悲,那些慢慢來,八點,八點十分,八點二十,才慢慢進教室,悠哉悠哉都走到前面坐的同學,難道不算是你們這一大群占位子的同學嗎?還是你們很無辜,只是剛好前面有座位?就剛好坐下了!你們以為躲在鍵盤後面一直抹黑我,事實就會改變嗎?你們才是真正的老大,你們才是真正最讓人噁心的,敢做就要敢當,對於教室裡十多位早早到,去前面逛一圈,看著滿滿被霸佔著的空位,這樣一週又一週的被你們霸凌,他們連講都不講,是因為他們還顧著跟你們一點點的同學情誼,我跟他們不一樣,我不需要你們的道歉,我也不想當英雄,更不想跟你們搶地盤,如果你們不要這麼貪心,不要占好占滿,留下一個位子給我,我就不會跟你們衝突了,我只想一個人靜靜地來,找個前面一點的好位子,舒舒服服地享受上課,然後靜靜地回家,你們願意跟我交朋友我很高興,不願意我也沒差,我不是因為看不慣你們噁心的行為才跟你們吵,是因為你們破壞了我每個月花十多萬換來的享受,就這樣被噁心的你們毀了!
故事主人翁介紹
老大 財經組 3B 李XX同學
因為聽到樓下20人要求五萬和解金,一毛不能少忘記是自己因為長期霸佔坐位才造成自己的恐慌!
小弟1 財經組 3B 陳XX同學
因為金先生問他,誰找誰比較容易要求兩萬和解金
一毛不能少,結果其實是你找金先生比較容易,他連你是誰都不知道
小弟2 財經組 3B 王XX同學
因為在旁邊,不小心聽到金先生問陳同學問題,要
求兩萬和解金,一毛不能少?偷聽別人講話也想跑來申請獎學金
占好占滿 法學組 3B彭XX同學
不斷鬼打牆,卻被李同學出賣!
本案苦主 法學組3A 梁X銘 被霸凌七週不能含扣,學校不理,一反抗就被要求九萬元和解,一毛不能少!除了乖乖付九萬,我還能做什麼?
感謝季軒老師,每個禮拜上課,都要講一次占位子這種低級的規則,可惜大家聽不進去!
感謝宗旻老師,在第一時間,除了寫了開頭那段話,也私訊安慰我,
最感謝我的班導劉台強老師,犧牲自己六日休息的時間,交叉比對著監視器,看了一遍又一遍,,只為幫我釐清事實真相,
感謝三位老師,在我猶如過街老鼠之際,還願意選擇相信我,一點一點幫我把能還原事情真相的證據,一點一點拼湊出來,真的讓我很感動,謝謝老師!文化大學的老師,真的都很優秀很棒很愛孩子!雖然我那麼老了,還是一樣能被愛!
發文並非希望對方受到公審與制裁,我們嘗過了,真的不好受,但是對於金先生的攻擊,至今沒有停過,單純希望各路大神,四方好友,仍然覺得我們很過分的,我們還是要再次跟你們致歉,很抱歉影響到你們,我們真的也有不對,我們也願意負責.但是已經比較可以接受的朋友,我們也謝謝你的體諒,也希望你們能一起放下,讓事件落幕,別再繼續傷害這次事件中的每一個人
最後附上一些關鍵對話錄音,檔案其實很多,不方便全部公布,但是對於有疑問的部分,歡迎提出!
李同學指認出彭同學占很多位子
https://drive.google.com/file/d/1uVM-wNyVQ49msT3vDwzf0Zrv00zd50aQ/view?usp=sharing
李同學第五週先罵我
https://drive.google.com/file/d/1yjdnA0BWZnW94UfIUnsPhaZKmk0iIanM/view?usp=sharing
李同學很兇地問我占位子怎樣?是有違反哪一條?
https://drive.google.com/file/d/1FdQMYgzGdXJKuO1Sh7oa-QL-EJNghMcz/view?usp=sharing
李同學問我他憑什麼不能占?
https://drive.google.com/file/d/1SD0Y_eI8tUWY1tcubORyb93K4Rfmef18/view?usp=sharing
李同學描述影片錄製前一分鐘發生的事,真的很關鍵,他明明知道我一來就是針對他霸佔位子的行為有意見,是要來爭取合法行使自由選擇坐位的權利,謝謝你李同學,還好你有為我還原事實真相!
https://drive.google.com/file/d/16VHI48v-SttCgo-efUrmPECTCFbgslCG/view?usp=sharing
李同學指認彭同學占滿位子,四排都站滿了,只有彭同學到,彭同學別再說我錯怪你,是李同學說的,可能是你們忘記事先串通好吧
https://drive.google.com/file/d/1d28aZ4ZTnK-IllqbCBoVXCPAhm2j4XZ4/view?usp=sharing
李同學現在隨身攜帶防狼噴霧,大家請小心
https://drive.google.com/file/d/1Grfc8MXKx0QGG8DnK3081dhbPrt7pUp1/view?usp=sharing
這個時間已經開完會了,我已經錄下全部的過程,可以還我清白了,我還拜託老師用五萬跟你們和解,我是不希望傷害到你們,才選擇這麼做,
https://drive.google.com/file/d/1BrmgkjOEEtlyeRecFokDNxEL2uJN-DX-/view?usp=sharing
李同學說自己好可惡???
https://drive.google.com/file/d/1cvP9StvydzfhhKFvj1DGIyqrmCVMMuAY/view?usp=sharing
李同學要五萬一毛都不能少,你忘記是你先兇我的嗎?你忘記是你先霸凌我的嗎?你飾演被害者演到太入戲了嗎?
https://drive.google.com/file/d/1jEi1r6SdwZxfHFx4Tja1YZLyVQHtRycc/view?usp=sharing
我乖乖去後面,不要做到你霸占的位子,就沒事,不用被你兇了,你霸占的好理所當然,才一排而已
https://drive.google.com/file/d/1a3dWC-SMB_uekck1vFZw9aKdu9mQsv9a/view?usp=sharing
彭同學鬼指出,右邊位子其實是左邊同學占的,但是當時左邊只有李同學跟陳同學,你們兩個真的很愛說謊,什麼只占六個,彭同學指認出是你們占滿右邊那一整片?到底是誰在說謊?
https://drive.google.com/file/d/1aO-eDluTBhcveQuXgC8pGQC_4vxI-VPc/view?usp=sharing
實在太多了,我也無法一一貼出,有興趣的可以私下找我,我再放給你們聽!
vpc是什麼 在 2分之一強 Youtube 的精選貼文
最新【2分之一強】節目收看►►https://www.youtube.com/playlist?list=PLyi-Ztspx3ak8Y5MFFSlMiUi4hSAUjVCl
來賓:小禎、謝忻、王凱蒂
外國型男:舞陽、賀少俠、賈斯汀、夢多、馬丁、古龍、古迪安
電視首播:20150910
台灣是眾所皆知的購物天堂,但在外國型男眼中,到底在台生活,是便宜還是貴呢?新宿一碗滷肉飯200元,夢多來台裝大方請客,卻被同學笑?!少俠大讚台灣吃到飽餐廳,簡直是德國大食客的夢幻天堂?!因為瑞典交通費超貴,馬丁在台北坐公車傻丟150元,還說他被阿伯騙?民生物價雖然便宜,但台灣房價卻嚇死外國朋友?在賈斯汀家鄉,100萬可以買到半個大安森林公園?舞陽巴西老家的海邊美景豪宅,更讓眾人驚呼「你為什麼要來台灣?」到底型男們在台灣買東西,因為物價不同還鬧出什麼笑話呢?
#物價 #台灣 #便宜 #國外 #交通 #食物 #菜市場 #KTV #珍珠奶茶 #滷肉飯 #吃到飽 #夜市 #小費 #餐廳 #租屋
★訂閱【2分之一強】Youtube►►https://www.youtube.com/channel/UCrRJRIIH_ku2rd8Ne6nR4cQ?sub_confirmation=1
★YouTube限定獨家【2分之一強網路版】►►https://www.youtube.com/playlist?list=PLyi-Ztspx3aklCPyt4y5uGioPwPZvU7m7
★羅時豐搭檔嗆辣小禎【今晚開讚吧】!►►https://www.youtube.com/playlist?list=PLemzfJrxLjZr7zH8FLgezozIKnvqHsLL0
★打工換宿遊台灣【請問 今晚住誰家】►►https://www.youtube.com/playlist?list=PLSbc11qZgT1-EsK2A-Zxbzk9jlPsvQujN
★女性必看寶典【媽媽好神之俗女家務事】►►https://www.youtube.com/playlist?list=PLf4Dzm4zX_nVns1du43OHmjP4XBxU15FL
★健康醫療知識【醫師好辣】►►https://www.youtube.com/playlist?list=PLL4ugceG1iyeMfbLvWecAs3re_dOBHR9f
★和曾國城一起動動腦【全民星攻略】►►https://www.youtube.com/playlist?list=PLktxyvtfjgOO3q9B8C2dkcad5m0Z89pQD
vpc是什麼 在 目前共識是心室期外收縮VPC佔1天心跳數10到15百分比以上 的推薦與評價
心室期外收縮VPC是什麼? | 驛動的心跳林中行醫師Chung-Hsing Lin, MD. 歲的江女士這一年來常覺得心跳快 ... ... <看更多>
vpc是什麼 在 AWS CSA Associate 學習筆記- VPC(Virtual Private Cloud ... 的推薦與評價
... <看更多>