1. HtmlUnit을 이용한 대학교 성적 파싱

JSoup으로 어플을 만들기 전에,

처음에는 HtmlUnit 이라는 웹사이트 테스팅 목적으로 사용되는 라이브러리로 파싱을 해보았다.

사실 파싱??하기에는 너무 원시적인것 같다.

HtmlUnit은 그냥 자동 웹브라우징해주는 라이브러리다.

페이지 들어가고.. 버튼 눌러주고...

자바스크립트때문에 꼬이는게 있었지만 어느정도 완성은 되었다.

ParseGrade.java

class ParseGrade { private String id, pw=""; String url = "로그인 페이지";//login page String url2 = "성적확인 페이지";//grade page(혹시몰라 내부 url은 지움) WebClient webClient; HtmlPage page, framePage1, lastPage; HtmlForm form; HtmlElement button, button2, gradeTable; List<HtmlElement> list; String s; protected void setUserInfo(String id, char[] pw){ this.id=id; for(char pww:pw) this.pw=this.pw+pww; } protected String load() throws Exception{ java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(Level.OFF);//error -> log webClient = new WebClient(BrowserVersion.FIREFOX_45); //1. 로그인 page = webClient.getPage(url); form = page.getFirstByXPath("//form[@action='login_process.do']");//finding the login form by using XPath form.getInputByName("loginName").setValueAttribute(id);//set id form.getInputByName("password").setValueAttribute(pw);//set password button = page.getFirstByXPath("//a[@tabindex='3']");//find the login button page = button.click(); //webClient.close(); //2. 성적조회 페이지로 page = webClient.getPage(url2); framePage1 = (HtmlPage)page.getFrameByName("Li01").getEnclosedPage();//find a frame 'Li01' button2 = framePage1.getFirstByXPath("//a[@name='button2']");//button '조회' framePage1 = button2.click(); //webClient.close(); //3.성적 Table 찾기 lastPage = (HtmlPage)page.getFrameByName("Li02").getEnclosedPage();// Li02(grade table) frame 을 찾는다 list = (List<HtmlElement>) lastPage.getByXPath("//table[@class='table_default']");//프레임내에 테이블 이름이 같은게 있기때문에 XPath로 찾는다. list.remove(0); gradeTable = list.get(0); s = gradeTable.asText(); final List<WebWindow> windows = webClient.getWebWindows();//메모리 for (final WebWindow wd : windows) { wd.getJobManager().removeAllJobs(); } webClient.close(); System.out.println(s); return s; } }

목표는 안드로이드 어플인데 HtmlUnit은 안드로이드에선 지원이 안된다.

잘 알지 못하지만 파싱을 처음해보기에 연습삼아 해볼만한거 같다.

일단 프레임에 주기적으로 갱신하고 성적이 올라오면 빨간글씨로 변경 되게끔 만들었다.

이제 Jsoup으로 파싱을 해보고 어플만들어야겠다.

나머지 소스들.

Frame.java

public class Frame extends JFrame{ static Frame frame; JTextField textfID,textfRN; JPasswordField textfPW; ParseGrade parseGrade; JPanel panelUser, panelNorth; JLabel loading, currentRN; DefaultTableModel model; JTable table; String time; Frame(){ parseGrade = new ParseGrade(); //panel South ImageIcon image = new ImageIcon(".\\dae.png"); JLabel imageLabel = new JLabel(image); //JLabel inforLabel = new JLabel(" 성적공시 알림 프로그램 "); panelNorth = new JPanel(); //panel South panelUser = new JPanel(); JButton button = new JButton("조회"); JLabel labelID = new JLabel(" ID"); JLabel labelPW = new JLabel("PW"); JLabel labelRN = new JLabel("갱신주기(분단위)"); loading = new JLabel(" 로딩중.."); textfID = new JTextField(7); textfPW = new JPasswordField(7); textfRN = new JTextField(7); textfPW.addKeyListener(new KeyAdapter() { public void keyPressed(KeyEvent e){ if(e.getKeyCode() == KeyEvent.VK_ENTER) action();}}); textfRN.addKeyListener(new KeyAdapter() { public void keyPressed(KeyEvent e){ if(e.getKeyCode() == KeyEvent.VK_ENTER) action();}}); button.addActionListener((e)->{ action();}); button.setBackground(Color.white);panelUser.setBackground(Color.WHITE);panelNorth.setBackground(Color.WHITE); textfRN.setText("10"); loading.setSize(200,100); panelNorth.add(imageLabel);//panelNorth.add(inforLabel); panelUser.add(labelID);panelUser.add(textfID); panelUser.add(labelPW);panelUser.add(textfPW); panelUser.add(labelRN);panelUser.add(textfRN); panelUser.add(button); add(panelNorth, "North"); add(panelUser, "Center"); setDefaultCloseOperation(EXIT_ON_CLOSE); pack(); setVisible(true); }//Frame() private void action(){ parseGrade.setUserInfo(textfID.getText(), (textfPW.getPassword())); remove(panelUser); remove(panelNorth); Thread hilo = new Thread(()->{ add(loading); try {loadGrade();}catch(Exception e){e.printStackTrace();} firstTable(); remove(loading); newFrame(); }); hilo.start(); Timer timer = new Timer(true); TimerTask timerTask = new TimerTask() { @Override public void run() { time = "최근 갱신시간:"+new java.text.SimpleDateFormat("HHmmss").format(new java.util.Date()); currentRN.setText(time); try {loadGrade();}catch(Exception e){e.printStackTrace();}//loadGrade 쓰지말고 값만 비교하기 renewTable(); parseGrade.clean(); frame.clean(); System.out.println(Runtime.getRuntime().totalMemory()+"//"+Runtime.getRuntime().freeMemory()+"//"+Runtime.getRuntime().maxMemory()); } }; timer.schedule(timerTask, Long.parseLong(textfRN.getText())*1000, Long.parseLong(textfRN.getText())*1000);//최소갱신시간설정해놓기(로딩전에되면오류) }//action() ArrayList<String> list; String[][] Array,newArray,oldArray; String s; String title2[]={"수강번호","과목명","수업평가","게시여부","점수","환산","점수","환산","1","2","3","4","점수","환산","점수","환산","점수","환산"}; int[][] forModify={{0,2,3,8,9,10,11,16,17},{0,3,5,6,7,8,9,10,11,12,13,14,15,16,17}}; int num; void clean(){ list=null; Array=null; s=null; newArray=null; }//clean() void loadGrade() throws Exception{ frame.repaint(); //String title1[][]={{ "", "", "", "", "중", "간", "기","말","","과","제",""," 과제", "계", "출", "석", "총", "점"}}; Array = new String[30][18]; s = null; int ii=0; int jj; BufferedReader in = new BufferedReader(new StringReader(parseGrade.load())); while((s = in.readLine()) != null){ Array[ii] = s.split("\t"); ii++;} //--------------------------------------// num =Integer.parseInt(Array[ii-1][0].replaceAll("[^0-9]", ""));//과목 개수 oldArray = newArray = new String[num*3][18]; for(int i=0;i<num;i++){ int c =3*i;//첫열 int c1=3*i+1;//c1,c2는 행개수가 부족한 해당 열 int c2=3*i+2; int c3=c+5;//Array열 for(int col:forModify[0]){//빈칸 채우기 newArray[c1][col]="-"; } for(int col:forModify[1]){//빈칸 채우기(Array에 배열들의 인덱스도 맞지 않기 때문에 이렇게하는거) newArray[c2][col]="-"; } for(int j=0;j<18;j++){//1. 일단 첫열 넣기 newArray[c][j]=Array[c3][j]; } list = new ArrayList<String>(Arrays.asList(Array[c3+1])); jj=0; while(list.size()!=0){//2번째열 넣기 if(newArray[c1][jj]==null) newArray[c1][jj]=list.remove(0); jj++;} list = new ArrayList<String>(Arrays.asList(Array[c3+2])); jj=0; while(list.size()!=0){//3번째열 넣기 if(newArray[c2][jj]==null){ newArray[c2][jj]=list.remove(0); } jj++;} } //--------------------------------------// }//loadGrade() void firstTable(){ model = new DefaultTableModel(newArray,title2); table=new JTable(model); for(int k=0;k<newArray.length;k++){ System.arraycopy(newArray[k], 0, oldArray[k], 0, newArray[k].length); } }//firstTable() CellRender cellRender = new CellRender(); void renewTable(){ for(int i=0;i<newArray.length;i++){ for(int j=0;j<newArray[0].length;j++){ if(!oldArray[i][j].equals(newArray[i][j])){//바뀐곳 수정하는 부분 model.fireTableDataChanged(); table.setValueAt(newArray[i][j], 1, 2); model.fireTableCellUpdated(i, j); //해상 cell 색상 변환 cellRender.saveIndex(i*100+j);//빨간표시할 인덱스 저장 table.setDefaultRenderer(Object.class, cellRender); }}} for(int k=0;k<newArray.length;k++){ System.arraycopy(newArray[k], 0, oldArray[k], 0, newArray[k].length); } //cellRender.saveIndex(404);//cellRender.saveIndex(505);//테스트용 table.setDefaultRenderer(Object.class, cellRender); }//renewTable() void newFrame(){ JPanel settingPanel = new JPanel(); currentRN = new JLabel(""+new java.text.SimpleDateFormat("HHmmss").format(new java.util.Date())); table.getColumnModel().getColumn(0).setPreferredWidth(50); table.getColumnModel().getColumn(1).setMinWidth(180); this.setLayout(new BorderLayout()); settingPanel.add(currentRN); add(table, "Center"); add(settingPanel,"South"); pack(); }//newFrame() public static void main(String []args) throws Exception{ frame = new Frame(); frame.setTitle("ParseGrade"); }//main() }//class END  

변경된 성적 셀값 글자색상을 바꿔주는 클래스

CellRender.java

public class CellRender extends DefaultTableCellRenderer{ List<Integer> list = new ArrayList<Integer>(); void saveIndex(int sum){ list.add(sum); } public Component getTableCellRendererComponent(JTable table, Object value, boolean isSelected, boolean hasFocus, int row, int column) { Component c = super.getTableCellRendererComponent(table, value, isSelected, hasFocus, row, column); if(list.contains(row*100+column)) c.setForeground(new java.awt.Color(255, 0, 0)); else c.setForeground(new java.awt.Color(0, 0, 0)); return c; } }

결과물:

문제점: 윈10에서는 괜찮은데 윈7에서 돌리면 사용메모리가 점점늘어난다. 왜 차이가 나는건지 모르겠다.

일단 메모리누수랑 가비지컬렉션에 대해 잘모르니 이것부터 나중에 자세히 알아봐야겠다.